第12章 熵:对不确定性建模
熵是对不确定性的一个正式测度。
利用熵,我们可以证明不确定性、信息内容与惊喜之间的等价性。
- 低熵对应于低不确定性,同时揭示的信息很少。如果某个结果发生在低熵系统中,例如太阳从东方升起,我们并不会感到惊讶。
- 而在高熵系统中,比如在抽奖时抽中了某个数字,结果是不确定的,并且实现的结果能够揭示信息。
平衡结果没有不确定性,因此其熵等于零。周期性过程具有不随时间变化的低熵。当然,完全随机过程具有最大的熵。复杂性具有中等程度的熵,因为复杂性位于有序性和随机性之间。
熵是对不确定性的一个正式测度。
利用熵,我们可以证明不确定性、信息内容与惊喜之间的等价性。
平衡结果没有不确定性,因此其熵等于零。周期性过程具有不随时间变化的低熵。当然,完全随机过程具有最大的熵。复杂性具有中等程度的熵,因为复杂性位于有序性和随机性之间。
本文标题:日更-《模型思维》15
本文链接:https://www.haomeiwen.com/subject/rdijcdtx.html
网友评论