一 熵的另一種表達(dá)形式按照Boltzmann關(guān)系式 S=kBlnΩ，式中kB是Boltzmann常數(shù)，Ω是系統(tǒng)可及微觀狀態(tài)總數(shù)，系統(tǒng)的微觀態(tài)數(shù)目越多，熵值就越大。因此，熵是系統(tǒng)內(nèi)部分子熱運(yùn)動(dòng)的混亂度的量度。按統(tǒng)計(jì)平均的意義上式還有另一種表示方法，設(shè)隔離系統(tǒng)可及微觀狀態(tài)為1，2，3，……，Ω。按Boltzmann等概率假設(shè)這Ω個(gè)可及微觀狀態(tài)出現(xiàn)的概率pi都相等，即Pi =1/Ω（i=1,2,……，Ω），因此熵就有了另一種表達(dá)形式 
Boltzmann對(duì)熵的這個(gè)解釋，具有極為深刻的意義，使熵成為一個(gè)富有生命力的概念。它不僅促進(jìn)了熱力學(xué)和統(tǒng)計(jì)物理學(xué)自身理論的發(fā)展，并且使熵的應(yīng)用遠(yuǎn)遠(yuǎn)超出熱力學(xué)和統(tǒng)計(jì)物理學(xué)的范疇，直接或間接地滲入了信息論，控制論、概率論、天體物理，以及甚至生命科學(xué)和社會(huì)科學(xué)等不同的領(lǐng)域。
二 一個(gè)例子
仍然以投擲骰子為例：小張擲一個(gè)骰子，讓眼被蒙住的小李猜骰子向上的點(diǎn)數(shù)。由于正方體骰子六個(gè)側(cè)面是等價(jià)的， 1、2、3、4、5、6點(diǎn)向上的概率相同都等于1/6，所以小李猜對(duì)的概率是1/6。如果提供如下消息：
a: 骰子的點(diǎn)數(shù)是偶數(shù)。
b: 骰子的點(diǎn)數(shù)不是2。
c: 骰子的點(diǎn)數(shù)是1,2,3,4,5,6中的一個(gè)。
d: 骰子的點(diǎn)數(shù)是4。
①當(dāng)小李只得到其中的一條消息后，他猜對(duì)的概率分別為1/3（a） ,1/5（b）, 1/6（c）, 1（d）。
②當(dāng)小李依次得到a ,b或b ,a這兩條消息，那么他猜對(duì)的概率均為1/2。
上面的例子說(shuō)明:概率反映了事件發(fā)生不確定性的大小，而信息是可以改變不確定性的;消息中所含有用“信息”的量（信息量）是不同的，“信息量”是可以數(shù)量化的。在定量地描述“信息量”之前必須對(duì)事件的不確定性給出確切的量度。
三Shannon（香農(nóng)）熵
1948年，C.E.Shannon把Boltzmann關(guān)于熵的概念引入信息論中，把熵作為一個(gè)隨機(jī)事件的不確定性的量度。
0 ≤ Pi ≤ 1 （i = 1,2,…….,n） 及 
= 1
對(duì)于隨機(jī)事件，其主要性質(zhì)是：對(duì)它們的出現(xiàn)與否沒(méi)有把握，當(dāng)進(jìn)行和這些事件有關(guān)的多次實(shí)驗(yàn)時(shí)，它們的出現(xiàn)與否具有一定的不確定性，概率實(shí)驗(yàn)先驗(yàn)地含有這一不確定性，本質(zhì)上是和該實(shí)驗(yàn)可能結(jié)局的分布概率有關(guān)。為了量度概率實(shí)驗(yàn)A的不確定性，Shannon引入函數(shù)
Hn（A） = H（P1,P2,…….,Pn） = - k
作為概率實(shí)驗(yàn)A實(shí)驗(yàn)結(jié)果不確定性的量度，式中k是一個(gè)大于零的恒量，因此Hn≥0。量Hn叫做Shannon熵。
| 結(jié)果出現(xiàn)的概率 Pi | 1點(diǎn) | 2點(diǎn) | 3點(diǎn) | 4點(diǎn) | 5點(diǎn) | 6點(diǎn) | |
| A | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | k ln6 |
| A+a | 0 | 1/3 | 0 | 1/3 | 0 | 1/3 | kln3 |
| A+b | 1/5 | 0 | 1/5 | 1/5 | 1/5 | 1/5 | kln5 |
| A+c | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | 1/6 | kln6 |
| A+d | 0 | 0 | 0 | 1 | 0 | 0 | 0 |
| A+a+b | 0 | 0 | 0 | 1/2 | 0 | 1/2 | kln2 |
| A+b+a | 0 | 0 | 0 | 1/2 | 0 | 1/2 | kln2 |
可見(jiàn)Shannon熵具有如下性質(zhì)：在實(shí)驗(yàn)A中，如果任何一個(gè)Pi=1，而其余的都是等于零，則Hn=0，因?yàn)檫@時(shí)我們可以對(duì)實(shí)驗(yàn)結(jié)果作出決定性預(yù)言，而不存在任何不確定性；反之，如果事先對(duì)實(shí)驗(yàn)結(jié)果一無(wú)所知，則所有的Pi都相等（Pi=1/n , i=1,2,3,……n），這時(shí)Hn達(dá)到極大值
（Hn）max=k ln （n）
很明顯，在這一極限情況下，實(shí)驗(yàn)結(jié)果具有大的不確定性；同時(shí)可以證明Shannon熵具有可加性：由兩個(gè)獨(dú)立事件A和B組成的復(fù)合事件C,其Shannon熵
考慮一個(gè)隨機(jī)事件實(shí)驗(yàn)A，設(shè)它有n個(gè)可能的（獨(dú)立的）結(jié)局：a1,a2……，an；每一結(jié)局出現(xiàn)的概率分別定P1，P2，P3……Pn，它們滿足以下條件- k
= - k= - k
- k
即 H（AB） = H（A） + H（B）
可以證明上面定義的Shannon熵是一個(gè)獨(dú)立于熱力學(xué)熵的概念，但具有熱力學(xué)熵的基本性質(zhì)（單位性和極值性）。與熱力學(xué)熵相比，Shannon熵具有更為廣泛和普通的意義。
四 信息量與信息熵信息論量度信息的基本出發(fā)點(diǎn)，是把獲得的信息看作用以消除不確定性的東西，因此信息數(shù)量的大小，可以用被消除的不確定性的多少來(lái)表示。設(shè)隨機(jī)事件A在獲得信息α之前結(jié)果的不確定性為H（A），得到信息α之后為Hα（A），那么包含在消息α中的關(guān)于事件A的信息量: I（α,A） = H（A） - Hα（A）
利用上表的數(shù)據(jù)可以求出包含在消息a,b,c.d中的關(guān)于事件A的信息量：
I（a,A） = kln2
I（b,A）= kln1.2（c,A）= 0
I
I（d,A）= kln6
事件A的Shannon熵H（A） 也可以理解為包含在A這個(gè)事件本身中的關(guān)于它自己的信息，因?yàn)槭录l(fā)生后結(jié)果（d）就確定了,這時(shí) Hd（A） = 0所以H（A） = I（d,A）= kln6。換句話說(shuō)，事件A的Shannon熵H（A）等于這個(gè)事件發(fā)生之后，我們所得到的信息。
參 閱 指 南
1 傅獻(xiàn)彩、沈文霞、姚天揚(yáng)編，《平衡態(tài)統(tǒng)計(jì)熱力學(xué)》，高等教育出版社，1994年。
信息量是信息論的中心概念，把熵作為一個(gè)隨機(jī)事件的不確定性或信息量的量度，它奠定了現(xiàn)代信息論的科學(xué)理論基礎(chǔ)，大大地促進(jìn)了信息論的發(fā)展。一般而言，Shnnon熵在隨機(jī)事件發(fā)生之前，它是結(jié)果不確定性的量度；在隨機(jī)事件發(fā)生之后，它是我們從該事件中所得到信息的量度（信息量）。因此，隨機(jī)事件的Shnnon熵也叫信息熵，它是一個(gè)隨機(jī)事件的不確定性或信息量的量度。與統(tǒng)計(jì)熵相似，在給定的實(shí)驗(yàn)條件下，所有可能的概率分布中，存在一個(gè)使信息熵Hn取極大值的分布（
2 傅獻(xiàn)彩、沈文霞、姚天揚(yáng)編，《物理化學(xué)》（上冊(cè)），第4版，高等教育出版社，1990年。
3 唐有祺，《統(tǒng)計(jì)力學(xué)及其在物理化學(xué)中的應(yīng)用》，科學(xué)出版社，1979年。
4 B. J. 麥克萊蘭著，龔少明譯，《統(tǒng)計(jì)熱力學(xué)》，上海科學(xué)技術(shù)出版社，1980年。
5 姚允斌、朱志昂編，《物理化學(xué)教程》（上冊(cè)），湖南教育出版社，1984年，P.356-358。
6 高執(zhí)棣，獨(dú)立子體系熱力學(xué)定律的統(tǒng)計(jì)實(shí)質(zhì)，《物理化學(xué)教學(xué)文集》，高等教育出版社，1986年。
7 P. W. Atkins, Physical Chemistry, Oxford University Press, 1978, P. 685-687
8 G. C. Lie，Boltzmann Distribution and Boltzmann’s Hypothesis， J. Chem. Educ., 58, 603（1981）。
9 L. K. Nash，On the Boltzmann Distribution Law， J. Chem. Educ., 59, 824（1982）。,
,
,……,
） 。這稱為大信息熵原理。這一原理使我們能從所有可能的相容分布中挑選出使信息熵為極大值的分布——即為常見(jiàn)的、實(shí)現(xiàn)概率大的“*”分布。
提供商 |
美國(guó)科諾工業(yè)有限公司 （戰(zhàn)略合作伙伴：上海梭倫信息科技有限公司） | 下載次數(shù) |
0次 |
資料大小 |
0K | 資料類型 |
未傳
|
資料圖片 |
-- | 瀏覽次數(shù) |
2358次 |
(空格分隔,最多3個(gè),單個(gè)標(biāo)簽最多10個(gè)字符)
會(huì)員.png)
16
立即詢價(jià)
您提交后，專屬客服將第一時(shí)間為您服務(wù)