找回密码
亿开网 首页 学园 信息技术 信息基础 查看内容
订阅

信息基础

信息论的基本概念的引入与简要介绍

2018-6-18 09:44| 发布者: 亿开教育| 查看: 306| 评论: 0

摘要: 亿开网讯 信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源-信道隔离定理相互联系。香农被称为是“信息 ...

亿开网讯 信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源-信道隔离定理相互联系。


香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》(通信的数学理论)作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中,香农给出了信息熵(以下简称为“熵”)的定义:



这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量,其中去除了由消息的固有结构所决定的部分,比如,语言结构的冗余性以及语言中字母、词的使用频度等统计特性。


信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。互信息(Mutual Information)是另一有用的信息度量,它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为:



其中H(X,Y) 是联合熵(Joint Entropy),其定义为:



互信息与多元对数似然比检验以及皮尔森校验有着密切的联系。



鲜花

握手

雷人

路过

鸡蛋

QQ| 手机版|小黑屋|Archiver| 亿开网

Copyright © 2013-2014 Ekaie Mcom.   All Rights Reserved.

Powered by 亿开网管理委员会技术中心( 沪ICP备10005991号 )

沪公网安备31011002000004号


返回顶部