毫米波通信技术之香农和香农定理

上文讲述毫米波通信优势的文章中提到了香农定理和香农极限，本着再学习的态度，我们详细整理一下关于香农的一切。

 

Claude Elwood Shannon

（1916年4月30日—2001年2月24日）

克劳德·艾尔伍德·香农（Claude Elwood Shannon ，1916年4月30日—2001年2月24日）是美国数学家、信息论的创始人。1936年获得密歇根大学学士学位[1] 。1940年在麻省理工学院获得硕士和博士学位，1941年进入贝尔实验室工作。香农提出了信息熵的概念，为信息论和数字通信奠定了基础。主要论文有：1938年的硕士论文《继电器与开关电路的符号分析》，1948年的《通讯的数学原理》和1949年的《噪声下的通信》。

人物资料

克劳德·艾尔伍德·香农（Claude Elwood Shannon，1916-2001）1916年4月30日诞生于美国密西根州的Petoskey。在Gaylord小镇长大，当时镇里只有三千居民。父亲是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。母亲是镇里的中学校长，姓名是Mabel Wolf Shannon。他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生（Thomas Alva Edison，1847-1931）还有远亲关系。香农的大部分时间是在贝尔实验室和MIT（麻省理工学院）度过的。在“功成名就”后，香农与玛丽（Mary Elizabeth Moore）1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。他们共有四个孩子：三个儿子罗伯特（Robert）、詹姆斯（James）、安德鲁莫瑞（Andrew Moore）和一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。

2001年2月24日，香农在马萨诸塞州Medford辞世，享年84岁。贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基人。

人物生平

香农于1916年4月30日出生于美国密歇根州的Petoskey，并且是爱迪生的远亲戚。1936年毕业于密歇根大学并获得数学和电子工程学士学位。1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。1941年他加入贝尔实验室数学部，工作到1972年。1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。香农博士于2001年2月24日去世，享年84岁。

香农于1940年在普林斯顿高级研究所（The Institute for Advanced Study at Princeton）期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在1948年6月和10月在《贝尔系统技术杂志》（Bell System Technical Journal）上连载发表了具有深远影响的论文《通讯的数学原理》。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。

1936年香农在密西根大学获得数学与电气工程学士学位，然后进入MIT念研究生。

1938年香农在MIT获得电气工程硕士学位，硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》（继电器与开关电路的符号分析）。当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。哈佛大学的Howard Gardner教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。”

1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是《An Algebra for Theoretical Genetics》（理论遗传学的代数学)。这说明香农的科学兴趣十分广泛，后来他在不同的学科方面发表过许多有影响的文章。

在读学位的同时，他还用部分时间跟温尼法·布什（Vannevar Bush）教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。1941年香农发表了《Mathematical theory of the differential analyzer》（微分分析器的数学理论），他写道：“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件，有些条件可以生成一个或多个变量的函数，有些条件可使常微分方程得到解。还给出了一些注意事项，给出求函数的近似值（不能产生精确值）、求调整率的近似值以及自动控制速率的方法。”

1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年，从24岁到55岁，整整31年。1956年他当了MIT的访问教授，1958年成为正式教授，1978年退休。

人们描述香农的生活，白天他总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。他的同事D. Slepian写到：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。他总是关起门来工作。但是，如果你要找他，他会非常耐心地帮助你。他能立刻抓住问题的本质。他真是一位天才，在我认识的人中，我只对他一人使用这个词。”

香农与John Riordan一起工作，1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪（Percy A. MacMahon，1854-1929）1892年在Electrician上发表的论文理论。

1948年，划时代的“通信的一个数学理论”分成两部分，在7月和10月的Bell System Technical Journal发表。文章系统论述了信息的定义，怎样数量化信息，怎样更好地对信息进行编码。在这些研究中，概率理论是香农使用的重要工具。香农同时提出了信息熵的概念，用于衡量消息的不确定性。

在漫长的岁月，他思考过许多问题。除在普林斯顿高等研究院工作过一年外，主要都在MIT和Bell Lab度过。需要说明的是，在二次世界大战时，香农博士也是一位著名的密码破译者（这使人联想到比他大4岁的图灵博士）。他在Bell Lab的破译团队主要是追踪德国飞机和火箭，尤其是在德国火箭对英国进行闪电战时起了很大作用。1949年香农发表了另外一篇重要论文《Communication Theory of Secrecy Systems》（保密系统的通信理论），正是基于这种工作实践，它的意义是使保密通信由艺术变成科学。

1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》（通讯的数学原理）。论文由香农和威沃共同署名。前辈威沃（Warren Weaver，1894-1978）当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。

成就与荣誉

香农理论的重要特征是熵（entropy）的概念，他证明熵与信息内容的不确定程度有等价关系。熵曾经是波尔兹曼在热力学第二定律引入的概念，我们可以把它理解为分子运动的混乱度。香农将统计物理中熵的概念，引申到信道通信的过程中，从而开创了”信息论“这门学科。香农定义的“熵”又被称为“香农熵” 或 “信息熵”, 即其中i标记概率空间中所有可能的样本，表示该样本的出现几率，K是和单位选取相关的任意常数。可以明显看出“信息熵”的定义和“热力学熵”（玻尔兹曼公式）的定义只相差某个比例常数。

熵（entropy）指的是体系的混乱的程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。熵由鲁道夫·克劳修斯（Rudolf Clausius）提出，并应用在热力学中。后来在，克劳德·艾尔伍德·香农（Claude Elwood Shannon）第一次将熵的概念引入到信息论中来。

众所周知，质量、能量和信息量是三个非常重要的量。

人们很早就知道用秤或者天平计量物质的质量，而热量和功的关系则是到了19世纪中叶，随着热功当量的明确和能量守恒定律的建立才逐渐清楚。能量一词就是它们的总称，而能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。

然而，关于文字、数字、图画、声音的知识已有几千年历史了。但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如何去解决了。20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被隐约地提上日程。

1928年哈特利（R.V. H. Harley）考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。如果各个符号出现的概率相同，而且是完全随机选取的，就可以得到D^N个不同的词。从这些词里取了特定的一个就对应一个信息量I。哈特利建议用N log D这个量表示信息量，即I=N log D。这里的log表示以10为底的对数。后来，1949年控制论的创始人维纳也研究了度量信息的问题，还把它引向热力学第二定律。

但是就信息传输给出基本数学模型的核心人物还是香农。1948年香农长达数十页的论文“通信的数学理论”成了信息论正式诞生的里程碑。在他的通信数学模型中，清楚地提出信息的度量问题，他把哈特利的公式扩大到概率pi不同的情况，得到了著名的计算信息熵H的公式：

如果计算中的对数log是以2为底的，那么计算出来的信息熵就以比特（bit）为单位。在计算机和通信中广泛使用的字节（Byte）、KB、MB、GB等词都是从比特演化而来。“比特”的出现标志着人类知道了如何计量信息量。香农的信息论为明确什么是信息量概念作出决定性的贡献。

香农在进行信息的定量计算的时候，明确地把信息量定义为随机不定性程度的减少。这就表明了他对信息的理解：信息是用来减少随机不定性的东西。或香农逆定义：信息是确定性的增加。

虽然香农的信息概念比以往的认识有了巨大的进步，但仍存在局限性，这一概念同样没有包含信息的内容和价值，只考虑了随机型的不定性，没有从根本上回答"信息是什么"的问题。

事实上，香农最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结论首先用在电话上，后来用到光纤，截止2013又用在无线通信上。我们能够清晰地打越洋电话或卫星电话，都与通信信道质量的改善密切相关。

克劳德·香农在公众中并不特别知名，但他是使我们的世界能进行即时通信的少数科学家和思想家之一。他是美国科学院院士、美国工程院院士、英国皇家学会会员、美国哲学学会会员。他获得过许多荣誉和奖励。例如1949年Morris奖、1955年Ballantine奖、1962年Kelly奖、1966年的国家科学奖章、IEEE的荣誉奖章、1978年Jaquard奖、1983年Fritz奖、1985年基础科学京都奖。他接受的荣誉学位不胜枚举，不再赘述。

我们怀念香农，要熟悉他的两大贡献：一是信息理论、信息熵的概念；另一是符号逻辑和开关理论。我们更应该学习他好奇心强、重视实践、永不满足的科学精神，这是他获得成功的重要经验。

荣誉

美国Alfred Noble协会美国工程师奖 1940年

Morris Liebmann 无线电工程师协会Memorial奖章 1949年

耶鲁大学 （首席科学家） 1954年

Stuart Ballantine弗兰克林协会奖章 1955年

研究合作奖 1956年

密歇根大学，荣誉博士 1961年

莱斯大学 荣誉奖章 1962年

普林斯顿大学 荣誉博士 1962年

Marvin J. Kelly Award 1962年

爱丁堡大学 荣誉博士 1964年

匹兹堡大学 荣誉博士 1964年

电子电气工程师协会 荣誉奖章 1966年

美国国家科学奖章 1966年 由前总统Lyndon B. 约翰逊颁发

Golden Plate Award 1967年

美国西北大学 荣誉博士 1970年

Harvey Prize，the Technion of Haifa 以色列 1972年

牛津大学 荣誉博士 1978年

Joseph Jacquard奖 1978年

Harold Pender奖 1978年

东英格伦大学 荣誉博士 1982年

卡内基梅隆大学 荣誉博士 1984年

美国声频技术协会 金奖 1985年

Kyoto Prize 1985年

塔夫斯大学 荣誉博士 1987年

宾西法尼亚大学 荣誉博士 1991年

Eduard Rhein Prize 1991年

 

香农定理
 

香农定理给出了信道信息传送速率的上限（比特每秒）和信道信噪比及带宽的关系。香农定理可以解释现代各种无线制式由于带宽不同，所支持的单载波最大吞吐量的不同。

在有随机热噪声的信道上传输数据信号时，信道容量Rmax与信道带宽W，信噪比S/N关系为：Rmax=W*log2(1+S/N)。注意这里的log2是以2为底的对数。

简介

类比：城市道路上的汽车的车速（业务速率）和什么有关系？

除了和自己车的动力有关之外，主要还受限于道路的宽度（带宽）和车辆多少、红灯疏密等其他干扰因素（信噪比），如图1所示。
 

俗话说：“有线的资源是无限的，而无线的资源却是有限的。”无线信道并不是可以任意增加传送信息的速率，它受其固有规律的制约，就像城市道路上的车一样不能想开多快就开多快，还受到道路宽度、其他车辆数量等因素影响。这个规律就是香农定理。

香农定理是所有通信制式最基本的原理，它描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信号噪声功率比之间的关系。其用公式可表示为：

其中：C是信道支持的最大速度或者叫信道容量；B是信道的带宽；S是平均信号功率；N是平均噪声功率；S/N即信噪比。

香农定理给出了信道信息传送速率的上限（比特每秒）和信道信噪比及带宽的关系。香农定理可以解释现代各种无线制式由于带宽不同，所支持的单载波最大吞吐量的不同。

理解香农公式须注意以下几点：

（1）信道容量由带宽及信噪比决定，增大带宽、提高信噪比可以增大信道容量；

（2）在要求的信道容量一定的情况下，提高信噪比可以降低带宽的需求，增加带宽可以降低信噪比的需求；

（3）香农公式给出了信道容量的极限，也就是说，实际无线制式中单信道容量不可能超过该极限，只能尽量接近该极限。在卷积编码条件下，实际信道容量离香农极限还差3dB；在Turbo编码的条件下，接近了香农极限。

（4）LTE中多天线技术没有突破香农公式，而是相当于多个单信道的组合。

香农定理可以变换一下形式成为

这个C/B就是单位带宽的容量（业务速率），就是频谱利用率的概念，也就是说香农定理给出了一定信噪比下频率利用率的极限。

在有随机热噪声的信道上传输数据信号时，数据传输率Rmax与信道带宽W，信噪比S/N关系为：Rmax=W*log2(1+S/N)。注意这里的log2是以2为底的对数，下同。

在信号处理和信息理论的相关领域中，通过研究信号在经过一段距离后如何衰减以及一个给定信号能加载多少数据后得到了一个著名的公式，叫做香农（Shannon）定理。它以比特每秒（bps）的形式给出一个链路速度的上限，表示为链路信噪比的一个函数，链路信噪比用分贝（dB）衡量。因此我们可以用香农定理来检测电话线的数据速率。

香农定理由如下的公式给出: C=W*log2*(1+S/N) 其中C是可得到的链路速度，W是链路的带宽，S是平均信号功率,N是平均噪声功率，信噪比（S/N）通常用分贝（dB）表示，分贝数=10×log10（S/N）。

通常音频电话连接支持的频率范围为300Hz到3300Hz，则B=3300Hz－300Hz=3000Hz，而一般链路典型的信噪比是30dB，即S/N=1000，因此我们有C=3000×log2(1+ 1000)，近似等于30Kbps，是28.8Kbps调制解调器的极限，因此如果电话网络的信噪比没有改善或不使用压缩方法，调制解调器将达不到更高的速率。

应用

香农定理用来求信道的最大传输速率，即信道容量，当通过信道的信号速率超过香农定理的信道容量时，误码率显著提高，信息质量严重下降。需要指出的是这里的信道容量只是理论上可以达到的极限，实际如何达到，该定理不能说明。

       

香农采样定理

香农采样定理，又称奈奎斯特采样定理，是信息论，特别是通讯与信号处理学科中的一个重要基本结论。1924年奈奎斯特(Nyquist)就推导出在理想低通信道的最高大码元传输速率的公式：理想低通信道的最高大码元传输速率B=2W，信息传输

定义

为了不失真地恢复模拟信号，采样频率应该不小于模拟信号频谱中最高频率的2倍。　f s≥2f max

概念

采样定理，又称香农采样定律、奈奎斯特采样定律，是信息论，特别是通讯与信号处理学科中的一个重要基本结论.E. T. Whittaker（1915年发表的统计理论），克劳德·香农 与Harry Nyquist都对它作出了重要贡献。另外，V. A. Kotelnikov 也对这个定理做了重要贡献。

采样是将一个信号（即时间或空间上的连续函数）转换成一个数值序列（即时间或空间上的离散函数）。

采样得到的离散信号经保持器后，得到的是阶梯信号，即具有零阶保持器的特性。

如果信号是带限的，并且采样频率高于信号最高频率的一倍，那么，原来的连续信号可以从采样样本中完全重建出来。

带限信号变换的快慢受到它的最高频率分量的限制，也就是说它的离散时刻采样表现信号细节的能力是非常有限的。采样定理是指，如果信号带宽小于奈奎斯特频率（即采样频率的二分之一），那么此时这些离散的采样点能够完全表示原信号。高于或处于奈奎斯特频率的频率分量会导致混叠现象。大多数应用都要求避免混叠，混叠问题的严重程度与这些混叠频率分量的相对强度有关。

采样过程所应遵循的规律，又称取样定理、抽样定理。采样定理说明采样频率与信号频谱之间的关系，是连续信号离散化的基本依据。采样定理是1928年由美国电信工程师H.奈奎斯特首先提出来的，因此称为奈奎斯特采样定理。1933年由苏联工程师科捷利尼科夫首次用公式严格地表述这一定理，因此在苏联文献中称为科捷利尼科夫采样定理。1948年信息论的创始人C.E.香农对这一定理加以明确地说明并正式作为定理引用，因此在许多文献中又称为香农采样定理。采样定理有许多表述形式，但最基本的表述方式是时域采样定理和频域采样定理。采样定理在数字式遥测系统、时分制遥测系统、信息处理、数字通信和采样控制理论等领域得到广泛的应用。

时域采样定理

频带为F的连续信号f(t)可用一系列离散的采样值f(t1),f(t1±Δt)，f(t1±2Δt)，...来表示,只要这些采样点的时间间隔Δt≤1/2F，便可根据各采样值完全恢复原来的信号f(t)。

时域采样定理的另一种表述方式是：当时间信号函数f(t)的最高频率分量为fM时,f(t)的值可由一系列采样间隔小于或等于1/2fM的采样值来确定,即采样点的重复频率f≥2fM。图为模拟信号和采样样本的示意图。

时域采样定理是采样误差理论、随机变量采样理论和多变量采样理论的基础。

频域采样定理　对于时间上受限制的连续信号f(t)（即当│t│>T时,f(t)=0,这里T=T2-T1是信号的持续时间），若其频谱为F（ω）,则可在频域上用一系列离散的采样值来表示,只要这些采样点的频率间隔ω≦π / tm 。

采样简介

从信号处理的角度来看，此采样定理描述了两个过程：其一是采样，这一过程将连续时间信号转换为离散时间信号；其二是信号的重建，这一过程离散信号还原成连续信号。

连续信号在时间（或空间）上以某种方式变化着，而采样过程则是在时间（或空间）上，以T为单位间隔来测量连续信号的值。T称为采样间隔。在实际中，如果信号是时间的函数，通常他们的采样间隔都很小，一般在毫秒、微秒的量级。采样过程产生一系列的数字，称为样本。样本代表了原来地信号。每一个样本都对应着测量这一样本的特定时间点，而采样间隔的倒数，1/T即为采样频率，fs，其单位为样本/秒，即赫兹(hertz)。

信号的重建是对样本进行插值的过程，即，从离散的样本x[n]中，用数学的方法确定连续信号x(t)。

从采样定理中，我们可以得出以下结论：

如果已知信号的最高频率fH，采样定理给出了保证完全重建信号的最低采样频率。这一最低采样频率称为临界频率或奈奎斯特采样率，通常表示为fN。

相反，如果已知采样频率，采样定理给出了保证完全重建信号所允许的最高信号频率。

以上两种情况都说明，被采样的信号必须是带限的，即信号中高于某一给定值的频率成分必须是零，或至少非常接近于零，这样在重建信号中这些频率成分的影响可忽略不计。在第一种情况下，被采样信号的频率成分已知，比如声音信号，由人类发出的声音信号中，频率超过5 kHz的成分通常非常小，因此以10 kHz的频率来采样这样的音频信号就足够了。在第二种情况下，我们得假设信号中频率高于采样频率一半的频率成分可忽略不计。这通常是用一个低通滤波器来实现的。

混叠

如果不能满足上述采样条件，采样后信号的频率就会重叠，即高于采样频率一半的频率成分将被重建成低于采样频率一半的信号。这种频谱的重叠导致的失真称为混叠，而重建出来的信号称为原信号的混叠替身，因为这两个信号有同样的样本值。

一个频率正好是采样频率一半的弦波信号，通常会混叠成另一相同频率的波弦信号，但它的相位和幅度改变了。以下两种措施可避免混叠的发生：

1. 提高采样频率，使之达到最高信号频率的两倍以上；

2. 引入低通滤波器或提高低通滤波器的参数；该低通滤波器通常称为抗混叠滤波器

抗混叠滤波器可限制信号的带宽，使之满足采样定理的条件。从理论上来说，这是可行的，但是在实际情况中是不可能做到的。因为滤波器不可能完全滤除奈奎斯特频率之上的信号，所以，采样定理要求的带宽之外总有一些“小的”能量。不过抗混叠滤波器可使这些能量足够小，以至可忽略不计。

减采样

当一个信号被减采样时，必须满足采样定理以避免混叠。为了满足采样定理的要求，信号在进行减采样操作前，必须通过一个具有适当截止频率的低通滤波器。这个用于避免混叠的低通滤波器，称为抗混叠滤波器。

定理

为了不失真地恢复模拟信号，采样频率应该大于模拟信号频谱中最高频率的2倍。

Fs>2Fmax

采样率越高，稍后恢复出的波形就越接近原信号，但是对系统的要求就更高，转换电路必须具有更快的转换速度。

信号重构

任何信号都可以看做是不同频率的正弦（余弦）信号的叠加，因此如果知道所有组成这一信号的正（余弦）信号的幅值、频率和相角，就可以重构原信号。由于信号测量、分解及时频变换的过程中存在误差，因此不能100%地重构原信号，重构的信号只能保证原信号误差在容许范围内。

香农极限

信道的香农极限（或称香农容量）指的是在会随机发生误码的信道上进行无差错传输的最大传输速率。它的存在是香农定理在带宽有限的信道上的一个结论。

简介

信道的香农极限（或称香农容量）指的是在会随机发生误码的信道上进行无差错传输的最大传输速率。它的存在是香农定理在带宽有限的信道上的一个结论。

有噪信道编码定理

在信息论里，有噪信道编码定理指出，尽管噪声会干扰通信信道，但还是有可能在信息传输速率小于信道容量的前提下，以任意低的错误概率传送数据信息。这个令人惊讶的结果，有时候被称为信息原理基本定理，也叫做香农-哈特利定理或香农定理，是由克劳德·艾尔伍德·香农于1948年首次提出。

通信信道的信道容量或香农限制是指在指定的噪音标准下，信道理论上的最大传输率。

根据香农1948年的陈述，本定理描述了在不同级别的噪音干扰和数据损坏情况下，错误监测和纠正可能达到的最高效率。定理没有指出如何构造错误监测的模型，只是告诉大家有可能达到的最佳效果。香农定理可以广泛应用在通信和数据存储领域。本定理是现代信息论的基础理论。香农只是提出了证明的大概提纲。1954年，艾米尔·范斯坦第一个提出了严密的论证。

香农定理假设一个有噪音的信道，信道容量为C，信息以速度R传送，如果

那么就存在一种编码技术使接收端收到的错误达到任意小的数值。这意味着理论上，有可能无错误地传送信息直到达到速度限制C。

反过来同样重要。如果

那么想达到任意小的错误率是不可能实现的。因此，在传送速度超过信道容量的时候，可靠传输信息是不能被保证的。定理并没有指出在什么特殊情况下速度和容量相等。

简单的流程如"重复发送数据3遍，用一个投票系统在数据不一样的时候选择3个里面相同的那两个的值"是低效的错误纠正的方式，不能保证数据块能完全没有错误地传送。先进一些的技术如里德-所罗门码编码技术和更现代一些的Turbo码、LDPC码等编码技术更逼近香农限制，但是计算复杂度很高。[1] 

理想加白噪声情况下香农限

考虑数据率、噪声以及误码率的关系。噪声的存在会破坏一个或多个比特。假如数据率增加，那么这些比特会变短，因而给定的噪声模式会影响更多个比特。于是，给定一个噪声值，数据率越高则误码率也越高。所有的这些概念可以通过香农公式清楚联系在一起，此公式由数学家克劳德·艾尔伍德·香农(Claude Elwood Shannon，1916-2001）推导得出的。

如刚才所描绘的，数据率越高，无用的噪声会带来更严重的破坏。在噪声存在的情况下，给点一个噪声值，我们能够通过提高信号强度来提高正确接收数据的能力。在这一推导过程中涉及的主要参数是信噪比(SNR或S/N)，它是指在传输过程中某一点的信号功率与噪声包含功率之比。通常信噪比在接收器处测量，因为正是在这里我们试图处理信号并消除无用噪声。为了使用方便，这个比率通常用分贝表示

它表示有用信号超出噪声值的量，以分贝为单位。SNR的值越高，表示信号的质量越好，所需中间转发器的数量越少。

信噪比对数字数据传输十分重要，因为它限定了一个可达到的数据率上限。香农得出的结果是，用bps来表示的信道的最大容量遵从等式

C是以比特/秒为单位的信道容量，净比特率的理论上限（信息速率，有时表示为I），不包括纠错码;

B是带宽的信道的在赫兹（通带中的带通信号的情况下的带宽）;

S是以瓦（或伏平方）测量的带宽上的平均接收信号功率（在载波调制通带传输的情况下，通常表示为C）;

N是噪声和带宽上的干扰的平均功率，以瓦（或伏特平方）为单位测量;

S / N是通信信号对接收机噪声和干扰的信噪比（SNR）或载波噪声比（CNR）（表示为线性功率比，而不是对数分贝） 。

香农公式显示出理论上可达到的最大值。然而在实际应用中能够达到的速率要低得多。其中一个原因是该公式假定噪声为白噪声(热噪声)，既没有考虑到冲激噪声，也没有考虑衰减和时延失真。即使在理想白噪声情况下，因为编码的原因(如编码长度和复杂性等)，目前的技术仍然无法达到香农容量。

香农公式中提到的容量为无误码容量。经香农证明，假如信道上的实际信息率比无误码容量低，从理论上来说，通过适当的信息编码，信道就有可能达到无误码容量。遗憾的是，香农的理论并没有给出如何找到这种编码的方法，但提供了一个用来衡量实际通信机制性能的计算标准。

通过香农公式我们可以考虑如何将信道容量上限提高。假如噪声值给定，那么似乎通过增加信号强度或带宽就能提高数据率；但是，如果信号强度增加了，则系统的非线性程度也会提高，这就导致互调噪声的增加。还有一点需要注意，由于假定噪声是白噪声，那么带宽越宽，因此系统容纳的噪声也就越多，因此随着B的增加SNR反而降低了。

当

，或

时，

。

但是当

时，

将趋向何值？

令

，上式可以改写为：
　　

利用关系式：
　　

上式变为：

上式表明，当给定

时，若带宽B趋于无穷大，信道容量不会趋于无限大，而只是

的1.44倍。这是

因为当带宽B增大时，噪声功率也随之增大。

和带宽B的关系曲线：

上式还可以改写成如下形式：

式中

——每比特能量

——每比特持续时间

上式表明，为了得到给定的信道容量

，可以增大带宽B以换取

的减小；另一方面，在接收功率受 限的情况下，由于

，可以增大

以减小S来保持

和

不变。

香农哈特利定律

在信息论中，香农极限告诉在该信息可以通过一个特定带宽的存在特定噪声的通信信道数据被发送的最大速率。这是噪声信道编码定理在受到高斯噪声的连续时间、模拟通信信道的原型情况下的应用。该定理建立了对这种通信链路的信道香农限，限制了在存在噪声干扰的情况下可以以指定带宽发送的每个时间单位的无错误信息的最大量，假设信号功率是有界的，并且高斯噪声过程的特征在于已知功率或功率谱密度。定理以Claude Shannon和Ralph Hartley命名。

香农 - 哈特利定理陈述了通道容量C，这意味着可以使用平均接收信号功率S通过经过加性白高斯的模拟通信通道以任意低的错误率传送的数据的信息速率的理论上的最上限电源噪声N：

奈奎斯特率

在1927年，奈奎斯特认为每单位时间可以通过电报通道的独立脉冲数量被限制在通道带宽的两倍。在符号中，

其中

是脉冲频率（以每秒脉冲数计），B是带宽（赫兹）。数量2B后来被称为奈奎斯特速率，并以每秒2个B脉冲的限制脉冲速率以奈奎斯特率发送信号。奈奎斯特在1928年发表他的研究成果，作为他的论文“电讯传播理论中的某些话题”的一部分。

哈特利定律

1928年，哈特利制定了一种量化信息和线路速率（也称为数据信令速率 R比特每秒）的方法。这种方法，后来被称为哈特利定律，成为香农更加复杂的通道容量概念的重要前身。

哈特利认为，可以通过通信信道可靠地发送和接收的可区分脉冲电平的最大数量受到信号幅度的动态范围和接收机能够区分振幅电平的精度的限制。具体地说，如果发送信号的幅度被限制在[ - A ... + A ]伏的范围内，并且接收机的精度为± ΔV伏特，则不同脉冲M的最大数量由

通过以比特/脉冲中的每个脉冲获取信息作为可以发送的不同消息M的数量的基2-对数，Hartley构建了线速率R的度量：

,

其中

是脉冲速率，也称为符号速率，以符号/秒或波特率表示。

然后，哈特利将上述量化与奈奎斯特的观察结合起来，可以通过带宽B 赫兹通道的独立脉冲数为每秒2B脉冲，以达到其可实现线速率的定量测量。

哈特利定律有时引述只是模拟带宽，B，以Hz为单位，和今天被称为数字带宽的R ，以比特/秒为单位之间的比例。其他时候，以这种更定量的形式引用，作为每秒可用的R比特率：

哈特利没有确切地知道数字M应如何依赖于信道的噪声统计，或者即使单个符号脉冲不能可靠地区分为M个等级，通信如何可靠地生成; 利用高斯噪声统计，系统设计人员必须选择非常保守的M值来实现低错误率。

哈特利的速率结果可以被看作是一个无差错的能力中号的2个进制信道B每秒符号。有些作者将其称为容量。但是这样一个无误的信道是一个理想化的方式，如果选择M小到足以使噪声信道几乎无误，结果必然小于带宽B的噪声信道的香农容量，这是随后的香农哈特利定律结果后来。

哈特利定律与香农限的关系

将信道容量与哈特利定律的信息比率进行比较，我们可以找到有效数量的可区分级别M：

平方根有效地将功率比转换回电压比，因此电平数量几乎与信号RMS幅度与噪声标准偏差之比成正比。香农限与哈特利定律之间形式的相似性不应该被解释为意味着M脉冲水平可以毫无混乱地被发送; 需要更多的级别，以允许冗余编码和纠错，但是可以用编码处理的净数据速率等同于使用哈特利定律中的M。

可替代形式

频率依赖（彩色噪声）情况

在上面的简单版本中，信号和噪声完全不相关，在这种情况下，S + N是接收信号和噪声的总功率。通过对多个窄独立的高斯信道并行处理信道，获得加性噪声不是白色（或S / N在带宽上的频率不恒定）的情况下的上述等式的推广，

C是以比特/秒为单位的信道容量 ;

B是信道的带宽，单位为Hz;

S（f）是信号功率谱

N（f）是噪声功率谱

f是以Hz为单位的频率。

注意：该定理仅适用于高斯稳定过程噪声。该公式引入频率相关噪声的方法不能描述所有的连续时间噪声过程。例如，考虑噪声过程，其包括在任何时间点加上振幅为1或-1的随机波，以及将这样的波加到源信号上的信道。这样的波的频率分量是高度依赖的。虽然这样的噪声可能具有高功率，但是如果底层噪声是每个频带中的独立噪声之和，则传输比所需要的功率少得多的连续信号是相当容易的。

近似

对于大或小且恒定的信噪比，容量公式(香农公式)可以近似为：

如果S / N >> 1，那么

这里

2. 同理，如果S / N <<1，那么

 

在这种低SNR近似中，如果噪声为白色，则光谱密度的容量与带宽无关

瓦特/赫兹，在这种情况下，总 噪声功率是

。

非静止记忆信道的信道容量

编辑

假设通道是无记忆的，但是其转换概率随时间而变化，以发射机和接收机已知的方式。然后通道容量由

在每个相应通道的容量达到分配的情况下达到最大值。也就是，

这里

代表第i个信道的容量。[1]
 

各种编码对于接近香农限的程度

诸如“发送消息3次并且如果副本不同则使用最佳2投票方案”这样的简单方案是无效率的纠错方法，不能够渐近地保证一个数据块可以毫无差错地传达。诸如Reed-Solomon码的高级技术，以及最近的低密度奇偶校验（LDPC）码和turbo码更接近于达到理论香农限制，但是以高的计算复杂度为代价。使用这些高效率的代码和当今数字信号处理器的计算能力，现在可以达到非常接近香农限额。实际上，已经表明，LDPC码可以达到香农极限的0.0045dB（对于二进制AWGN信道，具有非常长的块长度）。

土耳其毕尔肯大学教授Erdal Arikan于2009年正式提出的新型编码方案——极化码（polar code），是目前唯一一个在理论上已经被证明可以到达香农限的方案。

编辑：黄飞