第2章 信息论基础

信息是消息的内涵，其与通信问题密切相关。1948年香农在题为《通信的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式预示了信息论的广阔应用前景。1951年，美国无线电工程学会承认了信息论这门学科，此后信息论得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，而60年代信息论属于一个消化、理解的时期，在已有基础上进行重大建设的时期，其研究重点是信息和信源编码问题。70年代，由于数字计算机的广泛应用，通信系统的能力有了极大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源加以利用和共享。可以说，信息论是20世纪40年代后期人们从长期通信实践中总结出来的一门学科，是专门研究信息的有效处理和可靠传输的一般规律的科学，是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

本章重点学习信息论的基本概念，主要包括信源的数学模型、信息量、信息熵、信道的相关概念以及香农三大定理。通过本章相关概念的学习，有助于理解通信的基本过程，以及信息在传递过程中所涉及的基本理论。本章内容也是后续章节课程学习所必备的知识基础。