【信息论及其应用】.pdf
011/24281199
一1一 前言 信息论是研究信息传输和信息处理过程中一般规律的一门学 科,也是现代信息科学和技术的一门基础理论。因此目前各高等院 校的电子信息类专业的本科生、研究生都把信息论作为一门重要 的专业基础理论课。同时,由于信息论的思想和方法已广泛地渗透 到许多其他的学科,信息论的许多结果也有相当的普遍意义,因此 信息论在许多其他领域,如在计算机科学、系统科学、统计学、经济 学甚至在社会学中都获得了成功的应用。信息论对于从事这些相 本书系作者根据多年教学实践和经验编著而成。教材主要介 绍了香农(Shannon)信息论的基本概念、基本分析方法和主要结 果.
8目录 2离散信源的和信息量 2条件互信息和联合事件的互信息 离散随机变量的平均自信息一 随机变量的相对和平均互信息 马尔可夫链和数据处理定理 连续随机变量的互信息和微分 连续随机变量的互信息 连续随机变量的煸一一微分 微分的极大化 凸函数和互信息的凸性 凸函数的概念和性质 2Kuhn-Tuckcr条件 互信息的凸性 平稳离散信源 平稳离散信源一般概念 82随机过程的信息量和 第二章和互信息 2事件的互信息 2事件的自信息.