Information Theory¶
课程简介¶
- 机构： Stanford University
- 课程编号： EE 276
- 方向： 信息论与编码
- 评级： A
- 角色： 主线
- 难度： 提供方未标准化（请按先修判断）
- 最近复核： 2026-07-28
Stanford University 的《Information Theory》以当前课件和带答案作业提供信息论主线；文本与反馈质量较高，但授课视频仅限 Canvas。
为什么选择这门课
主线课程，核心内容可靠，适合按自身背景作为主课或高质量替代。
学习前准备
- 建议先完成方向基础：概率、统计与随机过程
- 建议先完成方向基础：通信系统
可验证的学习成果
- 解释信息论与编码中的核心模型，并说明主要假设与适用边界
- 独立完成代表性推导与题目，并用量纲、极限情形或数值结果交叉检查
工时与节奏
11 周，每周 9 小时。 这是维护者规划估计，依据课程角色与公开练习、实验密度生成，不是提供方工时承诺。先试学两周，分别记录授课、练习、实验和复盘时间；若实际偏差超过 25%，据实调整剩余计划。
安全等级
仅仿真。 默认实践范围仅限软件、计算或仿真；不得因资源清单中的“实验”标签自行连接实体设备，任何硬件扩展都必须重新核对提供方范围并进行风险评估。
课程资源¶
软件、硬件与成本
软件
- 维护者建议的开源/免费验证路径：Python 3、Jupyter、NumPy、SciPy 与 SageMath
- 资源清单未标注公开代码覆盖；上述工具仅用于维护者建议的独立验证，不代表提供方要求
硬件
- 资源清单未标注公开实体实验覆盖；维护者路径默认采用计算/仿真。只假设可重复运行编码实验并保存随机种子和结果的通用计算机；不假设专用实体硬件。提供方如另列设备或算力要求，以其课程页面为准
成本说明
建议软件栈可开源或免费使用；这只是维护者规划，不是提供方要求。商业许可证、云计算、存储和机构资源如被提供方指定，其费用随方案、地区与机构而变，本文不设固定价格。
公开资源完整度
| 资源类型 | 完整度 |
|---|---|
| 视频 | 无公开材料 |
| 讲义 | 完整 |
| 练习 | 完整 |
| 实验 | 无公开材料 |
| 考试 | 无公开材料 |
| 代码 | 无公开材料 |
资源与访问条件
| 资源 | 访问 | 许可 | 状态 | 复核日期 |
|---|---|---|---|---|
| 课程主页 | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| Homework 1 | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| Solutions — web.stanford.edu/EE276_HW1_sol.pdf | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| Homework 2 | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| Homework 3 | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| Homework 4 | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| Homework 5 | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| Homework 6 | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| Homework 7 | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| Homework 8 | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| Homework | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| Course Outline | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| Exams | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| Solutions — web.stanford.edu/EE276_final_sol.pdf | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| Solutions — web.stanford.edu/EE276_midterm_sol.pdf | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| Readings | 无需注册公开访问 | Provider-specific terms; verify before reuse | 官方页已列出 | 2026-07-28 |
| The Information Age | 无需注册公开访问 | Creator copyright under YouTube Terms of Service | 官方页已列出 | 2026-07-28 |
| Compressor head | 无需注册公开访问 | Creator copyright under YouTube Terms of Service | 官方页已列出 | 2026-07-28 |
“官方页已列出”表示核验日从成功访问的官方来源页发现该链接，不保证目标文件在所有地区或账号状态下都能直接打开。访问不代表获得再分发权；下载、改编或公开发布前，应重新核对提供方页面、目标链接及其中第三方材料的许可。
实践与验收¶
实践闭环
《Information Theory · Stanford University EE 276》信源/信道编码边界实验
这是维护者为《Information Theory · Stanford University EE 276》建议的自学项目，不是课程官方作业。围绕信息论与编码实现一个压缩或纠错编码器，在有限块长下比较熵/容量理论界、实际码率、失真和误码。
来源： 维护者建议项目
交付物
- 信源/信道模型、码构造、块长、码率和理论界推导
- 编码器、译码器、随机基线和单元测试源文件
- 至少 5 个块长或噪声点的原始码长、失真、误码和运行时
- 一份报告，比较理论界与实现并分析短块、突发错误或模型失配
验收
- 无噪声编码往返对至少 10000 个随机消息逐位一致
- 实测平均码率不低于熵界且差距随块长增加按预期缩小
- 用穷举小块长或第二个实现交叉核对译码最优性
- 注入突发错误或错误先验，报告相对独立同分布基线的性能退化
复现要求
- 提交推导、编解码、基线、测试与绘图源文件
- 固定块长、码本生成规则、种子、停止准则与依赖
- 保存逐块原始结果、失败消息和自动生成报告
安全边界： 仅仿真 — 仅使用合成比特流；不得把未经独立验证的编码器用于紧急通信、医疗遥测或安全关键存储。
风险、缺口与边界
当前课件与作业答案已公开，但授课视频仅能通过 Canvas 访问。
完成证据
- 按周学习日志：投入时间、问题、错误订正、决策、下一步，并链接本周可复现产物
- 理论推导档案：逐项列出假设、符号、推导、单位与边界条件，并用至少一种独立方法复核
- 代码仓库：固定依赖和工具链、最小运行命令、测试或波形/基准、预期输出与许可说明