前言

这是北京大学《人工智能中的编程》的课程笔记，内容包括 CUDA 与并行算法、自动微分、计算图、AI 编译器、分布式训练和模型部署。

阅读入口

框架基础

• 导论

CUDA 与并行计算

• 并行编程
• 并行通信
• 并行算法 I
• 并行算法 II
• 矩阵乘法
• 卷积与池化
• PyBind 与单元测试

框架与编译

• 自动微分
• 计算图
• AI 编译器前端
• 优化
• AI 编译器后端
• 数据处理
• 异构处理器

训练与部署

• 分布式训练与数据并行
• 模型并行与张量并行
• 量化
• LLM 推理与服务
• 联邦学习