前言

这是北京大学《人工智能中的编程》的课程笔记，本课程由王鹏帅、楚梦渝、梁一韬三位老师共同教授。

课程笔记

PyTorch 与 CUDA

• 导论
• 并行编程
• 并行通信
• 并行算法 I
• 并行算法 II
• 矩阵乘法
• 卷积与池化
• PyBind 与单元测试

框架与编译

• 自动微分
• 计算图
• AI 编译器前端
• 优化
• AI 编译器后端

数据与分布式训练

• 数据处理
• 异构处理器
• 分布式训练与数据并行
• 模型并行与张量并行

部署与联邦学习

• 量化
• LLM 推理与服务
• 联邦学习

Lab 笔记

• Lab 1：CIFAR-10 图像分类
• Lab 2：Tensor 与激活函数
• Lab 3：CUDA 神经网络算子
• Lab 4：Python 扩展封装
• Lab 5：自动微分
• Lab 6：优化器
• Lab 7：Final Project 与自定义深度学习框架