CS336 Assignment

该项目参考 Stanford CS336 课程作业,从零实现 Transformer 语言模型的核心组件。

该项目参考 Stanford CS336 课程作业,从零实现 Transformer 语言模型的核心组件。

我实现了 Linear、Embedding、RMSNorm、SwiGLU、RoPE、多头自注意力、训练工具、优化器逻辑、学习率调度、梯度裁剪和 checkpoint 等模块。