CS336 Assignment
该项目参考 Stanford CS336 课程作业,从零实现 Transformer 语言模型的核心组件。
该项目参考 Stanford CS336 课程作业,从零实现 Transformer 语言模型的核心组件。
我实现了 Linear、Embedding、RMSNorm、SwiGLU、RoPE、多头自注意力、训练工具、优化器逻辑、学习率调度、梯度裁剪和 checkpoint 等模块。
该项目参考 Stanford CS336 课程作业,从零实现 Transformer 语言模型的核心组件。
该项目参考 Stanford CS336 课程作业,从零实现 Transformer 语言模型的核心组件。
我实现了 Linear、Embedding、RMSNorm、SwiGLU、RoPE、多头自注意力、训练工具、优化器逻辑、学习率调度、梯度裁剪和 checkpoint 等模块。