TinyGPT 旨在帮助非 AI 领域的开发者轻松理解大语言模型的核心原理

✨ 特性

完整训练流程: 涵盖从 预训练、SFT 到 DPO
低门槛: 无需云端 GPU，同时兼容 Mac M 芯片
为学习而生:
- 内置 @teacher AI，引导式教学
- 不追求性能和效果，仅使用经典算法做入门实现
- 有类型注释，懂的都懂 🤷🏻‍♀️...

🚀 开始吧！

每个章节相互独立，可任意开始

也可直接让老师带你，比如：

# 在 Cursor，Claude Code 或任何带 Bash Tool 的环境中：
@teacher 带我预训练

预训练: 手搓 10M 的超小模型（比 Qwen3-0.6B 还要小 60 倍）
SFT (WIP): Qwen3-0.6B 版加法器
DPO (WIP): 反向安全对齐，Qwen3-0.6B 越狱破限

🙏 鸣谢 & 拓展学习推荐

没看以下资料之前我也是门外汉一枚，成功不一定能复制，但学习一定可以！

Minimind: 学习参考了很多，感谢 jingyaogong 大佬。推荐作为进阶学习项目
从零构建大模型: 豆瓣 9.3 分，对初学者非常友好
王木头学科学: 如果想理解 Why，强烈推荐

<table> <tr> <td align="center"> <img src="https://github.com/glidea/zenfeed/blob/main/docs/images/wechat.png?raw=true" alt="Wechat QR Code" width="300"> <br> <strong>AI 学习交流社群</strong> </td> <td align="center"> <img src="https://github.com/glidea/banana-prompt-quicker/blob/main/images/glidea.png?raw=true" width="250"> <br> <strong><a href="https://glidea.zenfeed.xyz/">我的其它项目</a></strong> </td> </tr> <tr> <td align="center" colspan="2"> <img src="https://github.com/glidea/banana-prompt-quicker/blob/main/images/readnote.png?raw=true" width="400"> <br> <strong><a href="https://www.xiaohongshu.com/user/profile/5f7dc54d0000000001004afb">📕 小红书账号 - 持续分享 AI 原创</a></strong> </td> </tr> </table>

Tinygpt

Install / Use

README

✨ 特性

🚀 开始吧！

🙏 鸣谢 & 拓展学习推荐