LLMsNineStoryDemonTower

【LLMs 入门实战系列】

<img src="img/微信截图_20230918094559.png" width="50%" >

【LLMs 入门实战系列】交流群 (注：人满 可 添加 小编wx：yzyykm666 加群！)

<img src="img/微信截图_20210301212242.png" width="50%" >

• 【LLMs 入门实战系列】
  • 第一层 LLMs to Natural Language Processing (NLP)
    • 第一重 ChatGLM-6B 系列
      • ChatGLM2-6B
      • ChatGLM3
      • ChatGLM-6B
    • 第十重 Baichuan
      • Baichuan2
      • Baichuan-13B
      • baichuan-7B
    • 第十一重 Llama2
    • 第二重 Stanford Alpaca 7B
    • 第三重 Chinese-LLaMA-Alpaca
    • 第四重 小羊驼 Vicuna
    • 第五重 MOSS
    • 第六重 BLOOMz
    • 第七重 BELLE
    • 第八重 ChatRWKV
    • 第九重 ChatGPT
  • 第九层 LLMs to interview
  • 第八层 LLMs to Inference acceleration
  • 第二层 LLMs to Parameter Efficient Fine-Tuning (PEFT)
    • 第一重 分布式训练神器
    • 第二重 LLMs Trick
    • 第三重 LLMTune
    • 第四重 QLoRA
  • 第三层 LLMs to Artifact
    • 第一重 langchain
    • 第二重 wenda
    • 第三重 AutoGPT
    • 第四重 Knowledge Extraction
  • 第四层 LLMs to Text-to-Image
    • 第一重 Stable Diffusion
  • 第五层 LLMs to Visual Question Answering (VQA)
    • 第一重 BLIP
    • 第二重 BLIP2
    • 第三重 MiniGPT-4
    • 第四重 VisualGLM-6B
    • 第五重 Ziya-Visual
  • 第六层 LLMs to Automatic Speech Recognition (ASR)
    • 第一重 Massively Multilingual Speech (MMS，大规模多语种语音)
    • 第二重 whisper
  • 第七层 LLMs to Text To Speech (TTS)
    • 第一重 Massively Multilingual Speech (MMS，大规模多语种语音)
    • 第二重 Retrieval-based-Voice-Conversion
  • LLaMA 衍生物系列
    • 第五重 GPT4ALL
    • 第十一重 OpenBuddy
    • 第十二重 Baize
    • 第十三重 OpenChineseLLaMA
    • 第十四重 Panda
    • 第十五重 Ziya-LLaMA-13B
    • 第十六重 BiLLa
    • 第十七重 Luotuo-Chinese-LLM
    • 第十八重 Linly
    • 第十九重 ChatYuan
    • 第二十重 CPM-Bee
    • 第二十一重 TigerBot
    • 第二十二重 书生·浦语
    • 第二十三重 Aquila
    • 第一重 金融领域
    • 第二重 医疗领域
    • 第三重 法律领域
    • 第四重 教育领域
    • 第五重 文化领域
    • 第六重 Coding
• 知识体系
• 加入学习群
• 参考

第一层 LLMs to Natural Language Processing (NLP)

第一重 ChatGLM-6B 系列

ChatGLM2-6B

• 【ChatGLM2-6B入门】清华大学开源中文版ChatGLM-6B模型学习与实战

  • 论文名称：ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型
  • 论文地址：
  • Github 代码：https://github.com/THUDM/ChatGLM2-6B
  • 动机：在主要评估LLM模型中文能力的 C-Eval 榜单中，截至6月25日 ChatGLM2 模型以 71.1 的分数位居 Rank 0 ，ChatGLM2-6B 模型以 51.7 的分数位居 Rank 6，是榜单上排名最高的开源模型。
  • 介绍：ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：
    • 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。
    • 更长的上下文：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练，允许更多轮次的对话。但当前版本的 ChatGLM2-6B 对单轮超长文档的理解能力有限，我们会在后续迭代升级中着重进行优化。
    • 更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。
    • 更开放的协议：ChatGLM2-6B 权重对学术研究完全开放，在获得官方的书面许可后，亦允许商业使用。如果您发现我们的开源模型对您的业务有用，我们欢迎您对下一代模型 ChatGLM3 研发的捐赠。

• 【关于 ChatGLM2 + LoRA 进行finetune 】那些你不知道的事

  • 论文名称：ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型
  • 论文地址：
  • Github 代码：https://github.com/THUDM/ChatGLM2-6B
  • 介绍：本教程主要介绍对于 ChatGLM2-6B 模型基于 LoRA 进行finetune。

• 【LLMs 入门实战 】基于 🤗PEFT 的高效 🤖ChatGLM2-6B 微调

  • 微调方式：
    • ChatGLM2-6B Freeze 微调：Fine-tuning the MLPs in the last n blocks of the model.
    • ChatGLM2-6B P-Tuning V2 微调：Fine-tuning the prefix encoder of the model.
    • ChatGLM2-6B LoRA 微调：Fine-tuning the low-rank adapters of the model.

• 【LLMs 入门实战】基于 🤗QLoRA 的高效 🤖ChatGLM2-6B 微调

  • 介绍：本项目使用 https://github.com/huggingface/peft 库，实现了 ChatGLM2-6B 模型4bit的 QLoRA 高效微调，可以在一张RTX3060上完成全部微调过程。

ChatGLM3

• 【LLMs 入门实战】 ChatGLM3 模型学习与实战

  • 论文名称：ChatGLM3
  • Github 代码：https://github.com/THUDM/ChatGLM3
  • 模型地址：
    • huggingface：https://huggingface.co/THUDM/chatglm3-6b
    • modelscope：https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary
  • 动机：2023年10月26日，由中国计算机学会主办的2023中国计算机大会（CNCC）正式开幕，据了解，智谱AI于27日论坛上推出了全自研的第三代基座大模型ChatGLM3及相关系列产品，这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。
  • 介绍：ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：
    • 更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。
    • 更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。
    • 更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base、长文本对话模型 ChatGLM3-6B-32K。以上所有权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

• 【LLMs 入门实战】 ChatGLM3 模型微调学习与实战

  • 论文名称：ChatGLM3
  • Github 代码：https://github.com/THUDM/ChatGLM3
  • 模型地址：
    • huggingface：https://huggingface.co/THUDM/chatglm3-6b
    • modelscope：https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary
  • 动机：2023年10月26日，由中国计算机学会主办的2023中国计算机大会（CNCC）正式开幕，据了解，智谱AI于27日论坛上推出了全自研的第三代基座大模型ChatGLM3及相关系列产品，这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。
  • 介绍：分别对 ChatGLM3 进行 lora 和 full_training 微调

ChatGLM-6B

1. 【ChatGLM-6B入门-一】清华大学开源中文版ChatGLM-6B模型学习与实战
   1. 介绍：ChatGLM-6B 环境配置 和 部署
2. 【ChatGLM-6B入门-二】清华大学开源中文版ChatGLM-6B模型微调实战
   1. ChatGLM-6B P-Tuning V2 微调：Fine-tuning the prefix encoder of the model.
3. 【ChatGLM-6B入门-三】ChatGLM 特定任务微调实战
4. 【ChatGLM-6B入门-四】ChatGLM + LoRA 进行finetune
   1. 介绍：ChatGLM-6B LoRA 微调：Fine-tuning the low-rank adapters of the model.
5. ChatGLM-6B 小编填坑记
   1. 介绍：ChatGLM-6B 在 部署和微调 过程中 会遇到很多坑，小编掉坑了很多次，为防止 后人和小编一样继续掉坑，小编索性把遇到的坑都填了。
6. 【LLMs学习】关于大模型实践的一些总结
7. 【LLMs 入门实战 —— 十一 】基于 🤗PEFT 的高效 🤖ChatGLM-6B 微调
   1. 微调方式：
      1. ChatGLM-6B Freeze 微调：Fine-tuning the MLPs in the last n blocks of the model.
      2. ChatGLM-6B P-Tuning V2 微调：Fine-tuning the prefix encoder of the model.
      3. ChatGLM-6B LoRA 微调：Fine-tuning the low-rank adapters of the model.
8. 【LLMs 入门实战】基于 🤗QLoRA 的高效 🤖ChatGLM-6B 微调
   1. 介绍：本项目使用 https://github.com/huggingface/peft 库，实现了 ChatGLM-6B 模型4bit的 QLoRA 高效微调，可以在一张RTX3060上完成全部微调过程。
9. 【LLMs 入门实战 】🤖ChatGLM-6B 模型结构代码解析
   1. 介绍：ChatGLM-6B 模型结构代码解析

第十重 Baichuan

Baichuan2

• 【LLMs 入门实战】 Baichuan2 学习与实战
  • 论文名称：Baichuan 2: Open Large-scale Language Models
  • Github 代码：https://github.com/baichuan-inc/Baichuan2
  • 模型：https://huggingface.co/baichuan-inc
  • Baichuan-13B 大模型：
    • 官方微调过（指令对齐）:https://huggingface.co/baichuan-inc/Baichuan-13B-Chat
    • 预训练大模型（未经过微调）:https://huggingface.co/baichuan-inc/Baichuan-13B-Base
  • 介绍：
    • Baichuan 2 是百川智能推出的新一代开源大语言模型，采用 2.6 万亿 Tokens 的高质量语料训练。
    • Baichuan 2 在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。
    • 本次发布包含有 7B、13B 的 Base 和 Chat 版本，并提供了 Chat 版本的 4bits 量化。
    • 所有版本对学术研究完全开放。同时，开发者通过邮件申请并获得官方商用许可后，即可免费商用，请参考协议章节。

Baichuan-13B

• 【LLMs 入门实战 】 Baichuan-13B 模型学习与实战
  • baichuan-inc/Baichuan-13B：https://github.com/baichuan-inc/Baichuan-13B
  • Baichuan-13B 大模型：
    • 官方微调过（指令对齐）:https://huggingface.co/baichuan-inc/Baichuan-13B-Chat
    • 预训练大模型（未经过微调）:https://huggingface.co/baichuan-inc/Baichuan-13B-Base
  • 介绍：Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。Baichuan-13B 有如下几个特点：
    • 更大尺寸、更多数据：Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到 130 亿，并且在高质量的语料上训练了 1.4 万亿 tokens，超过 LLaMA-13B 40%，是当前开源 13B 尺寸下训练数据量最多的模型。支持中英双语，使用 ALiBi 位置编码，上下文窗口长度为 4096。
    • 同时开源预训练和对齐模型：预训练模型是适用开发者的“基座”，而广大普通用户对有对话功能的对齐模型具有更强的需求。因此本次开源同时发布了对齐模型（Baichuan-13B-Chat），具有很强的对话能力，开箱即用，几行代码即可简单的部署。
    • 更高效的推理：为了支持更广大用户的使用，本次同时开源了 int8 和 int4 的量化版本，相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛，可以部署在如 Nvidia 3090 这样的消费级显卡上。
    • 开源免费可商用：Baichuan-13B 不仅对学术研究完全开放，开发者也仅需邮件申请并获得官