💡Creative ChatGLM WebUI

👋 欢迎来到 ChatGLM 创意世界！你可以使用修订和续写的功能来生成创意内容！

• 📖 你可以使用“续写”按钮帮 ChatGLM 想一个开头，并让它继续生成更多的内容。
• 📝 你可以使用“修订”按钮修改最后一句 ChatGLM 的回复。

环境配置

离线包

此安装方法适合：

• 非开发人员，不需要写代码
• 没有Python经验，不会搭建环境
• 网络环境不好，配置环境、下载模型速度慢

| 名称 | 大小 | 百度网盘 | 备注 | |--------------|---------| ---- |----------------------------------------| | 小显存离线包 | 5.3 GB | 点击下载 | chatglm2-6b-int4 离线包，显存需求 8GB | | 大显存离线包 | 11.5 GB | 点击下载 | chatglm3-6b 离线包，显存需求 16GB | | 长文本离线包 | 11.5 GB | 点击下载 | chatglm3-6b-128k 离线包，显存需求 16GB | | GLM4 离线包 | 16.98GB | 点击下载 | GLM-4-9B 离线包，INT4 加载，显存需求 10GB | | 环境离线包 | 2.6 GB | 点击下载 | 不带权重的环境包，启动之后自动下载 chatglm2-6b-int4 权重。 |

除了这些一键环境包之外，你还可以在下面下载更多模型的权重。

• 百度网盘链接：https://pan.baidu.com/s/1pnIEj66scZOswHm8oivXmw?pwd=cglm

下载好环境包之后，解压，然后运行 start_offline.bat 脚本，即可启动服务：

如果你想使用 API 的形式来调用，可以运行 start_offline_api.bat 启动 API 服务：

虚拟环境

此安装方法适合已经安装了 Python，但是希望环境与系统已安装的 Python 环境隔离的用户。

<details><summary>点击查看详细步骤</summary>

首先启动 setup_venv.bat 脚本，安装环境：

然后使用 start_venv.bat 脚本启动服务：

</details>

Python 开发环境

此项配置方法适合代码开发人员，使用的是自己系统里安装的 Python。

环境配置参考官方链接：https://github.com/THUDM/ChatGLM-6B

配置好之后，运行 app.py 开始使用，或者使用 IDE 开始开发。

用法介绍

续写

原始对话

如果你直接问 ChatGLM：“你几岁了？”

它只会回答：“作为一个人工智能语言模型，我没有年龄，我只是一个正在不断学习和进化的程序。”

<img width="388" alt="image" src="https://user-images.githubusercontent.com/10473170/227778266-e7f2b55a-59de-4eee-bfa2-f28f911ec018.png">

续写对话

而如果你给它起个头：“我今年”

它就会回答：“我今年21岁。”

<img width="388" alt="image" src="https://user-images.githubusercontent.com/10473170/227778334-d459ad8d-7c16-466d-851c-5af174216773.png">

使用视频

修订

原始对话

如果你直接跟 ChatGLM 说：“你是谁？”

它会回答：“我是一个名为 ChatGLM-6B 的人工智能助手，是基于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的。我的任务是针对用户的问题和要求提供适当的答复和支持。”

你再问它：“你几岁了？”

它只会说：“作为一个人工智能助手，我没有年龄，因为我只是一个程序，没有实际的肉体或生命。我只是一个在计算机上运行的程序，专门设计为回答用户的问题和提供相关的帮助。”

修改对话

你可以改变它的角色，比如你通过“修订”功能，将它的回复改成：“我是杨开心。”

然后你再问它：“你几岁了？”

它就会回答：“我今年15岁。”

使用视频

重新对话

你可以按照某个输入，重复生成对话，从而拿到满意的结果。

使用视频

实现原理

这个方法并没有训练，没有修改官方发布的权重，而只是对推理的函数做了修改。

续写的原理是，将用户的输入直接设置为 history[-1][1]，模拟模型自己的部分输出，然后继续走之后的推理函数 stream_chat_continue code。

修订的原理是，将用户的输入直接设置为 history[-1][1]，模拟模型自己的完整输出，但是不走推理函数。

离线包制作方法

关于本项目中的离线包制作方法，可以查看下面的详细步骤。

<details><summary>点击查看详细步骤</summary>

准备 Python

首先去 Python 官网下载：https://www.python.org/downloads/

注意要下载 Windows embeddable package (64-bit) 离线包，我选择的是 python-3.10.10-embed-amd64.zip。

解压到 ./system/python 目录下。

准备 get-pip.py

去官网下载：https://bootstrap.pypa.io/get-pip.py

保存到 ./system/python 目录下。

⚠️必做

解压之后，记得删除 pth 文件，以解决安装依赖的问题。

比如我删除的文件路径是 ./system/python/python310._pth

安装依赖

运行 setup_offline.bat 脚本，安装依赖。

下载离线模型

你可以使用 download_model.py 脚本下载模型，如果你的网络环境不好，这个过程可能会很长。下载的模型会存在 ~/.cache 一份，存在 ./models 一份。

当你之后使用 AutoModel.from_pretrained 加载模型时，可以从 ~/.cache 缓存目录加载模型，避免二次下载。

下载好的模型，你需要从 ./models 文件夹移出到项目目录下，这样就可以离线加载了。

下载完模型之后，你需要修改 app.py 里的 model_name，改成你想加载的模型名称。

测试

使用 start_offline.bat 启动服务：

可以看到，服务正常启动。

</details>

协议

本仓库的代码依照 Apache-2.0 协议开源，ChatGLM-6B 模型的权重的使用则需要遵循 Model License。