文章主题：清华大学, ChatGLM-6B, 开源对话机器人, 中英文训练
作者：Tommyvinny
购买理由
ChatGLM-6B是由我国清华大学的知识工程和数据挖掘团队开发的一款类似于ChatGPT的开源对话机器人。这款机器人的独特之处在于，它接受了大约1T个标识符的中英文训练，而且大部分都是中文，因此它非常适合在我国使用。
如果你有OpenAI的ID的话，而且你已经用的非常顺畅的话，可以不看了。
作为一名拥有8G显存显卡的用户，且使用Unraid作为NAS系统的 writer，我强烈推荐大家尝试一下这款工具。实际上，自从我开始使用它以来，我的工作效率得到了显著提升。以写一篇关于XXXX的心得为例，我可以更快地完成文章结构，从而将写作时间缩短至原来的两倍左右。此外，在进行对话式修改时，我也能够更加便捷地进行操作。同时，我还发现，在使用这款工具处理简单工作场景时，其便利性也得到了充分体现。比如，当我需要撰写一篇关于XXXX的文章时，通过这款工具，我可以迅速地将内容扩充至1000字以上。又如，当我在编写一个项目计划时，只需轻轻一点，即可实现对XXXX项目的详细阐述，这一过程所需的篇幅远超出了我以往的手写方式。综上所述，这款工具对于那些追求高效写作的人来说，无疑是一个极好的选择。无论是从效率还是便捷性方面来看，它都能带来明显的改变。所以，我强烈建议大家可以试一试，相信你们一定会和我一样，对它爱不释手。
由于是在本机运行，没有敏感词，唯一限制你的就是模型的大小和显卡显存的大小。
注意NAS的内存大小，不要少于32G可用，都有独立显卡了，还在乎内存的耗电么？
ChatGLM-6B 是清华大学 KEG 实验室与智谱 AI 公司于 2023 年共同训练的语言模型，是 GLM-130B 的升级版。该模型的预训练任务包括中文问答、中文文本生成、中文文本分类等，适用于多种自然语言处理任务。ChatGLM-6B 在中文问答方面表现出色，能够对用户的问题和要求提供适当的答复和支持。此外，它还可以用于中文文本生成、翻译、摘要、情感分析等任务，具有广泛的应用前景。
在GitHub上，有关ChatGLM-6B的开源项目公开信息显示，完整的版本在进行推理时需要13GB的显存，然而，其INT4量化版本却能仅需6GB的显存就能正常运行。这对于个人本地的部署而言，无疑是一个极大的优点。
以下是部署docker添加方式。
名称：chatglm-6b
存储库：mkaliez99/chatglm-6b:1.1.0
额外参数：–runtime=nvidia
变量 名称 显卡调用 键 NVIDIA_VISIBLE_DEVICES 值 一张显卡就all
在计算机科学领域中，显卡调用模式是一个关键参数，它决定了程序如何与显卡进行交互。在NVIDIA驱动程序能力列表（NVIDIA_DRIVER_CAPABILITIES）中，有两个主要的显卡调用模式，分别是 compute 和 utility。 compute模式主要用于执行大规模的计算任务，而utility模式则更适用于一般的图形处理操作。这两种模式各有优势，可以根据实际需求进行选择。
端口 名称 端口主机映射 容器端口 80 主机端口 12808，你可以自己设定自己不用的端口
点击完成后，将开始漫长的拉取环境安装，然后自动下载模型，模型有点大，大约8G左右。
在文件下载完成后，日志界面显示了 Loading checkpoint shards 的信息，其中 100% 的进度已经完成，而剩余的 8/8 部分正在加速处理中。在这个过程中，我们持续关注着文件的传输速度和时间，以便在出现问题时能够及时解决。根据当前的数据显示，文件下载耗时约 3.11 秒每项任务。
之后 浏览器输入 ip:12808 就可以快乐的使用了。
外观展示
使用感受
我所拥有的显卡来自X鱼平台，价格为900元，其采用被动散热方式，并额外安装了风扇以提升散热效果。在运行生成型任务时，该显卡能够迅速响应，几乎瞬间就能给出反馈。虽然与我在线咨询的OpenAI的ChatGPT在回答内容上存在一定的差距，由于其模型规模较小（6B），因此在处理一些日常任务，如撰写心得体验、进行简要分析或提出疑问等方面，该显卡的表现仍然完全足够。
总结
在本地运行的个人环境具有其独特的优势，那就是其不受网络限制，不会轻易遭遇封号的问题。这无疑是一个宝贵的特性，特别是在未来，当更为庞大的模型被开发出来时，它们可能会带来更出色的效果。对于有兴趣的读者来说，完全可以通过自行搭建系统来利用这个优势，从而让AI助手在日常工作中发挥更高的效率。
阅读更多办公软件精彩内容，可前往什么值得买查看
清华大学, ChatGLM-6B, 开源对话机器人, 中英文训练
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
