文章主题：ChatGLM-6B, OpenAI, AI助手, 本地部署
作者：Tommyvinny
购买理由
🚀ChatGLM-6B🌟，由清华大学智慧引擎研发团队倾力打造，一款打破传统认知的开源智能聊天机器人。它以1TB海量数据为养分，涵盖中英双语，专为中国市场量身定制。以其卓越的语言理解和生成能力，引领潮流，轻松满足日常对话与创新需求。欲体验科技带来的便捷沟通，ChatGLM-6B无疑是首选！🔍SEO优化提示：#ChatGLM-6B #开源对话机器人 #清华大学智慧引擎
如果你有OpenAI的ID的话，而且你已经用的非常顺畅的话，可以不看了。
🌟如果你拥有8GB+以上的强力GPU和一台Unraid NAS，那就开启超高效能之旅吧！🚀使用体验告诉我，文件处理速度翻倍，从1天压缩到2小时左右，时间管理轻松自如。📝无论是创作还是项目规划，结构清晰且对话式操作让任务变得简单流畅。✍️比如撰写一篇XXXX主题的心得，只需几个小时内，千字佳作即刻呈现；或是为XXXX项目进行详尽阐述，1000字不在话下。🚀提升效率，Unraid帮你轻松搞定！💪 #NAS性能 #Unraid体验 #工作效率提升
由于是在本机运行，没有敏感词，唯一限制你的就是模型的大小和显卡显存的大小。
注意NAS的内存大小，不要少于32G可用，都有独立显卡了，还在乎内存的耗电么？
🌟🚀探索未来对话的力量！📈📊ChatGLM-6B大模型等你来驾驭！🎉🔥ChatGLM-6B，引领AI语言生成的新高度！它不仅仅是一个模型，它是通往卓越沟通的超速通道。💡通过深度学习与海量数据的结晶，它能理解并回应复杂话题，提供个性化的对话体验。🌍无论你是科技狂热者，商业策略家，还是日常交流达人，ChatGLM-6B都能满足你的需求。🔍想要提升你的写作技巧？ChatGLM-6B可以作为你的得力助手，帮你生成专业且引人入胜的文本。它能理解上下文，确保信息连贯且无偏差。📝只需轻轻一点，就能获得高质量的内容，节省大量创作时间。👩💻立即行动，免费试用ChatGLM-6B模型！无需注册，无需填写个人信息，立刻开始你的AI对话之旅。🚀让我们一起开启知识与灵感的无限可能！🌐
🌟ChatGLM-6B的INT4量化版，体积小巧，只需6GB显存，却能展现出强大的推理能力。相较于完整版本的13GB内存需求，它无疑为个人本地部署提供了极大的便利和节省空间的优势。这颗”智慧宝石”，不仅易于上手，更是高效与轻量级的完美结合，让你在家也能轻松拥有超大规模语言模型的体验。🔍
以下是部署docker添加方式。
名称：chatglm-6b
存储库：mkaliez99/chatglm-6b:1.1.0
额外参数：–runtime=nvidia
变量 名称 显卡调用 键 NVIDIA_VISIBLE_DEVICES 值 一张显卡就all
变量名称：GPU驱动配置模式 📝，默认键值对：\( NVIDIA_DRIVER_CAPABILITIES \rightarrow compute\ utility \)在高端计算与日常应用之间切换时，通过调整 NVIDIA_DRIVER_CAPABILITIES 这一关键设置，您可以轻松地启用或禁用不同级别的图形性能。这项强大的功能允许用户根据需求精确控制显卡的能效表现，确保无论是进行密集型渲染还是轻负载浏览，都能达到最佳效能。记得定期更新驱动以获取最新的兼容性和优化哦！💪
端口 名称 端口主机映射 容器端口 80 主机端口 12808，你可以自己设定自己不用的端口
点击完成后，将开始漫长的拉取环境安装，然后自动下载模型，模型有点大，大约8G左右。
🚀🚀🚀loading up in progress! 📦100% checkpoint shards on the way, with an impressive speed of 3.11 it/s. Progress is smooth, as seen by the logs showing [00:24 remaining]. Keep your eyes peeled for a seamless download experience. #LoadingCheckpoints #FastProgress
之后 浏览器输入 ip:12808 就可以快乐的使用了。
外观展示
使用感受
我的显卡是X鱼上购买的900元显卡，被动散热，加装了风扇。运行这个生成，基本上秒回。与在线的OpenAI的ChatGPT几乎一致，但是模型是6B的模型，比起AI的30B模型回复的内容质量差距很大，但是日常使用，例如写个心得体会，写一点点的分析，询问一些问题，是完全足够。
总结
个人本地运行，不受限制，不怕被封号，这是唯一的优势。相信以后更大的模型之后，会有更好的效果。有兴趣的可以自己架设起来，让AI助理提高工作效率。
阅读更多办公软件精彩内容，可前往什么值得买查看
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
