文章主题：
大模型重要的是基础能力，训练一开始把中文能力作为目标意义不大。
🌟许多人对ChatGPT在中文领域的表现感到失望，它似乎对中国文化知之甚少，无法流利背诵古诗词，混淆中国名人，甚至对许多常识性内容信口开河。相比之下，它在欧美历史和社会知识的处理上显得更为得心应手。🚀因此，大家纷纷期待一个能与ChatGPT相抗衡的中文版出现，我也不例外，但我坚信，只有打造一个英文实力超越前者，同时又能均衡发展的模型，才有可能真正提升中文能力。💡因为基础技术的强大是决定性的，语种只是应用层面的体现。如果不能在英文上实现突破或持平，那么仅仅提高中文水平的可能性微乎其微。
🌟大模型的超凡能力揭示：语言鸿沟不再是障碍💡研究表明，这些先进模型不仅掌握了多语言的“高级智慧”，还展现出惊人的跨文化交流能力。👀RLHF的研究实例中，99%的数据源自英语世界，法、德等欧洲语种紧随其后，而中文的比例微乎其微，但这并不妨碍其在所有语言环境下的卓越表现。🌟这无疑表明，模型通过深度学习，悄然掌握了超越国界的隐性知识。ChatGPT的对话策略更是佐证了这一观点：它严谨地限制内容，用英语预设提示，却能无缝应对全球用户，展现出无与伦比的语言包容性。🔍尽管prompt提示看似英语主导，但其普适性不容忽视，这是对跨语种适应力的有力证明。偶尔的中文翻译痕迹，可能是训练中语言融合的自然结果，但也反映出模型在处理多语种时的灵活性和智慧。🌟未来，随着技术的进步，我们期待看到更多大模型打破语言壁垒，为全球交流带来无尽可能。🌐
🌟中文能力并非全部，古诗背诵只是冰山一角，技术上并不复杂，许多国内顶尖模型已能轻松应对。然而ChatGPT风靡的背后，是理解与生成的飞跃——它能精准揣摩需求，创作连贯且创新的文字，错误虽多但逻辑性强。这在以往的NLP模型中实属挑战。🔥
🌟改写示例🌟ChatGPT的强大之处在于其对中文语境的精准捕捉，能将现代诗巧妙地转化为古风，尽管生成的作品可能尚需打磨，但它确实能在忠实原意的基础上，适度调整以适应古韵。用户只需简单指令，“第三句现代化，求古化处理”，它就能迅速领会并作出回应，这种互动模式颠覆了传统程序的逻辑。中文能力的核心不只在于记忆繁多的词汇和语法，而是在于理解和运用语言艺术，让文字在古今间自由流转而不失其精髓。ChatGPT的出现，无疑为我们提供了一个观察和提升这一能力的独特视角。🚀SEO优化提示：使用关键词“ChatGPT”、“中文理解与应用”、“语言艺术”、“词汇语法”和“古诗现代转换”，适当增加emoji符号如🌟、📝、🤔、🌐等，保持信息流畅且吸引眼球。
中文的语言数据集需要艰苦卓绝的整理工作
🌟警惕！中文互联网垃圾信息泛滥🔥 生成文本技术滥用，SEO垃圾、水军机器人、电商评论机智过剩，文库/知乎内容改写无孔不入，论文查重“伪技术”遍地开花。一搜罕见词，海量无效信息扑面而来，质量堪忧！👀国产大模型测试中也不幸发现蛛丝马迹，互联网垃圾体悄然潜伏。相比之下，英文搜索虽有挑战，但至少在信息检索层面显得相对干净。🌍SEO优化之路，任重道远，我们需要更智能的过滤机制来净化网络环境。🛡️
🌟移动互联的双刃剑：🌟中文信息开放的挑战与反思💡中国移动互联网的繁荣确实为生活带来了便利，但随之而来的，是中文信息共享的隐忧。📱“App一键阅读”虽方便，却隐藏了数据封闭的尴尬。📊无数优质内容，如微信中的各领域专家观点、百度的学术知识库，甚至教育平台的丰富课程，都受限于移动设备和登录账号，无法在开放的互联网上自由流通。🌟信息过滤与权限限制：🌟网络上的语言数据碎片化，完整性受到质疑。我们不禁要问，那些能揭示中文世界全貌的数据，是否真的触手可及？🤔更深层次的问题在于，这些平台巨头之间是否存在共享数据的可能性？💡微信、百度、知乎等平台各自掌握着优质资源，它们能否打破壁垒，实现信息的真正互联互通？面对这一挑战，我们呼吁开放透明的网络环境，促进中文信息的自由流动。🌈让每一个用户都能轻松获取并参与到知识的海洋中，而不仅仅是被动地“下载阅读”。🌐SEO优化提示：使用关键词“移动互联网”、“中文信息共享”、“数据封闭”、“信息碎片化”、“平台壁垒”等，并适当增加emoji符号以提升可读性和情绪表达。
中文标注数据集匮乏，相信很多NLP的长期从业者深有体会。海量数据的自监督训练阶段结束后，那些之前积累的各种人工标注语言数据的监督训练才是画龙点睛那一笔，ChatGPT除了自己请人标注也用了已有的共享数据集。但可惜的是中文里这种数据集太少了。标注工作枯燥乏味而且很难出亮眼成绩，不过是为他人做嫁衣。我们经常羡慕别人重大突破时天才的灵光一闪，但是勤勤恳恳做基础整理工作的老黄牛们同样重要，我们也很缺。
训练中文版ChatGPT的可能正确方式
训练仍然要以英文为主。不得不承认，作为世界语言以及相对开放的互联网环境，英文信息尤其是高质量信息是统治地位，2022年某统计显示互联网上开放信息中文占比仅1.3%，而英文占比63%，其中高质量部分优势更大，比如论文，包括中国人在内的各非英语国家，一旦做出较大科研成果几乎肯定先发英文论文，后续也未必有中文翻译，维基百科、 StackOverflow、Reddit等资源也是中文只能羡慕的存在。而我们获取英文数据可能还更加容易。另外英文本身是和代码及大多外语是同源，而象形单音节的中文略显孤独，这可能也是个问题。总之既然已经证明了英文为主的道路畅通，最理智的做法是先走着。
其次以程序代码为辅，英语为主汉语为辅？不不，第二重要的应该是程序代码，有一些研究者认为ChatGPT展现出了初级推理能力要归功于其使用代码作为语言数据训练，进化出的初级逻辑思维链在中文上也有体现，说实话我并不确信这个推论，但很值得想象。即使此结论不正确，大模型拥有写代码的能力也极其重要，比如使用外部工具，为无限能力扩展提供了接口。 代码数据的重要性对我们不是个好消息，ChatGPT应该用了github汇聚的全世界代码库，包括私有库，我们如何获取高质量的代码数据是个大问题。
顶住诱惑激进清洗数据，中文数据贵精不贵多，GPT3收集训练数据45TB，清洗后570GB仅保留1.2%，中文数据清洗保留比例可能还要少个数量级，很考验数据工程师的心里承受能力，辛辛苦苦收集的数据，你只让用0.0x%？我拍脑袋认为训练集中有3~5%的中文数据就足以改进ChatGPT缺乏中文知识的情况了，甚至在上述推论下，中文也没必要追求体量上超过西班牙语、法语、德语。后续监督、对齐、联网阶段还可以针对中文做优化。
最后声明，我不能算是NLP的实际从业者，因此以上是不负责任没有顾忌的纸上谈兵。
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
