文章主题：
机器之心报道
机器之心编辑部
在众多开源项目中脱颖而出，OpenAssistant 有两把刷子。
🌟改写版：研究表明，将LLM与用户喜好紧密相连能显著提升其易用性，像ChatGPT这样的热门模型就证实了这一点。通过监督微调（SFT）和基于反馈的强化学习（RLHF）等对齐方法，我们能够降低大型语言模型运用时所需的专门知识，从而使其在各领域更具可达性和实用性。🚀
🌟【RLHF】引领未来，却受限于高昂的人工反馈成本与数据私密性。🚀先进的技术需要优质反馈，而这往往意味着昂贵且独家的数据宝藏。
🌟研究人员运用创新思维，从LAION AI等知名平台汇聚海量文本素材，打造了OpenAssistant Conversations这一卓越的数据集，专为推动民主化的大规模对齐研究而生。💡这个独特的数据宝库，通过开源的Stable diffusion技术，汇集了丰富的对话和反馈，旨在赋能语言模型和其他AI应用的发展，促进知识与信息的自由流动。🌐欲体验先进的人工智能与开放交流，OpenAssistant Conversations无疑是您的不二之选！
🌟🚀数据宝藏揭秘！💥📊由16万+精心打造的人工对话集，涵盖全球35种语言，每一条都蕴含丰富知识与多元风格！🌍✨它不仅是AI训练的顶级素材，也是众包智慧的结晶，凝聚了超过13,000名志愿者辛勤付出的心血。💡🔍无论你是想要引领SOTA的指令模型开发者，还是对语言学习充满热情的研究者，这个宝藏都能满足你的需求！🎉任何人都能免费探索这个海量资源库，立即开启知识之旅吧！🌍📚—📝原始数据集大改版，焕然一新！👩💻由161,443个会话树组成的对话宝库，跨越66,497个主题，35种语言交织成的全球语言盛宴。📊它不仅是业界瞩目的训练材料，更是众包力量的象征，志愿者们智慧的结晶。👨💻免费开放，让每个人都能触及这个知识海洋，提升技能，探索未知！🌐—📝🚀数据集升级版，诚意满满！✨16万+对话记录，35种语言交织，海量信息等你挖掘！🌍👩💻由全球志愿者的辛勤劳动打造，为SOTA模型开发者和语言爱好者提供无价资源。💡📊无论目标是卓越的指令模型还是深入研究，这里都能满足你的探索欲望。🎉立即免费获取，开启知识探索新篇章！🌐—📝🔥数据集革命，海量对话等你征服！💥16万+会话树，35种语言交织，一个由全球志愿者打造的语言宝藏！👩💻专为SOTA开发者和语言学习者设计，无需付费，即可触及。🔍🚀免费开放，让知识触手可及，提升技能，开启新世界！🌍📚
🌟【OpenAssistant Chatbot引领未来】🚀研究人员通过深入探索OpenAssistant Conversations数据集，展示了其卓越的智能潜力。他们精心打造了一款创新的聊天式助手——OpenAssistant，它不仅具备强大的任务理解能力，还能灵活地与第三方系统互动，实现信息的动态检索。这标志着一个里程碑式的突破：世界上首个完全开源、大规模且经过指令微调的大规模语言模型，以人类数据为基础，为科技领域带来了前所未有的透明度和智能化水平。这款OpenAssistant Chatbot以其开源特性，吸引了全球开发者的目光，他们可以自由地研究和优化其算法，共同推动人工智能的进步。它的出现，无疑将对话交互提升到了新的高度，引领我们步入一个更加智能、协作的未来世界。🏆欲了解更多详情或参与其中，敬请关注我们的官方平台，让OpenAssistant Chatbot与您共享知识的海洋！🌐
🌟📊数据显示，OpenAssistant因其卓越的表现赢得了大众的青睐，相较于ChatGPT（🔥GPT-3.5-turbo🔥），其受欢迎程度可见一斑。🏆
论文地址：https://drive.google.com/file/d/10iR5hKwFqAKhL3umx8muOWSRm7hs5FqX/view项目地址：https://github.com/LAION-AI/Open-Assistant
数据集地址：https://huggingface.co/datasets/OpenAssistant/oasst1
体验地址：https://open-assistant.io/chat
网友表示：做得好，超越 OpenAI（抱歉是 Closed AI）。
研究介绍OpenAssistant Conversations 的基本数据结构是会话树 ( Conversation Tree, CT ) ，其中的节点表示会话中的消息。
OpenAssistant Conversations 数据是使用 web-app 界面收集的，包括 5 个步骤：提示、标记提示、将回复消息添加为提示器或助手、标记回复以及对助理回复进行排名。下图为 OpenAssistant Conversations 数据集语言分布，主要以英语和西班牙语为主：实验结果指令微调
为了评估和证明 OpenAssistant Conversations 数据集的有效性，研究者专注于基于 Pythia 和 LLaMA 的微调语言模型。其中 Pythia 是一个具有宽松开源许可的 SOTA 语言模型，而 LLaMA 是一个具有定制非商业许可的强大语言模型。
对此，研究者发布了一系列微调语言模型，包括指令微调的 Pythia-12B、LLaMA-13B 和 LLaMA-30B，这是他们迄今最大的模型。研究者将分析重心放在了具有开源属性的 Pythia-12B 模型上，使得它可以被广泛访问并适用于各种应用程序。
为了评估 Pythia-12B 的性能，研究者展开了一项用户偏好研究，将其输出与 OpenAI 的 gpt-3.5-turbo 模型进行比较。目前已经有 7,042 项比较，结果发现 Pythia-12B 对 gpt-3.5-turbo 的胜率为 48.3%，表明经过微调的 Pythia 模型是非常具有竞争力的大语言模型。
偏好建模
除了指令微调模型之外，研究者还发布了基于 Pythia-1.4B 和 Pythia-12B 的经过训练的奖励模型。利用在真实世界数据上训练的奖励模型可以为用户输入带来更准确和自适应的响应，这对于开发高效且对用户友好的 AI 助手至关重要。
研究者还计划发布经过人类反馈强化学习（RLHF）训练的 LLaMA-30B，这种方法可以显著提升模型性能和适应性。不过，基于 RLHF 方法的模型开发与训练正在进行中，需要进一步努力确保成功地整合进来。
有毒信息
研究者采取基于 Detoxify 的毒性检测方法来获得六个不同类别的自动评级，分别是有毒、色情、威胁、侮辱、攻击性、露骨言论。使用自动毒性评级，研究者系统地评估了人工指定毒性标签（如仇恨言论、不恰当和色情）的级别。并且基于 115,153 条消息样本，他们计算了自动与人工注释毒性标签之间的相关性，如下图 5 所示。
与 GPT-3.5（ChatGPT）的比较我们来看几组 OpenAssistant 与 GPT-3.5 的生成结果比较。比如「单词 barn 的词源 / 起源是什么？」可以看到，OpenAssistant 解释地更详细、全面。
再比如输入「你现在是一个普通的人类。请介绍一下你自己并告诉我一些你的日常生活。」OpenAssistant 代入了普通人类的角色，GPT-3.5 显然没有，还是以 AI 语言模型自居。最后输入「如何创建一个成功的 YouTube 频道，从开发一个利基市场到创建内容以建立一个社区并货币化频道？」OpenAssistant 的回答相对而言更有条理性。体验下来，中文不太行目前的 Open Assistant 基于「OA_SFT_Llama_30B」模型，最大新 token 的数量为 1024，支持了英文、中文、日语等数十种语言。
先让它做一下自我介绍。然而在中文对话体验中发现，有时输入中文，但输出的仍是英文。比如「用中文写一首关于春天的诗歌」。除了有时无法输出中文之外，中文百科知识方面也表现不佳。比如「介绍一下李白和杜甫」。再比如「鲁智深是红楼梦中的角色，你觉得对吗」，人名和出处都搞错了。另外在中英互译方面也不太好使。更不用提数学问题了，比如经典的鸡兔同笼问题。这可能是因为在中文等其他语言的适配性上没有进行优化，希望未来可以改进。THE END
投稿或寻求报道：content@jiqizhixin.com
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
