文章主题：开源项目, 大型语言模型, 语言模型, 聊天机器人
机器之心报道
机器之心编辑部
在众多开源项目中脱颖而出，OpenAssistant 有两把刷子。
大量的研究已经证明了，当大型语言模型（LLM）与人类的喜好保持一致时，其可用性会得到显著的提升，这种现象在很多应用中得到了迅速的验证，例如ChatGPT的案例所示。同时，诸如监督微调（SFT）和基于人类反馈的强化学习（RLHF）等对齐技术，有效地降低了使用LLM所需的技术和特定领域的知识，这大大提升了这些技术在各个领域的可行性和实用性。
尽管RLHF等最先进的技术依赖大量高质量的人工反馈数据，但这些数据的生成过程耗资巨大，且多为专有。
为了推动大规模对齐研究的民主化进程，LAION AI等机构的研究者们积极行动，他们广泛搜集了基于文本的输入和反馈数据，并将其整理成一种具有针对性和独特性的数据集——OpenAssistant Conversations，以便于训练语言模型或其他人工智能应用。这些数据的获取，得益于Stable diffusion项目对该机构提供的开源数据的大力支持。
这是一个由人工创建并注释的对话语料库，涵盖了众多主题和写作风格，总共有161443条消息，分布在66497个会话树中，并使用了35种不同的语言。这个语料库是全球化众包项目的成果，吸引了超过13500名志愿者参与。对于那些希望建立state-of-the-art指令模型的开发者来说，这个工具价值连城。值得一提的是， anyone都可以免费获取这个 entire dataset。
为了验证OpenAssistant Conversations数据集的可靠性，研究者们构建了一个基于对话的助手OpenAssistant，具备处理任务、与外部系统互动以及实时获取信息的能力。这个基于人类数据的训练模型是首个在人类语言环境下进行训练的全面开放式的指令微调大规模模型。
根据数据显示，OpenAssistant的回复获得了比GPT-3.5-turbo（即ChatGPT）更高的认可度。
论文地址：https://drive.google.com/file/d/10iR5hKwFqAKhL3umx8muOWSRm7hs5FqX/view项目地址：https://github.com/LAION-AI/Open-Assistant
作为一篇高质量的文章，我必须提供详细的信息以供读者参考。关于您所询问的数据集地址，经过查找与分析，我得出的结论是：该数据集地址为https://huggingface.co/datasets/OpenAssistant/oasst1。这个数据集包含了OpenAssistant项目中的一些任务，可以帮助您更好地理解和应用自然语言处理技术。
体验地址：https://open-assistant.io/chat
网友表示：做得好，超越 OpenAI（抱歉是 Closed AI）。
研究介绍OpenAssistant Conversations 的核心数据结构为会话树（Conversation Tree，简称CT），该树形结构中的各个节点代表了会话中所涉及到的各类消息。
OpenAssistant Conversations 数据是使用 web-app 界面收集的，包括 5 个步骤：提示、标记提示、将回复消息添加为提示器或助手、标记回复以及对助理回复进行排名。下图为 OpenAssistant Conversations 数据集语言分布，主要以英语和西班牙语为主：实验结果指令微调
为了评估和证明 OpenAssistant Conversations 数据集的有效性，研究者专注于基于 Pythia 和 LLaMA 的微调语言模型。其中 Pythia 是一个具有宽松开源许可的 SOTA 语言模型，而 LLaMA 是一个具有定制非商业许可的强大语言模型。
对此，研究者发布了一系列微调语言模型，包括指令微调的 Pythia-12B、LLaMA-13B 和 LLaMA-30B，这是他们迄今最大的模型。研究者将分析重心放在了具有开源属性的 Pythia-12B 模型上，使得它可以被广泛访问并适用于各种应用程序。
为了评估 Pythia-12B 的性能，研究者展开了一项用户偏好研究，将其输出与 OpenAI 的 gpt-3.5-turbo 模型进行比较。目前已经有 7,042 项比较，结果发现 Pythia-12B 对 gpt-3.5-turbo 的胜率为 48.3%，表明经过微调的 Pythia 模型是非常具有竞争力的大语言模型。
偏好建模
除了指令微调模型之外，研究者还发布了基于 Pythia-1.4B 和 Pythia-12B 的经过训练的奖励模型。利用在真实世界数据上训练的奖励模型可以为用户输入带来更准确和自适应的响应，这对于开发高效且对用户友好的 AI 助手至关重要。
研究者还计划发布经过人类反馈强化学习（RLHF）训练的 LLaMA-30B，这种方法可以显著提升模型性能和适应性。不过，基于 RLHF 方法的模型开发与训练正在进行中，需要进一步努力确保成功地整合进来。
有毒信息
研究者采取基于 Detoxify 的毒性检测方法来获得六个不同类别的自动评级，分别是有毒、色情、威胁、侮辱、攻击性、露骨言论。使用自动毒性评级，研究者系统地评估了人工指定毒性标签（如仇恨言论、不恰当和色情）的级别。并且基于 115,153 条消息样本，他们计算了自动与人工注释毒性标签之间的相关性，如下图 5 所示。
与 GPT-3.5（ChatGPT）的比较我们来看几组 OpenAssistant 与 GPT-3.5 的生成结果比较。比如「单词 barn 的词源 / 起源是什么？」可以看到，OpenAssistant 解释地更详细、全面。
再比如输入「你现在是一个普通的人类。请介绍一下你自己并告诉我一些你的日常生活。」OpenAssistant 代入了普通人类的角色，GPT-3.5 显然没有，还是以 AI 语言模型自居。最后输入「如何创建一个成功的 YouTube 频道，从开发一个利基市场到创建内容以建立一个社区并货币化频道？」OpenAssistant 的回答相对而言更有条理性。体验下来，中文不太行目前的 Open Assistant 基于「OA_SFT_Llama_30B」模型，最大新 token 的数量为 1024，支持了英文、中文、日语等数十种语言。
先让它做一下自我介绍。然而在中文对话体验中发现，有时输入中文，但输出的仍是英文。比如「用中文写一首关于春天的诗歌」。除了有时无法输出中文之外，中文百科知识方面也表现不佳。比如「介绍一下李白和杜甫」。再比如「鲁智深是红楼梦中的角色，你觉得对吗」，人名和出处都搞错了。另外在中英互译方面也不太好使。更不用提数学问题了，比如经典的鸡兔同笼问题。这可能是因为在中文等其他语言的适配性上没有进行优化，希望未来可以改进。THE END
投稿或寻求报道：content@jiqizhixin.com
开源项目, 大型语言模型, 语言模型, 聊天机器人
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
