开源大型语言模型：可重复性研究的未来

  新智元报道  

编辑：LRS

【新智元导读】为了科学界的未来，加入开源LLM阵营吧！

以免费为诱饵的ChatGPT确实让人感到愉悦，然而，这种闭源的语言模型的最大问题在于其不透明性。外界无法洞察其背后的训练数据以及是否有可能泄漏用户隐私等关键信息，这直接导致了工业界和学术界联手开源了LLaMA等一系列羊驼模型。

近期，Nature世界观版面发表了一篇由纽约大学政治与数据科学教授Arthur Spirling撰写的文章。在该文中，Arthur Spirling强烈倡导大家广泛采用开源模型，这些模型的实验结果可复现性较强，同时也符合学术伦理的要求。

关键在于，如果有一天OpenAI不满意其结果，选择关闭语言模型接口或通过封闭式垄断来提高价格，那么用户只能无奈地承认，“学术未能抵抗资本的力量”。

Arthur Spirling，一位才华横溢的文章作者，计划在今年的7月份加入美国普林斯顿大学的政治学领域，担任教授一职。他的研究领域主要集中在政治方法论和立法行为，具体来说，他将深入探讨文本数据（text-as-data）、自然语言处理、贝叶斯统计、机器学习、项目反应理论以及广义线性模型在政治科学中的实际应用。这一消息预示着Spirling教授将在政治学领域带来新的突破和贡献，为学术界带来更多的启发与灵感。

研究人员应该避免商用模型的诱惑，共同开发透明的大型语言模型，以确保可重复性。

拥抱开源，拒绝垄断

在我们的生活中，似乎每天都会涌现出一个全新的大型语言模型（LLM），这些模型在人类交流方面的表现备受关注。模型的创建者和学术界相关人员总是充满激情地谈论着新模型如何能够流畅地与人类进行交互。例如，他们可以协助用户轻松修改代码，撰写推荐信，甚至为文章提供摘要等。这些功能都充分展示了大型语言模型在现代社会中的巨大潜力。

在实践中，我作为一名政治和数据科学家，亲身体验到这些模型的重要性，同时也注意到当前的挑战。尽管如此，我仍然建议学者们要保持警惕。原因在于，尽管大众对于语言模型的热情日益高涨，但目前市场上最受欢迎的语言模型多为私有且封闭的，也就是说，它们由公司所运营，而这些公司往往不会公开透露其基本模型的具体信息。换言之，研究者和公众无法了解这些模型在训练过程中所使用的具体文件。因此，作为一名专业的文章写作高手，我想强调的是，我们需要更加关注模型的透明度和可解释性，以便让更多的人了解这些模型的运作原理，从而更好地利用它们。同时，也需要加强对这些模型的监管，确保其在实际应用中的安全性和可靠性。只有这样，我们才能真正发挥出这些模型应有的价值，推动人工智能领域的发展。

急于将语言模型纳入自己的研究流程可能会出问题，可能会威胁到来之不易的「研究伦理」和「结果复现性」方面的相关进展。

不光不能依赖商用模型，研究人员还要通力合作开发透明且不依赖于某个具体公司利益的开源大型语言模型。

虽然商用模型非常方便，可以开箱即用，但投资开源语言模型是历史的趋势，既要想办法推进开发，也要让模型应用于未来的研究中。

我乐观地估计，语言模型工具的未来一定是开源的，类似于开源统计软件的发展历史，刚开始商用的统计软件很流行，但目前基本所有社区都在使用R或Python等开源平台。

举个例子，去年7月发布的开源语言模型BLOOM，其开发团队Hugging Face是一家总部位于纽约的人工智能公司，携手一千多名志愿者和研究人员共同打造，部分研发资金由法国政府提供；其他团队也在努力开源大型语言模型。

我认为类似这样的开源项目都是伟大的，但我们还需要更多的合作，需要汇集国际资源和专业知识。

开源大型语言模型的团队通常不像大公司那样资金充足，并且开发团队还需要持续运营以跟踪领域内的最新进展：AI领域的发展实在是太快了，甚至大部分语言模型在推出几周或几个月以后就会过时。

所以参与到开源中的学者越多，最终开源模型的效果也会更好。

使用开源 LLM 对于「可重复性的研究」至关重要，因为闭源的商用语言模型所有者可以随时更改其产品或其训练数据，都有可能会改变模型的生成结果。

比如说，一个研究小组可能会发表一篇论文，测试商用语言模型建议的措辞是否可以帮助临床医生更有效地与患者沟通；如果另一个小组试图复现这项研究，谁知道模型的基础训练数据是否和当时一样？甚至该模型是否仍然运营都是未知数。

之前研究人员常用的辅助工具GPT-3已经被GPT-4取代了，所有基于GPT-3接口的研究在未来很可能无法复现，对于公司来说，维持旧模型运行的优先级并不高。

相比之下，使用开源LLM，研究人员可以查看模型的内部架构、权重，了解模型是如何运行的，定制代码并指出错误，这些细节包括模型的可调参数和训练模型的数据，社区的参与和监督都有助于让这种模式长期保持稳健。

在科学研究中使用商用语言模型也对研究伦理产生了负面的影响，因为用于训练这些模型的文本是未知的，可能包括社交媒体平台上用户之间的直接信息或儿童撰写的内容。

尽管制作公共文本的人可能已经同意了平台的服务条款，但这可能不是研究人员希望看到的知情同意标准。

在我看来，科学家应该尽可能地在自己的工作中远离使用这些模型。我们应该转向开放的语言模型，并推广给其他人使用。

此外，我认为学者，尤其是那些拥有大量社交媒体追随者的学者，不应该推动其他人使用商用模型，如果价格飙升，或者公司倒闭，研究人员可能会后悔把技术推广给同事。

研究人员目前可以求助于私人组织制作的开放式语言模型，例如用Facebook母公司Meta开源的LLaMA，最初是基于用户申请、审核的形式发放的，但完整版模型随后在网上泄露；还可以使用Meta的开放语言模型OPT-175 B

从长远来看，不利的一面是，这些模型的发布过于依赖公司的仁慈，这是一种不稳定的局面。

除此之外，还应该有与语言模型合作的学术行为准则，以及相应的监管措施，但这些都需要时间，根据我作为政治学家的经验，我预计这些规定最初肯定是很不完善的，并且见效缓慢。

与此同时，大规模的合作项目迫切需要支持，以训练用于研究的开源语言模型，类似欧洲粒子物理研究所（CERN），国际粒子物理组织，政府应通过赠款增加资金。

该领域正在以闪电般的速度发展，现在需要开始协调国内和国际支持。

科学界需要有能力评估由此得到模型的风险，并且需要谨慎地向公众发布，但很明显，开放的环境是正确的。

参考资料：