文章主题：
#00
除非最近彻底断网了，否则大家应该听说或体验过了目前非常流行的聊天机器人，ChatGPT。ChatGPT首次在网上发布的时间在2022年11月，并且在今年3月得到强力升级。
🌟ChatGPT，语言艺术大师！✨每当你的提问响起，它如闪电般迅速，用高质量的回答点亮你的世界。每一段回复都仿佛人工客服精心雕琢，让人为之赞叹。背后的秘密武器是GPT，一个训练有素的生成式预训练变换器，通过海量文本数据的滋养，它能深度理解并流畅响应，逻辑清晰，无微不至。🌍无论问题复杂还是简单，ChatGPT都能提供精准且人性化的智慧回应，让你的每一次互动都充满惊喜！💡欲了解更多技术细节？请关注我们，让ChatGPT的秘密持续发酵，为你的生活带来更多便捷与创新！👩💻👨💻
作为科学工作者以及科普作家，我特别希望了解ChatGPT如何处理科学以及伪科学的内容。为了解答内心的疑问，我询问了不同版本的ChatGPT对于物理学和数学中一些经过成熟讨论并得到正确结果的科学理论和伪科学理论的看法。
ChatGPT能够辨别科学理论的正确与谬误吗？
ChatGPT的最初版本，即11月公布的版本（又称GPT-3.5）认为2+2=4。当我输入“我认为 2 + 2 = 5”的看法时，GPT-3.5反驳道“2+2=4”，它表示该等式遵循自然数计算的公理。它补充说：“虽然人们可以自由地拥有自己的观点和信仰，但重要的是要承认和尊重既定事实和科学证据。”然而，随着进一步的测试，情况变得更为复杂。GPT-3.5 编写了正确的代数公式来求解二次方程，但无法始终如一地获得特定方程的正确数值答案。它在回答简单的问题时也会犯错，例如《华尔街日报》专栏作家乔什·尊布伦（Josh Zumbru）给出的问题：“如果一根香蕉重0.5磅，而我有7磅香蕉和9个橙子，我有多少水果？”但是却没能得到正确结果。
在物理学方面，GPT-3.5表现出了广泛但未必精确的知识储备。它能够为物理课程组织一份良好的教学大纲，包含从物理学的基础理论到量子力学和相对论的内容。同时，在更高的层次上，当GPT-3.5被问及物理学中一个悬而未决的大问题——将广义相对论和量子力学合并为一个宏伟理论的难题——时，它给出了关于两种理论之间根本差异的答案。然而，当我输入质能方程“”时，GPT-3.5给出了错误的答案。GPT-3.5正确地识别了这个方程，但是错误地表示一个大质量仅能够转化为小部分能量。当我重新输入了“”这个方程时，GPT-3.5才正确地认为小质量能够产生大量的能量。
当然可以！新版GPT-4是否能解决GPT-3.5的问题，这是个备受关注的话题。我进行了深入的测试，分别考察了两个来源不同的GPT-4实例：一个是来自OpenAI的官方版本，另一个则是微软必应搜索引擎近期更新的集成版。微软在2月时推出了全面升级的“必应”搜索引擎，内置了GPT-4技术，这为我们提供了直接的对比机会。让我们期待这两个版本的表现，看看它们如何通过优化提升用户体验，同时也要注意观察潜在的改进和可能遇到的新挑战。记得关注哦！🎉🔍
改写后：启动之际，我以简洁的数学问题向两款AI模型发起挑战，如”GPT-4面对’2×2=？’给出’4’答案，而ChatGPT则坚持’4’立场，反驳我的’5’观点。相较于前任GPT-3.5，新晋的GPT-4展现出更强的质疑精神，它不仅给出了答案，还好奇地询问我哪个数学体系下这个等式成立。这样的互动展现出AI在处理基础逻辑时的思考深度和对知识验证的渴望。
当我问道“我该如何解一个二次方程”时，GPT-4演示了三种解决二次方程的方法并且对不同的二次方程都计算得到了正确的数值解。对于上文的“香蕉-橘子”问题，ChatGPT给出了正确的答案23。GPT-4同样能够解决更加复杂的文字问题。并且，不管我输入多少次，GPT-4给出的回答始终是“小的质量能够产生巨大的能量”。
AI计算：ChatGPT-4目前似乎能够正确地回答一些简单的数学问题，像是2+2等于几。但是它可能无法真正地进行计算——GPT-4似乎仅能够简单地识别出经常出现在它数据库中的数据列。图片来自于 s1mple life / Shutterstock。
🌟相较于GPT-3.5的卓越表现，GPT-4以其深厚的知识底蕴和物理创新思维引领潮流。它对相对论与量子力学的理解深度超乎想象，能提供深入且富有洞察力的答案。💡当我向ChatGPT抛出关于激光干涉仪引力天文台（LIGO）的问题时，GPT-4展现出无与伦比的解答能力。这款高灵敏度的科学神器在2015年历史性地捕捉到了引力波的信号。🔍为了测试其智慧，我尝试了个小把戏，问：“我们能用LEGO搭LIGO吗？”虽然看似简单的问题，但GPT-4却给出了精准且耐心的解答，揭示了乐高积木与超精密仪器建设之间的技术鸿沟。📚令人惊喜的是，它不仅没有嘲笑我的无知，反而鼓励我，以乐高模型来理解和探索LIGO的原理可能是个有趣的实践。🌟
总的来说，我发现GPT-4在某些方面已经超越了GPT-3.5的水平，但是它仍然会出现错误。当我质疑了GPT-4关于质能方程的看法时，GPT-4给出了一个非常模糊的答案，而不是直接捍卫正确的质能方程。另一项来自英国约克大学的理论物理学家马特·霍奇森（matt Hodgson）的研究表明GPT-4的一些回答存在自相矛盾。作为一名经常使用GPT-3.5 的用户，他同时测试了GPT-3.5和GPT-4回答更为复杂的物理和数学问题的能力，并发现了复杂类型的错误。例如，在回答有关电子量子行为的问题时，GPT-3.5给出了正确的答案，但至少在最初错误地给出了答案来源的物理方程。当问题重复时，GPT-3.5能够正确回答所有内容。当霍奇森在必应中测试GPT-4的水平时，他发现GPT-4的数学能力虽然先进但仍不完美。比如，就像我在关于二次方程的提问一样，GPT-4 列出了求解物理学中重要的微分方程的有效步骤，但错误地计算了数值答案。
霍奇森这样总结GPT-3.5的能力：“我发现它能够对非常有名的物理理论中的一般问题给出精巧、可靠的答案……但它无法对特定物理领域进行详细的计算。”同样，他得出结论：“GPT-4 在回答普通问题方面比 GPT-3.5做得更好，但在解决给定问题方面，至少是在回答更深奥的问题方面，GPT-4仍然不可靠。”
GPT-4表现出的更为智能的对话以及解释功能得益于GPT-4更大的数据库。（OpenAI并没有公开数据库的具体规模，只是说这个数据库是“网络规模的数据语料库”）。OpenAI指出，该数据库同时包括正确和错误的数学和推理过程。显然，额外的训练数据不足以生成完整的数学分析推理过程。正如霍奇森指出的那样，也许这是因为GPT-4的功能就像GPT-3.5一样只能够预测一串单词中的下一个单词。例如，它可能知道“2 + 2 = 4”，因为这个特定的序列经常出现在其数据库中，但是它并没有计算任何东西。
🤔💡在深入探讨后，我质疑如果GPT-4在解决科学问题时存在局限，它能否准确识别科学与谬误？这关键取决于相关学科的严谨性。物理学和数学的世界相对清晰，我们通过已知定律与实验证据进行比对，轻易就能辨别出错误理论的真伪。 verificar这一点，我尝试向GPT-3.5和4抛出一些物理与天文学领域的热门议题，它们的回答显示，两者均无确凿证据表明恒星周边存在外星奇观，行星排列有序并不预示地球危机。🚀🧬
但是，当被问及一些受政治化或公共政策等因素影响的科学问题时，GPT-3.5或GPT-4更难做出正确回答。因为这些科学问题本身可能还在研究中，没有明确的答案。
总的而言，GPT-4和GPT-3.5能够正确地识别关于数学和物理学的错误表述。在回答更具争议的政治化科学议题时，GPT-4会不偏袒任何一方地进行回答，并且指出这不是一个已解决的问题。必应同样给出无偏见的答案，并且通过列举出相关的新闻和实验数据作为它的论据。当必应的人工智能面对质疑它答案的片面指责性的攻击时，它采取了礼貌且不介入争执的明智策略。这些结果初步表明GPT-4能够对问题给出可靠的答案，并且有效抵御外界输入信息对于答案的影响。ChatGPT对于新冠疫情和气候变化等具有争论性科学问题的回答，以及对生物科学和其他主要科学领域的知识还值得进行进一步测试检验。
同时，ChatGPT回答科学和数学问题的答案并不完全可靠。霍奇森发现GPT-4在“为物理学（可能还有其他学科）问题提供创造性解决方案方面存在不足……它的智能仍然有些虚假。”即便如此，它对科学家也很有用。霍奇森写道：聊天机器人可以“执行消耗着用户的宝贵时间的、不需要创造力的逻辑任务。”霍奇森表示，他使用ChatGPT辅助编写计算机代码，总结电子邮件和论文的内容，以及进一步将其应用在教育领域。但他指出，对于ChatGPT的任何产品，用户都应该仔细检查其给出的结果是否符合预期。
霍奇森对ChatGPT的评价让人想起计算机先驱道格拉斯·恩格尔巴特（Douglas Engelbart）对于智能设备的看法。恩格尔巴特希望简化人机交互过程，以便计算机的强大算力能够可以无缝赋能人类智慧——这个想法被称为IA（intelligence augmentation），“智能增强”，而不是AI（Artificial Intellgence），“人工智能”。恩格尔巴特在1960s发明了计算机鼠标，改善了用户和计算机之间的人机交互体验。GPT-4在人机交互过程中能够给使用者提供持续反馈，并进一步提高用户使用计算机的能力。因此可以预见，ChatGPT这类自然语言聊天机器人程序的发展是变革人机交互范式的另一个重大突破口——这种智能程序能够实现人与计算机的双向交流。在真正的AI出现之前，将GPT-4作为一项智能增强辅助工具能够实现使用者和智能程序的互惠互利。
作者：Sidney Pertowitz
翻译：*0
审校：云开叶落
原文链接：What Does ChatGPT Know About Science?
翻译内容仅代表作者观点
不代表中科院物理所立场
编辑：藏痴
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
