文章主题：研究人员, ChatGPT, 论文, 人工智能
研究人员让ChatGPT写了一篇论文，质量如何？
原文作者：Gemma Conroy
研究人员成功设计了一个能够向ChatGPT发送“提示”的自动化系统,并利用该系统生成了一篇具有深刻见解且语言通顺的论文。然而,他们仍然存在一定的担忧。
两位科研人员在ChatGPT的帮助下，只用不到一个小时就完成了一篇论文。ChatGPT是由人工智能（AI）驱动的数字工具，能理解和生成类似人类书写的文本。这篇论文流畅、有见地，格式也符合科研论文的标准，但研究人员表示，ChatGPT在能真正大派用场之前还有很多障碍需要克服。
在学术论文撰写过程中，人工智能对话机器人ChatGPT发挥着越来越重要的作用。为了提高论文写作效率与质量，研究人员正尝试让ChatGPT担任“副驾”，协助作者完成文献综述、观点阐述等任务。通过这种方式，ChatGPT能够帮助作者快速发现文中的逻辑漏洞和表达不足，从而提升论文的整体质量。尽管这种方法尚处于探索阶段，但它的出现无疑为未来智能化的学术写作提供了可能性。
在本次实验中，我们旨在发掘ChatGPT在科研领域中作为”副驾驶”的潜力，并对其優缺點進行深入探討。以色列理工学院（Technion）的生物學家兼數據科學家Roy Kishony表示，”我们需要在發揮其優勢的同時，避免其劣勢。”
一个由专业人士组成的团队开发了一款软件程序，该程序能够向ChatGPT发送提示信息，并根据ChatGPT的反馈来优化和改进论文内容。这个被称为“自动化论文生成”的系统，引领着ChatGPT经历一个类似于科学研究中的“分阶段”过程——从数据的初步探索，到编写数据分析代码、解读结果，最后完成论文的撰写和修订。
为评估他们的系统性能，Kishony及其学生、 Technion 的数据科学家Tal Ifargan 从美国疾病控制中心的健康行为危险因子监测系统获取了一份公开数据集。这个系统是一个以电话调查形式收集健康信息的Database。这个数据集涵盖了超过25万名参与者的信息，包括他们的糖尿病状况、蔬菜摄入量以及体育锻炼的情况。
启动系统后，他们便去吃午饭了。
论文的基本要素
在数据探索过程中，系统首先委托ChatGPT编写相关代码。然而，ChatGPT所提交的代码存在诸多问题，无法正常运行。系统在发现这些错误后，会自动将提示反馈给ChatGPT，促使ChatGPT对代码进行修正。
下一步， Kishony和Ifargan的系统让ChatGPT帮助拟一个研究目标。ChatGPT建议研究身体锻炼与饮食会如何影响糖尿病患病风险。系统再让ChatGPT创建数据分析计划和数据分析代码。ChatGPT根据代码给出了结果：多摄入水果和蔬菜和身体锻炼与糖尿病风险降低有关。
有了结果后，该系统便让ChatGPT开始写论文。它开了两个ChatGPT的对话。一个对话中，这个系统告诉ChatGPT它是一名科研人员，并指导它写完了论文的各个部分。第二个对话中，ChatGPT扮演了审稿人的角色，为“科研人员”版ChatGPT生成的文本提供建设性意见。
生成式AI的一个问题是它们会通过胡编乱造来填补空白，这个现象也被称为幻觉（hallucination）。 为了防止它乱编参考文献，团队让ChatGPT接入了文献搜索引擎，以便它能给出正确的引用渠道。
就在他们快吃完午饭时，ChatGPT已经生成了一篇数据分析可靠、简明清晰的手稿。但这篇论文谈不上完美。比如，这篇论文写道，该研究“填补了学术文献的一个空白”，这句话在论文中很常见，但在这个研究中是不准确的，希伯来大学计算科学家Tom Hope说。研究结果“肯定不会让医学专家眼前一亮，”他说，“连创新都谈不上。”
利与弊
Kishony还担心， 这类工具会让研究人员更容易出现科研不端的行为，比如P值操纵（P-hacking），也就是科研人员会用一个数据集检验多个假说，但最后只报道有显著结果的那个。
他的另一个担忧是， 如果生成式AI工具让写论文变得很容易，期刊可能会面对大量低质量投稿。他说他的“从数据到论文”加上每一步都有人类监管的方法，或能作为研究人员轻松理解、检查、复制研究方法和研究结果的一种方式。
南澳大学开发教育AI技术的Vitomir Kovanović说， AI工具在科研论文中的使用需要更高的可见度。否则很难评估研究结果的正确性，他说，“如果生产假论文变得这么容易，我们今后可能要做得更多。”
生成式AI工具可用来执行简单直接但很费时的任务，加速科研进度，这类任务包括写摘要和代码，美国麻省理工学院和哈佛大学的博德研究所的计算生物学家Shantanu Singh说。他说，它们或许还能从数据集生成论文，或是提出假说。不过，由于研究人员很难分辨这些工具的幻觉和偏见，Singh说， “我不认为把整篇论文拿给它写是个好主意，至少在可见的未来还不行。”
原文以Scientists used ChatGPT to generate an entire paper from scratch — but is it any good?标题发表在2023年7月7日《自然》的新闻版块上
© nature
本文经授权转载自 Nature Portfolio（ID：nature-portfolio），如需二次转载请联系原作者。欢迎转发到朋友圈。 返回搜狐，查看更多
责任编辑：
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
