文章主题：生物学家, 数据科学家, Roy Kishony, 系统
本文来自微信公众号：Nature Portfolio （ID：nature-portfolio），作者：Gemma Conroy，原文标题：《研究人员让ChatGPT写了一篇论文，质量如何？》，题图来自：视觉中国
两位科研人员在ChatGPT的帮助下，只用不到一个小时就完成了一篇论文。ChatGPT是由人工智能（AI）驱动的数字工具，能理解和生成类似人类书写的文本。这篇论文流畅、有见地，格式也符合科研论文的标准，但研究人员表示，ChatGPT在能真正大派用场之前还有很多障碍需要克服。
这次实验的目的是探索ChatGPT作为科研“副驾”的能力，并展开关于其优缺点的讨论，以色列理工学院（Technion）
的生物学家、数据科学家Roy Kishony说，“我们需要讨论如何在发挥其优势的同时避免其劣势。”
这个团队设计了一个软件包，能向ChatGPT自动发送提示，并基于ChatGPT的回复修改论文。这个自动化的“从数据到论文”系统引导ChatGPT完成一个类似于做科研的“分步式”过程——从最初的数据探索，到撰写数据分析代码和解读结果，再到写作和润色手稿。
为评估他们的系统性能，Kishony及其学生、 Technion 的数据科学家 Tal Ifargan 从美国疾病控制中心的健康行为危险因子监测系统获取了一份公开数据集。这个系统是一个以电话调查形式收集健康信息的数据库，涵盖了超过25万名参与者的信息。这份数据集包含了有关参与者糖尿病状况、蔬菜摄入量和体育锻炼等方面的详细信息。
启动系统后，他们便去吃午饭了。
论文的基本要素
首先，系统先让ChatGPT编写数据探索代码。ChatGPT最先给出的代码错误百出，无法运行。但当该系统发现了这些错误后，系统会自动将提示返回给ChatGPT，让ChatGPT修复代码。
下一步， Kishony和Ifargan的系统让ChatGPT帮助拟一个研究目标。ChatGPT建议研究身体锻炼与饮食会如何影响糖尿病患病风险。系统再让ChatGPT创建数据分析计划和数据分析代码。ChatGPT根据代码给出了结果：多摄入水果和蔬菜和身体锻炼与糖尿病风险降低有关。
在获得成果之后，系统启动了ChatGPT撰写论文的过程。首先，系统与ChatGPT展开了一场对话，扮演科研人员的角色，引导其完成论文各个部分的组织。接着，系统又与ChatGPT进行了第二次对话，这次ChatGPT转换为审稿人的身份，针对“科研人员”版ChatGPT所生成的文本给予建设性的建议和意见。
生成式AI的一个问题是它们会通过胡编乱造来填补空白，这个现象也被称为幻觉（hallucination）。为了防止它乱编参考文献，团队让ChatGPT接入了文献搜索引擎，以便它能给出正确的引用渠道。
就在他们快吃完午饭时，ChatGPT已经生成了一篇数据分析可靠、简明清晰的手稿。但这篇论文谈不上完美。比如，这篇论文写道，该研究“填补了学术文献的一个空白”，这句话在论文中很常见，但在这个研究中是不准确的，希伯来大学计算科学家Tom Hope说。研究结果“肯定不会让医学专家眼前一亮”，他说，“连创新都谈不上。”
利与弊
Kishony还担心，这类工具会让研究人员更容易出现科研不端的行为，比如P值操纵（P-hacking），也就是科研人员会用一个数据集检验多个假说，但最后只报道有显著结果的那个。
他的另一个担忧是，如果生成式AI工具让写论文变得很容易，期刊可能会面对大量低质量投稿。他说他的“从数据到论文”加上每一步都有人类监管的方法，或能作为研究人员轻松理解、检查、复制研究方法和研究结果的一种方式。
南澳大学的Vitomir Kovanovic，一位致力于开发教育AI技术的研究者，强调在科研论文中使用AI工具的必要性。他指出，提高AI工具在论文中的可见度至关重要，因为这样才能有效地评估研究结果的准确性。他还警告说，如果制造假论文变得更加容易，那么未来我们需要采取更多的措施来确保学术诚信。
生成式AI工具可用来执行简单直接但很费时的任务，加速科研进度，这类任务包括写摘要和代码，美国麻省理工学院和哈佛大学的博德研究所的计算生物学家Shantanu Singh说。他说，它们或许还能从数据集生成论文，或是提出假说。不过，由于研究人员很难分辨这些工具的幻觉和偏见，Singh说，“我不认为把整篇论文拿给它写是个好主意，至少在可见的未来还不行。”
原文以Scientists used ChatGPT to generate an entire paper from scratch — but is it any good?标题发表在2023年7月7日《自然》的新闻版块上，© nature，doi: 10.1038/d41586-023-02218-z
本文来自微信公众号：Nature Portfolio （ID：nature-portfolio），作者：Gemma Conroy
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
