文章主题:ChatGPT, 论文, USMLE, AI辅助医学教育

666AI工具大全,助力做AI时代先行者!

编辑:编辑部

【新智元导读】ChatGPT写文章很6,咱们都知道,但是,最近越来越多的医学论文中,它开始作为作者出现了!这合理吗?

ChatGPT竟然成论文的共同作者了?

在去年12月发表的一篇预印本论文中,我们惊讶地发现,作者一栏中赫然惊现了ChatGPT!

论文地址:https://www.medrxiv.org/content/10.1101/2022.12.19.22283643v1.full

ChatGPT这是成精了?

ChatGPT 的强大之处在于其卓越的写作能力,然而,是否有人曾经想过,这款人工智能助手能否与人类携手合作,共同撰写一篇关于自身的论文呢?尽管众所周知,ChatGPT 在写作方面有着超凡的能力,但它是否会像人类那样,具备独立思考和判断的能力,值得我们深入探讨。

(没准还真行)

带着一百个问号,小编点开这篇论文开始仔细研究,不过读完之后,一百个问号变成了一千个。

事实上,我们无法明确指出哪一句话是由ChatGPT创作的。然而,这并不意味着ChatGPT在研究中的作用不重要。相反,ChatGPT在研究中发挥了至关重要的作用。

这引发了关于科学论文作者身份的讨论。尽管实验中可能涉及到多种生物,但并非所有生物都需要在作者名单中出现。那么,究竟哪些生物有资格出现在作者名单中呢?这需要我们对生物学实验有深入的理解。恒河猴、羊驼、兔子和果蝇等生物都可能成为实验中的重要参与者。然而,这些生物是否都有权在作者名单中露面,却取决于实验的具体情况和研究目的。在某些情况下,只有实验的主要研究者才能在作者名单中出现。在其他情况下,所有参与实验的生物都应该在作者名单中有所体现。总的来说,这是一个复杂的问题,需要我们在考虑作者名单时,综合考虑多种因素。首先,我们需要明确实验的目的和研究对象。其次,我们需要了解各个生物在实验中的作用和重要性。最后,我们需要根据实验的具体情况来决定哪些生物应该出现在作者名单中。

关于这一事件,网友们纷纷表达了自己的困惑和好奇心:究竟是将ChatGPT强制参加USMLE考试更有趣味性,还是让AI成为论文作者更具吸引力?这个问题似乎成为了网络上的热门话题。

被迫参加考试,还成了论文作者

所以,在这篇论文中,ChatGPT究竟是扮演了怎样的角色呢?

让咱们来捋一捋。

文章标题是《ChatGPT在USMLE上的表现:使用大型语言模型进行AI辅助医学教育的潜力》。

总的来说,就是研究人员让ChatGPT参加了一个美国的医学执照考试。

为什么选择这个考试呢?

这个考试具有很高的难度,其题目既复杂又难以理解,不仅在语言方面有挑战,而且在概念层面也同样如此。然而,令人欣慰的是,该考试具有严格的标准化规范,确保了考试的公正性和可靠性。

巧了不是,这些恰恰都是AI的强项。

ChatGPT在没有经过专门训练或强化的情况下,在三项考试中表现出了惊人的成绩,甚至有些题目它的得分接近及格标准。更为重要的是,ChatGPT的答卷给研究人员带来了许多意想不到的惊喜,这使得人们对它的表现充满了期待。

下面咱们来具体说说。

USMILE有多难

美国的医学执照考试USMILE,涵盖了基础科学、临床推理、医疗管理和生物伦理学。

它的问题在文本和概念上都很密集。

试题的小插图中,包含大量多模态的临床数据(包括病史、体格检查、实验室值和研究结果),而参加考试的学生,需要做出诊断,鉴别出许多模棱两可的情景。

论LLM与USMILE的适配性

研究者为什么看上了ChatGPT作为「小白鼠」呢?

以往的AI模型,主要是深度学习 (DL) 模型,用于学习和识别数据中的模式。

而ChatGPT属于通用大规模语言模型(LLM)。基于新型AI算法,经过训练的LLM可以根据前面单词的上下文,预测一个给定的单词序列的可能性。

因此,如果能够在足够大的文本数据上进行训练,那么LLM便可以生成从未观察到的新词序列,而这些语句,都是基于自然人类语言的合理序列。

不许刷题,ChatGPT零准备上考场

ChatGPT之所以强大,是因为它站在GPT3.5的肩膀上。而GPT3.5是在OpenAI 175B参数基础模型上训练出来的,另外,它还通过强化和监督学习方法,从网络上获取了大量的文本数据。

但是这次,ChatGPT是完全的「裸考」了。

这次的试题,是研究者在2022年6月,从USMILE的官方样题中抽取的376道公开试题。

并且,研究者进行了随机抽查,确保这些题在2022年1月1日以前并没有相关内容被收录进谷歌索引。

要知道,ChatGPT的训练数据集就截止在这个时间之前。也就是说,ChatGPT事先并没有见过这些题。

实验方法概述

结果,ChatGPT在考试中越战越勇,准确性不断提高,这说明,它在不断学习,不断完善自己。

到最后,它逐渐逼近甚至超过了USMILE的及格线。

ChatGPT在USMLE中的表现相当优异

另外,在考试中,ChatGPT还会针对问题产生新的见解,这就可以帮助人类更好地理解问题。

在实验中,研究者引入了一个量化AI生成的解释中包含的洞察力密度(DOI)。可以观察到,ChatGPT的DOI在回答准确的问题中,明显比不准确的问题要高。

这些数据表明,人类学习者如果回答不正确,可以从ChatGPT的输出中获得新见解,来进行补救。

就是说,ChatGP不光自己会在全新的试题中自学成学霸,还能用来帮助人类学渣。

总之,最后研究者得出结论:大型语言模型在医学教育和临床决策上,都有巨大的应用潜力。

嗯,道理咱都懂,可是论文读到最后都没搞明白,ChatGPT怎么就成共同作者了呢?

莫非是研究者觉得,ChatGPT参加了考试,作了答,所以「对本文亦有贡献」?

在医学界,ChatGPT「高产似母猪」

你有没有发现,医学领域的研究人员对「GPT」可谓是达到了痴迷的程度。

不仅仅是我们这次的主角,文章最开始提到的那篇也是出自一个「神经科学和生理学研究所」。

而ChatGPT的名字,自去年12月起,更是频繁地出现在该领域一些经过同行评审的论文当中:

论文地址:https://www.oncoscience.us/article/571/text/

不过,在这篇论文中,ChatGPT是正经写了内容的,咱们一眼就能看出来。

另外,还有下面这篇论文,ChatGPT在作者栏中,也占了二分之一的名额。

论文地址:https://www.sciencedirect.com/science/article/abs/pii/S1471595322002517

怎样才能算是论文作者?

一篇论文怎么署名,是一件大事。

作者署名赋予了作者名誉,也有重要的学术、社会和经济意义。

ChatGPT何德何能,和专家们一同登上作者栏呢?

对此,我们问了问ChatGPT是怎么看的:

其实,关于作者的职责,只需随手一搜就能找到很多详细的讲解。

既然都是医学领域的论文,不如我们就来看看ICMJE(国际医学期刊编辑委员会)都有哪些建议。

简单来说,可以概括为以下四点:

1. 对研究的思路或设计有重要贡献,或者为研究获取、分析或解释数据;

2. 起草研究论文或者在重要的智力性内容上对论文进行修改;

3. 对将要发表的版本作最终定稿;

4. 同意对研究工作的各个方面承担责任以确保与论文任何部分的准确性或诚信有关 的质疑得到恰当的调查和解决。

所有被指定为作者的人都应该满足作者署名的4条标准,而所有满足以上4条标准者也都应该被确定为作者。未满足全部4条标准者应该出现在致谢部分。

现在问题来了,ChatGPT符合几条呢?

参考资料:

https://www.medrxiv.org/content/10.1101/2022.12.19.22283643v1.full

https://www.icmje.org/recommendations/translations/chinese2018.pdf

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!

Leave a Reply

Your email address will not be published. Required fields are marked *