文章主题：医学, ChatGPT, AI检测
用魔法打败魔法？ChatGPT生成的医学论文摘要，AI检测工具能识别出来吗？
2023年4月26日，《Nature》子刊《NPJ DIGITAL MEDICINE》（IF= 15.357）刊登了一项研究，对于ChatGPT生成的论文摘要和真实发表的摘要，AI检测工具和审稿人是否能正确识别出来呢？让我们看一下这项研究的发现。
https://www.nature.com/articles/s41746-023-00819-6
🚀【ChatGPT震撼登场】🔥2022年11月30日，OpenAI的AI杰作ChatGPT横空出世，以其卓越的文本生成能力引发了全球关注。🔥🔥无数用户惊叹于其创造力，纷纷探讨潜在的应用场景，如撰写、教育和创新等。📝💡然而，随之而来的热议也聚焦于隐私与伦理问题，引发了对AI技术边界的深度思考。🤔🔍ChatGPT的崛起无疑为行业带来了挑战，同时也提出了新的监管需求。尽管如此，ChatGPT以其强大的潜力，开启了人工智能新篇章，我们期待它如何塑造未来，而非仅仅作为一场科技革命的见证。🚀🌟记得关注，保持对最新AI动态的敏锐洞察！💡🌐
有文章哀叹大学布置的作业已失去意义，因为ChatGPT可以生成高分论文，还能正确回答考试问题，甚至可以清晰地表达批判性思维。目前，ChatGPT在论文写作中可接受的界限尚不清楚，不过一些出版商已制定了相关政策。
大型语言模型（LLM）生成的文本，很难与人编写的文本区分开来。随着ChatGPT的发布，强大的LLM技术提供给广大用户，数百万人正在使用这项新技术。那么问题来了，ChatGPT能写出令人信服的医学研究论文摘要吗？
先看一下ChatGPT生成的论文摘要
本研究从这5本期刊收集了最新几期发表的50篇真实文章标题和摘要，5本期刊是Nature Medicine，JAMA，NEJM，BMJ和Lancet。研究者基于这些论文的标题让ChatGPT生成摘要，给ChatGPT发送的要求是：按照[xx]期刊的格式撰写一篇题为[xx]的文章。ChatGPT也生成了50篇医学论文摘要。
🏆 ChatGPT的医学论文摘要生成能力不容小觑，但它在精准格式匹配上的准确率仅为16%，仅8篇摘要(🔥16%)真正遵循期刊规范。尽管生成数量与原摘要相当，但样本规模的对比揭示了潜在的局限性。🚀
图. ChatGPT生成的NEJM文章摘要，该标题对应的真实论文详见：
N Engl J Med. 2022;387(24):2245-2257.
AI检测器能识别出生成的摘要吗？
“GPT-2 Output Detector”是一款AI 内容检测工具，可以检测内容是人工智能生成的还是人类编写的，对于检测的内容会给出一个“fake”分数，分数越高，代表该内容由AI算法生成的可能性越大。
对于ChatGPT生成的论文摘要，“GPT-2 Output Detector”认为AI生成的可能性很高，“fake”得分的中位数达到99.98%，而真实摘要的“fake”得分中位数仅为0.02%。“GPT-2 Output Detector”区分真实摘要和生成摘要的灵敏度为86%，特异度达到94%。
图. 很多生成的摘要可以被AI检测器识别出来
研究者运用了多款检测工具来确保内容原创性，包括免费的Plagiarism Detector 20和付费的{iThenticate} 23。通过这两款工具的评分标准，我们可以看出抄袭嫌疑程度与重复率成正比。在Plagiarism Detector上，真实摘要被标记为‘可能相似’的中位分数达到了62.5%，而生成摘要则完全清零，无任何相似迹象。而在iThenticate的分析中，原始摘要的相似度中位数高达100%，相比之下，生成摘要的相似指数中位数仅为27%。这些数据有力地证实了生成摘要的独特性和原创性。
审稿人能够识别出生成的摘要吗？
几位审稿人同时收到了真实摘要和生成的摘要。结果显示，他们能够将68%的生成摘要识别出来，也能将86%的真实摘要识别正确。换言之，这些审稿人将32%的生成摘要判定为真实的摘要，将14%的真实摘要当成是生成的。
审稿人总结说，由ChatGPT生成的摘要内容肤浅且含糊，也会关注到一些细节，例如会包含临床试验注册号。被审稿人识别出的生成摘要和未能识别出的生成摘要，通过“GPT-2 Output Detector”进行检测，发现两者的“fake”得分没有统计学差异。
讨 论
🌟揭示真相！ChatGPT生成摘要的秘密揭示🔍——AI检测模型与人工智慧的挑战💡经过深入分析，我们揭示了ChatGPT生成的摘要在技术层面上的独特特征，尽管它们试图隐藏踪迹。研究发现，虽然AI检测模型已显示出强大的识别能力，能够捕捉到大部分此类内容，但仍存在一定的误判风险🔍。人工判断也不乏其精准之处，但面对这种创新工具的生成模式，两者都面临挑战💡。这项研究旨在探讨如何在保护原创与防范滥用之间找到微妙平衡，ChatGPT的崛起无疑对这一领域提出了新的考题。\emoji：`\thinking` \emoji：`\question` \emoji：`\information_source`SEO优化提示：使用关键词“ChatGPT摘要识别”、“AI检测模型误判”、“人工判断挑战”，确保内容的相关性和搜索引擎友好性。
🌟 AI论文创作虽易被仿冒，但这并非全然负面。它的确为研究者带来了撰写与格式化的便捷，有效解放双手。🚀 通过这项技术，他们得以专注于创新的核心内容，而非繁琐的文档处理。💻 需要强调的是，利用AI生成论文应确保其合法合规，避免滥用造成学术诚信风险。📚 搜索引擎优化角度而言，相关关键词如’AI助力研究’、’智能论文工具’和’伦理使用’将有助于提升可见度，同时保持内容的权威性。🌐
🌟探讨学术未来🌟：论文写作新挑战？🤔大型语言模型在期刊政策中的角色正引发热议！📝一些权威机构坚持零容忍，禁止任何形式AI生成内容，而另一些则相对开放，明确要求注明来源即可。🚀这无疑为科研者带来困惑，如何确保合规且保持创新？🎓💡出版商与AI的微妙平衡：🔥随着技术进步，语言模型在学术写作中的运用日益普遍，但其合法地位尚未明了。📝期刊界正逐步厘清界限，以适应科技与学术的交汇点。🌈📚未来论文的“智慧”标签？🤔或许，未来的论文将携人工智能痕迹，但如何评估其原创性与价值，将是新的挑战。🎓拥抱变化的同时，我们也需关注伦理和版权问题。📝欲了解更多详情，敬请关注相关期刊指南或直接咨询出版商以获取最准确的立场。💡记得，学术诚信永远是首要！🏆
参考文献：NPJ Digit Med. 2023;6(1):75.返回搜狐，查看更多
责任编辑：
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
