文章主题:ChatGPT, GPT-4, 人工智能, 聊天机器人
【CNMO新闻】ChatGPT,一个由OpenAI开发的人工智能聊天机器人程序,自上线以来,以其独特的魅力和强大的功能,迅速吸引了大量用户的关注。仅仅两个月的时间,ChatGPT的活跃用户数量便已突破1亿大关,风靡全球。就在今年3月份,OpenAI再接再厉,正式发布了其最新的大型语言模型GPT-4。而令人颇感意外的是,仅在5月18日,CNMO就注意到,一位来自加拿大的科学家在新近出版的《放射学》杂志上发表了一篇题为“ChatGPT在北美放射学会考试中的应用”的研究论文。
ChatGPT
据相关报道,为了对ChatGPT在美国放射学委员会考试中的性能进行评估,并深入探讨其优点与不足,多伦多大学的研究人员首先对其基于GPT-3.5的版本进行了测试。具体而言,研究团队采用了150道题目,这些题目的风格、内容以及难度都与加拿大皇家学院和美国放射学委员会的考试相仿。
在针对基于GPT-3.5的ChatGPT的研究中,研究者们得出了一个令人瞩目的结果:该模型的准确率达到了69%,几乎达到了及格线的70%。值得注意的是,它在处理低阶思维问题时表现得相当出色,成功率高达84%,但在应对高级思维问题时,其正确率则略显不足,仅有60%左右。
在对比GPT-4和GPT-3.5时,我们发现GPT-4在性能上具有更优秀的表现,其准确率达到了81%,而在面对高阶思维问题时同样具有81%的准确率。然而,值得关注的是,GPT-4在处理低阶思维问题时准确率仅为80%,且在12道题目中出现了错误,相比之下,GPT-3.5却能全部回答正确。这一差异引发了研究团队对GPT-4信息收集可靠性的质疑。
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!