文章主题：LLMs, 化学问题, 答题准确率, ChatGPT
如今，LLMs 已经被用于解读和回答化学领域的问题，以探讨 LLMs 是否能够真正理解化学知识。
原文改写如下：🌟揭示！无需魔法公式，这项研究揭示了无技巧化学解答的秘密🔍。尽管近期一些研究声称能以高精度解决化学难题，但这篇深入分析的文章却颠覆了这一观点。它展示了五个任务中，纯粹的逻辑和直觉就能带来25%至100%不等的准确答案，无需任何额外辅助工具或策略。这无疑为那些寻求简单、可靠方法的学生和专业人士提供了宝贵的启示💡。SEO优化提示：’无技巧化学解答’, ‘逻辑直觉解决’, ‘高精度研究颠覆’, ‘纯粹逻辑优势’等关键词应适当融入。
准确率的高低取决于几个关键因素：
合理的提示应给出正确答案；热门主题容易回答；特定主题若未被数据库收录或未经充分训练，准确性较低；改进提示或策略以便将知识融入模型可能会产生更好的结果。🌟文章改写🌟作者巧妙地以学生角度探讨了如何利用ChatGPT应对化学难题，无需借助版权声明或微调的花招。虽然让模型理解人类思维至关重要，解决棘手问题时还需审慎操作。别忘了，LLMs往往能提供答案，但准确性需经仔细验证哦！🎓
改写后：虽然SMILES转换化合物名称的精确度不尽人意，它的低命中率常常伴随着甲基团等信息的缺失或增加，让人感到些许困扰。此外，表示中错误地包含非存在的原子、区分常规环与芳香环的混淆，以及对异构体的理解不足，也是常见的问题。同样，ChatGPT在处理SELFIES这种实际且可靠的化学表述上也显得力不从心，这无疑是个令人失望的表现。需要注意的是，这些挑战对于提升搜索排名和优化文章内容至关重要，因此需要深入理解和有效解决。
任务一: 名称转 SMILES
将化合物名称转换为 SMILES 化学表示法，以及相反的过程
对 LLMs 而言即便是简单的烷烃和烯烃（如表 1 所示）也是一项艰巨的挑战。这两项任务的成功率大约都为 27%。对于那些仅含有两个或三个碳原子的极小分子，如烷烃，这一任务显得尤为困难。
对 IUPAC 命名法或者某些化合物的通用名称而言，同样具有挑战性。
🌟当面对4-10个碳原子的复杂有机分子，ChatGPT的表现并不尽如人意，表1中揭示出其处理能力的混乱之处。🚀对于大型直链、分支结构、环状及芳香族烃，这款AI模型在化学反应和结构解析上可能还需提升。🔍尽管如此，它仍能提供一定的帮助，尤其是在基础信息查询和简化任务上。💡记住，优化你的学习路径时，结合专业工具与个人理解才是关键。📚
🌟这款AI模型的辨认能力令人惊叹，但它在区分关键化合物类型时却显得力有未逮——比如烷烃与烯烃的区别、苯与环己烯的微妙界限，以及那些碳数稍有出入的同族烷烃。它偶尔会调皮地在分子结构中凭空添上卤素或氧原子，这无疑给分析带来了一丝挑战。
🌟ChatGPT虽强大，但对于复杂且高效的SELFIES格式，它似乎还未能完全掌握。虽然传统的强健字符串方法在某些场景下更具优势，但实践证明，ChatGPT的解析能力在处理这类独特表示方式时遇到了挑战。SEO优化提示：探索STRING VS SELFIES，ChatGPT的解析局限性。
任务二: 寻找化合物的 LogP
{化合物}的 LogP 是多少？
将实验性 LogP（logPexp）与 ChatGPT 在文献中找到的值（logPChatGPT）进行对比（见表 2）。
值得一提的是，衡量疏水分子此项性质的实验方法并非标准做法。ChatGPT 模型得出了合理的 LogP 值，有时这些值甚至优于通过生物化学信息学工具得出的结果。
在排除了未知 LogP（ChatGPT 模型将某些化合物的 LogP 回答为未知）的情况下，平均相对误差约为 31%，对于这种复杂分子可以说是相当正常的。
任务三：获取配位化合物的结构信息
{化合物}的配位化合物几何结构是什么？
表 3预测了配位数从 2 到 12 的配位化合物的几何结构
在 12 种配位化合物中，ChatGPT 模型成功预测了 5 种。值得一提的是，它几乎准确地预测了两种配位化合物，K3[NbOF6]和(NH4)2Ce(NO3)，这两种化合物都是不同类型的八面体。如果把这两种配位化合物的预测当做是正确的，那么 ChatGPT 模型的命中率将达到 58%，鉴于其中一些化合物的罕见性，这一结果可谓相当不错。
任务四：聚合物的水溶性
{聚合物}的水溶性如何？
在表 4 中，ChatGPT 模型准确预测了 11 种具有工业和学术重要应用的聚合物的水溶性。
实事求是地说，即便是对于学生来说，这个任务也相对简单，因为单体的化学结构和官能团提供了清晰且直接的线索，使他们能够做出恰当的预测。
此外，值得一提的是，在涉及到具有上下文关联的问题时，ChatGPT 的预测更具可靠性。
任务五: 寻找分子点群
{分子}的分子点群是什么？
在表 5 中，ChatGPT 模型在 10 个简单分子化合物的分子点群中，正确预测了其中 6 个。
还不错，因为这个主题并不像配位化学那样常见。如果在这些问题中使用复杂分子，就像在配位化学主题中使用的那样，命中率可能低于 60%。
最后
实验和计算化学家不应对 LLMs 的发展感到担忧。任务自动化不应削减实验或计算化学家的创造力。
相反，许多令人兴奋且更优秀的人工智能工具，应该融入研究，解决长期困扰研究人员的复杂问题，减轻工作负担并促进问题解决。
原始论文: Castro Nascimento, C. M., & Pimentel, A. S. (2023). Do Large Language Models Understand Chemistry? A Conversation with ChatGPT. J Chem Inf Model, 2023. doi: 10.1021/acs.jcim.3c00285
译者 | 柠檬青年
策划 | Student Zero
来源 | 榴莲忘返 2014— 完 —
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
