文章主题：多模态功能, GPT-4, 人工智能, 图像输入
还记得今年 3 月 OpenAI 在发布 GPT-4 时提到的多模态功能吗？
▲ GPT-4 回答 Demo，由机器翻译
GPT-4 的出现，让图像输入成为可能，使其具备解读梗图、物理题目以及学术论文的能力。这一突破性的技术进步，使得 GPT-4 在发布之初就引发了全球的广泛关注。相较于其前身 GPT-3.5，GPT-4 的这个新功能无疑是一个巨大的升级，展示了人工智能技术的不断演进和提升。
只可惜，OpenAI 表示图像输入功能仍然是研究预览阶段，还不能向公众公开。
▲ 新增了一个识图图标 图片来自：Reddit
最近，Reddit 上的网友们注意到一个有趣的现象：他们的 Bing Chat 账号突然出现了一个上传图片的功能。当用户将图片上传至该功能后，Bing Chat 竟然能够自动识别并给出相关回答。这一发现引发了广泛的关注，因为它意味着人工智能技术在聊天应用中的潜在应用。
之前，微软已经揭示 Bing Chat 是依赖 GPT-4 模型运行的，而在上个月的更新日志中也提到了将会在 Bing 中引入多模态支持。综合这些信息，我们可以推测 Bing Chat 正在逐渐面向用户提供图像识别功能的测试。
在众多网友的期待下，我们终于迎来了一款“长了眼睛”的Bing Chat。这位热心的网友为了让大家更好地了解这款产品的实际性能，进行了大量的测试。现在，让我们跟随这位网友的脚步，一起探索“长了眼睛”的Bing Chat究竟有何过人之处。
GPT-4 的一个引人瞩目的功能便是其 ability to decipher and analyze memes, much like a human would. This feature allows the AI to not only comprehend the content of an image, but also identify the humor present within it.
在这幅梗图中，GPT-4 的存在揭示了一个荒谬的事实：试图使用过时的VGA接口为iPhone充电是一种滑稽的行为，这一场景引发了人们的笑声。
▲ 由机器翻译
在Bing Chat上，网友们上传了一张梗图进行测试，令人惊讶的是，Bing Chat并未识别出这是一张VGA接口的图片。尽管如此，Bing Chat仍然毫不犹豫地解读出了图片中的内容，甚至能够指出线缆的品牌，并提供更为详尽的资料。这充分展示了Bing Chat强大的图像识别能力与丰富的知识储备。
这或许是对Bing Chat的一种偶然性误差，也有可能是因为微软在实际运用GPT-4时，进行了更为严格的限制和调整，从而导致了回答上的偏差。
网友再上传了另一幅关于机器学习的梗图漫画，这次 Bing Chat 就能比较准确地答出图中的内容和笑点。
Bing Chat 对另一张在汽车上烫衣服的梗图分析也同样到位。
▲ 此处翻译有误，原文为：Diddy Kong, Pyra, Pikachu, Zero Suit Samus, Donkey Kong, Sonic the Hedgehog, Ness, Cloud Strife, and Incineroar
Bing Chat 识图的精度有多高呢？他上传了一张《任天堂大乱斗》游戏的角色图，同一张图上有排列着非常多的角色，要求 Bing Chat 一一认出所有的角色。
结果是，Bing Chat 在 12 个角色中认出了 7 个，看来二次元问题对它来说还是有点难度。
OpenAI 在发布时还展示了一个拍手绘图就能编程网页的案例，该网友也手画了一张图考考 Bing。
让我们跳过冗长的代码环节，直接看看这个网页跑起来的效果。可以看出，基础的网页雏形还是搭出来了。
识图功能的加入给 Bing Chat 增添非常多的用途，毕竟现实中很多内容（例如公式、图表）很难用文字表达清楚，这时候直接一张图甩给 AI 就能得到回答。
例如让它解释一下染色体在减数分裂时交叉互换的过程。
让它扮演生物老师，分析一下肾元过滤的工作原理。
甚至可以让它充当网络医生，简单诊断一下皮肤症。
此前，ChatGPT 由于出色的文字理解和表达能力，已经被人们开发出了学外语、练口语的功能。
再加入视觉识别后，Bing Chat 甚至可以担任一个初高中乃至大学老师的角色，帮助学生解答复杂的数理化问题，如果未来能把识图功能推广开来的话，这也许在一定程度上可以解决教育资源不均衡的问题。
用户还可以用它做基础的医疗诊断，节约就医所需要的金钱和时间，体现出 AI 普惠大众的价值。
当然，Bing Chat 虽然能基本看懂现实世界的内容，但它的回答终究只能作为参考，不可以当做专业意见。
所以要完全向公众开放识图功能的话，微软还需要做大量的限制和调试，才能确保公众不会因为误信 AI 的回答而出现安全问题。
在短期内，Bing Chat 识图应该还只是少部分用户才可以使用的测试性功能，如果你感兴趣的话，可以立刻登录一下你的微软账号，看看在 Bing Chat 的聊天栏上是否多了一个图片的图标。
目前 Bing Chat 面向所有微软账户开放，快来开盲盒看看你有没有收到测试资格吧 ⬇️
https://www.bing.com/new
多模态功能, GPT-4, 人工智能, 图像输入
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
