文章主题：OpenAI, ChatGPT, GPT-4, 多模态
OpenAI，又悄咪咪地放大招了。
在9月25日的某个时刻，OpenAI官方网站发布了一则最新的公告，其中包含一个重大的消息：ChatGPT已经成功地拥有了视觉、听觉和口语处理的能力。这一更新标志着GPT-4大型语言模型在功能上取得了显著的突破，这也是该模型自推出以来的最大一次功能升级。
从官方放出的应用案例来看，通过手机摄像头和麦克风，ChatGPT 现在已经能帮助人们解决实际问题。例如用手机拍一下共享单车的照片，并且询问人工智能助手如何调节座椅，ChatGPT 就可以看懂图片，并且给出相应步骤。
在科技的迅速进步推动下，我们正处在一个AI竞赛的新纪元——多模态竞争时代。在此背景下，众多科技巨头纷纷推出各种创新产品和功能，借助AI技术超越了传统的搜索引擎和聊天机器人，从而为用户提供更加丰富且精确的交互体验。
那么，“升级”了的 ChatGPT，是否能成为“贾维斯”一样的 AI 助理，帮助人们打点生活了？而 OpenAI 又是怎么做到的？
一、ChatGPT长了眼睛和嘴巴
生成式 AI 竞赛的下一个阶段正在来临——多模态之争。
最近，Meta 推出了 AudioCraft，用于通过 AI 生成音乐；谷歌 Bard 和微软 Bing 的聊天体验也已部署了多模态功能；亚马逊也在借助 LLM 的力量来增强其 Alexa 数字助理（为 Echo 系列智能设备提供支持）的功能，9 月 25 日刚刚宣布斥资 40 亿美元投资 OpenAI 的竞争对手 Anthropic，后者是 Claude 2 聊天机器人的制造商；苹果也在试验通过 AI 生成语音，即 Personal Voice。
上周，我们发布了最新的图像生成模型 DALL-E 3，紧接着，在当地时间周一晚上，OpenAI annouced a significant update to ChatGPT，声称其可以具备更高的能力，包括观察和理解图像，并能将其作为文本对话的一部分进行回应。
ChatGPT 移动应用程序正在不断升级,以便为用户提供更好的体验。除了已经具备的语音识别功能外,该应用还将新增语音合成选项。这意味着用户将能够与人工智能助手进行更为自然、流畅的语言交流。通过这一功能的加入,ChatGPT 将进一步发挥其作为智能对话伴侣的作用,为用户提供更为全面、高效的解决方案。
根据官网，ChatGPT 现在已经具备了如下功能：
1. 语音功能
OpenAI 在公告中称语音功能由一个新的文本转语音模型（text to speech）驱动，只需要文本和几秒的语音样本就可以生成类似人声的音频。一方面，OpenAI 与专业配音演员合作创建了语音条，另一方面，OpenAI 还使用了自己开源的语音识别系统 Whisper，可以将用户的语音转录为文字。
ChatGPT 已经有了语音交互能力｜OpenAI
在该功能上线后，用户能够选择在应用程序的设置中使用语音对话，接着从“Juniper”、“Sky”、“Cove”、“Ember”以及“Breeze”这五种不同的合成声音中挑选一种，输出口令或提问，机器人便会运用所 selected 的语音回答问题。举个例子，人们可能会在睡前故事或餐桌上的对话中提出疑问。
不过，语音对话功能的使用可能面临有一些限制。OpenAI 表示，该模型在转录英文文本方面表现出色，但在一些其他语言，特别是使用非罗马字母的语言中表现不佳。因此，建议非英语用户使用 ChatGPT 来进行此类用途时要慎重。
2. 图像理解
OpenAI 宣布，其最新的 ChatGPT 功能添加了图像识别功能，使用户能够上传多张图片，并与 GPT-3.5 或 GPT-4 模型进行交互式对话。这一创新性功能将极大地提高用户在处理复杂视觉场景时的效率和准确性。
作为一名具备高度专业素养的文章写作高手，我将重新组织原文内容，以满足您的要求。这些模型运用其卓越的语言推理能力，不仅限于处理单一图像，还能应对包括照片、截图以及含有文本和图像的文档等多种场景。用户只需轻轻一点，将所需图片添加至聊天界面，并提出相关问题，ChatGPT 便会迅速解析图片，并提供精确的解答。
它甚至可以围绕该主题进行前后对话。按照 OpenAI 的说法，用户可以上传某物的图片并询问 ChatGPT 相关问题——比如在旅行时拍一张地标的照片，让 ChatGPT 来讲述景点的有趣之处；拍下冰箱和食品储藏室的照片，找出晚餐要吃什么（还可以问一些后续问题，以获得进一步的食谱）。
在官方提供的示例图片中，一张自行车照片被上传至ChatGPT界面，随后，用户向其咨询如何调整座椅高度。针对这一问题，ChatGPT首先询问了自行车型号，因为座椅调节方式会因车型而异。接着，它详细解析了各种车型可能会使用的快拆杆或螺栓之间的差别，并为用户提供了相应的操作步骤。
在接下来的过程中，官方为了更好地引导用户，故意制造了一些混淆，其中就包括一张螺栓的照片。在照片中，官方利用自身的绘图工具对螺栓进行了标注，以便于用户更加清晰地观察到这一细节。然而，这一举动并未达到预期效果，反而被 ChatGPT 快速识别出了 photo 中所展示的是螺栓本身，而非快拆杆。针对这一情况，ChatGPT 迅速给出了相应的解决方案，推荐用户寻找内六角扳手来处理相关问题。
接着，官方拍摄了一张工具箱的照片，向 ChatGPT 询问到底是哪一个扳手。ChatGPT 再次表现准确识别出所需的扳手，并清晰地指导用户选择正确的尺寸。这个示例清楚地展示了 ChatGPT 在解决实际问题时的实用性和智能响应。
在去年 3 月 GPT-4 发布时，OpenAI 就已展示了该模型解析文本和图像的初步能力，很快，这些能力将成为 ChatGPT 使用中更常见的存在。
OpenAI 将在未来两周时间里向 Plus 和企业用户推出上述功能。用户可以在 iOS 和 Android 使用 ChatGPT 的语音合成功能，图像识别功能则在网页和 App 端均可用。
二、能力越大，责任越大
在 ChatGPT 发布近一年来，OpenAI 对其底层模型和界面进行了多次更新。而任何生成式 AI 的进步都需要考虑严肃的伦理和隐私问题。
OpenAI 在公告中声称其目标是开发安全且有益的通用人工智能，“我们相信，逐步提供我们的工具，可以让我们随着时间的推移不断改进和完善风险缓解措施，同时也让大家为未来更强大的系统做好准备。对于涉及语音和视觉的高级模型来说，这一策略越来越重要。”
毕竟，新语音技术能够仅从几秒的真实语音中创造逼真的合成语音，这为创造性应用打开大门的同时，也带来了新的风险，比如恶意冒充公众人物或进行诈骗等。
为降低音频深度伪造的风险，OpenAI 表示它已将语音合成功能的使用范围限制在语音聊天，和某些已获批准的合作伙伴关系中。其中包括与流媒体公司 Spotify 的合作——Spotify 正在使用其背后的技术为平台上的播客翻译不同语言的内容。Spotify 个性化副总裁齐亚德-苏丹（Ziad Sultan）在一份新闻稿中说：“通过与创作者本人的声音相匹配，语音翻译让世界各地的听众能够以前所未有的真实方式发现新的播客，并从中获得灵感。”
同样，为了避免图像识别带来的隐私和准确性问题，OpenAI 还限制了机器人对输入图像中出现的人进行分析和直接陈述的能力，其表示已经“采取了技术措施，以限制 ChatGPT 分析和直接陈述个人信息的能力，系统还是应当尊重个人隐私”，但是真正的恶意利用情况还是要在它面向公众推出后才能知道。
这次 ChatGPT 推出的语音交互和图像识别功能，为聊天机器人带来了更强的实用性，让它们从简单的文本处理工具更贴近真实生活。
同时，这似乎也预示着未来 AI 系统的发展方向——不仅要理解抽象的文字世界，还要能感知复杂的语音和图像信息，甚至是物理世界，从而真正进阶达到人机交互的境界。
本文来自微信公众号：极客公园 （ID：geekpark），作者：连冉，编辑：靖宇
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
