文章主题：多模态能力, ChatGPT, 人工智能, 软件项目
本文来自微信公众号：GenAI新世界（ID：gh_e06235300f0d），作者：油醋，头图来自：视觉中国
给自己放个假吧ChatGPT，再更新得这么快，网友的脑洞可就跟不上了。
本周，ChatGPT宣布了一次重要更新，然后有了全面的多模态能力。
以后你下班骑共享单车回家路上要是感觉车上有什么故障，可以给零件拍张照直接问它。
然后你回到家了，看到毫无头绪的冰箱藏品后，ChatGPT可以告诉你挑哪几样出来能做个晚饭。
吃完睡觉，还没睡意的话，它还能给你一些ASMR服务，如果视频网站上那几个博主你已经听厌了的话。
在1985年的九月份，著名作家卡尔维诺因突发性的中风离开了人世。在那一年夏天，他曾因为头痛的问题寻求医生的帮助。负责手术的医生表示，他一生中从未遇到过如此复杂且精巧的大脑。
ChatGPT从一开始就像一颗无比精美的大脑——并且是看不见的——但它现在终于有了眼睛、耳朵和嘴。
全球网友：那就来吧，比划比划。
有人试了试，它基本可以替人做软件项目的开发了。
在软件项目的发展过程中，通常会经历一系列步骤，从最初的设计草图到编写代码以及创建用户界面等。首先，开发人员会在白板上绘制出详细的线框图，以便梳理出项目的整体架构和流程。接下来，他们开始着手编写代码，将设计转化为实际的程序功能。最后，开发团队会负责制作用户界面，使其易于使用且美观大方。在这个过程中，白板成为了他们的重要工具，既用于初期规划，又用于后期优化。然而，随着项目的推进，白板的工作将主要由团队成员承担，而真正离白板的距离则逐渐拉大。
一位开发者把自己的线框图直接拍照扔给ChatGPT，它直接把软件写出来了。
他尝试了一些小技巧，例如使用不规则的箭头来代替原本整齐的排列，然而ChatGPT却能够一目了然地识别出来，并照单接纳这些改变。
我们大概还是低估了多模态会带来什么。
在这里，我们需要探讨的是一个有趣的现象：人工智能与人类智力的演变过程似乎是背离的。人类在先拥有视觉观察能力的基础上，通过语言和逻辑的能力来理解和描述所看到的世界。这种发展趋势在人类历史的长河中得以强化和传承，从而推动了我们的文明发展。然而，令人意外的是，人类在智力提升的过程中，并没有将这种优势应用到人工智能领域，反而是在600万年的历史长河中，人类自身逐渐成为了一个庞大的机器学习平台。
对于ChatGPT而言，它已经拥有了高度发达的智力水平，能够理解众多复杂的问题。然而，它的能力却受到文字信息压缩的限制，使其难以触及更为复杂的问题领域。如果赋予这样一位拥有智慧之脑和敏锐视角的实体一双图像处理的能力，将会带来怎样的改变呢？这将使得ChatGPT具备更强大的分析问题、解决问题的能力，从而在处理各种复杂问题时展现出惊人的表现。
当有人向ChatGPT展示一张SaaS软件的界面图时，要求将其拆解为诸多小模块并将所有代码一一列举出来。ChatGPT果真成功地完成了这一任务。
你甚至可以粗暴地给它一个Unity的编辑界面截图，叫它提供一个添加模型动作的流程。
图源：推特
在开放了多模态能力后，ChatGPT的理解和推理能力也体现得更直观了，甚至有点可怕。
给自己一分钟，看看能否理解这组图的意思：
图源：推特
这是ChatGPT的解读：
图源：推特
“这组漫画看起来在强调团队中沟通、理解和对齐的重要性。”ChatGPT在最后做了如此总结。
这样的理解能力给曾经在Facebook 和Uber工作过的AI工程师Pietro Schirano惊得无话可说。
除了眼睛，还有耳朵和嘴。
此次ChatGPT升级背后，语音识别的能力基于开源的Whisper模型，声音的生成能力则基于额外的TTS（text-to-speech）模型进行，目前语音合成支持五种语音，都是和专业配音演员合作制作而成的。
但眼看着两个手机里的ChatGPT在你面前自顾自地讨论，关于“有没有用户试着和你一起唱卡拉OK啊？”——不是问你，是它在问另一个它——好像还是太超前了一点。
另外，它似乎也有做一个心理医生的潜质。OpenAI安全团队的成员Lilian Weng在语音模式下和ChatGPT做了一次非常情绪化的私人对话，谈论压力、工作与生活的平衡。
“有趣的是，我感到被倾听和温暖”，Lilian Weng在推特上说。她建议如果你原来只是把它当作一个生产力工具，那最好试试它细腻的一面。
图源：推特
而对于ChatGPT本身的进化来说，这次将2022年就训练完成了的多模态能力开放出来，也是在为未来的进化建立一个新的基础。
ChatGPT首席架构师John Schulman一个月前在Pieter Abbeel（John Schulman在加州大学伯克利分校博士期间主攻强化学习时的导师）的一档播客节目中表示，他觉得现有数据和模型规模扩展方法能带来的性能提升可能在一段时间后达到极限，在那之后，算法、数据集、数据集大小以及算力能带来的提升将逐渐递减。
所以添加多模态功能会带来极大的性能提升。这能让模型获得文本中无法获得的知识，并有可能掌握纯语言模型无法完成的任务。
例如，通过观看与物理世界甚至是与电脑屏幕互动的视频，模型能获得巨大收益。所有软件都是为人类设计的，如果模型能够观察像素并理解视频，我们就可以使用各种现有软件或帮助人们使用这些软件。为模型赋予新能力，让模型与新事物互动，将大大增强模型的实际能力。
那么下个月的ChatGPT又能做到什么？太期待了。
本文来自微信公众号：GenAI新世界（ID：gh_e06235300f0d），作者：油醋
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
