文章主题：多模态能力, ChatGPT, 人工智能, 软件项目
本文来自微信公众号：GenAI新世界（ID：gh_e06235300f0d），作者：油醋，头图来自：视觉中国
给自己放个假吧ChatGPT，再更新得这么快，网友的脑洞可就跟不上了。
本周，ChatGPT宣布了一次重要更新，然后有了全面的多模态能力。
以后你下班骑共享单车回家路上要是感觉车上有什么故障，可以给零件拍张照直接问它。
然后你回到家了，看到毫无头绪的冰箱藏品后，ChatGPT可以告诉你挑哪几样出来能做个晚饭。
吃完睡觉，还没睡意的话，它还能给你一些ASMR服务，如果视频网站上那几个博主你已经听厌了的话。
在1985年的九月份，著名作家卡尔维诺因突发性的中风离开了人世。在那一年夏天，他曾因为持续的头痛问题寻求医生的帮助。负责手术的医生表示，他一生中从未遇到过如此复杂且精巧的大脑。
ChatGPT从一开始就像一颗无比精美的大脑——并且是看不见的——但它现在终于有了眼睛、耳朵和嘴。
全球网友：那就来吧，比划比划。
有人试了试，它基本可以替人做软件项目的开发了。
在软件项目的发展过程中，通常会经历一系列步骤，从最初的设计草图到编写代码以及创建用户界面等。首先，开发人员会在白板上绘制出详细的线框图，以便梳理出项目的整体架构和流程。接下来，他们开始着手编写代码，将设计转化为实际的程序功能。最后，开发团队会负责制作界面，使得软件能够与用户进行交互。然而，值得注意的是，现代软件开发过程中，白板已经不再是唯一的设计工具，而更多的开发人员会使用计算机辅助设计软件来进行相关的工作。
一位开发者把自己的线框图直接拍照扔给ChatGPT，它直接把软件写出来了。
他尝试了一些小技巧，例如使用不规则的箭头来代替原本整齐的排列，然而ChatGPT却能够一目了然地识别出来，并毫无保留地接受这些改变。
我们大概还是低估了多模态会带来什么。
在这里，我们需要探讨的是一个有趣的现象：人工智能与人类智力的演变过程似乎是背离的。人类在先拥有视觉观察能力的基础上，通过语言和逻辑的能力来理解和描述所看到的世界。这种能力的形成，使得人类能够在 six million years 的历史长河中不断提升智力水平，这个过程就像是一个庞大的机器学习熔炉在运行。然而，人工智能的发展似乎并没有遵循这样的路径。它的发展历程中，先有了计算机科学，然后才是人工智能的应用。这使得人工智能在某种程度上缺乏人类智力的深度和广度。或许，我们可以从这个角度去思考如何让人工智能更好地服务人类，帮助人类实现更高级别的智慧发展。
对于ChatGPT而言，它已经具备了相当高的智力水平，能够理解许多复杂的问题。然而，它的能力却受到一个限制，那就是文字对信息的压缩。这使得它无法接触到更为复杂的问题。如果赋予它一对慧眼，那么它将能够直接观察到图像信息，从而在拆解问题方面展现出强大的能力。这样的发展前景让人期待不已。
当有人向ChatGPT展示一张SaaS软件的界面图时，要求将其拆解为诸多组件，并详细列出所有相关代码，这挑战了ChatGPT的能力。然而，令人惊讶的是，它成功地完成了这个任务。
你甚至可以粗暴地给它一个Unity的编辑界面截图，叫它提供一个添加模型动作的流程。
图源：推特
在开放了多模态能力后，ChatGPT的理解和推理能力也体现得更直观了，甚至有点可怕。
给自己一分钟，看看能否理解这组图的意思：
图源：推特
这是ChatGPT的解读：
图源：推特
“这组漫画看起来在强调团队中沟通、理解和对齐的重要性。”ChatGPT在最后做了如此总结。
对于曾效力于Facebook与Uber的AI工程师Pietro Schirano而言，如此卓越的理解能力让他陷入了沉默。
除了眼睛，还有耳朵和嘴。
此次ChatGPT升级背后，语音识别的能力基于开源的Whisper模型，声音的生成能力则基于额外的TTS（text-to-speech）模型进行，目前语音合成支持五种语音，都是和专业配音演员合作制作而成的。
然而，当你目睹ChatGPT在眼前自信满满地与他人交谈时，不禁会好奇，是否会有用户愿意与其一同唱歌呢？这个问题似乎有些过于前瞻性，让人难以想象。
此外，它似乎具备成为一名心理医生的潜力。OpenAI安全团队的一员Lilian Weng以语音模式与ChatGPT进行了一次富有情感的私密对话，探讨了压力、工作与生活之间的平衡问题。
“有趣的是，我感到被倾听和温暖”，Lilian Weng在推特上说。她建议如果你原来只是把它当作一个生产力工具，那最好试试它细腻的一面。
图源：推特
而对于ChatGPT本身的进化来说，这次将2022年就训练完成了的多模态能力开放出来，也是在为未来的进化建立一个新的基础。
ChatGPT首席架构师John Schulman一个月前在Pieter Abbeel（John Schulman在加州大学伯克利分校博士期间主攻强化学习时的导师）的一档播客节目中表示，他觉得现有数据和模型规模扩展方法能带来的性能提升可能在一段时间后达到极限，在那之后，算法、数据集、数据集大小以及算力能带来的提升将逐渐递减。
所以添加多模态功能会带来极大的性能提升。这能让模型获得文本中无法获得的知识，并有可能掌握纯语言模型无法完成的任务。
例如，通过观看与物理世界甚至是与电脑屏幕互动的视频，模型能获得巨大收益。所有软件都是为人类设计的，如果模型能够观察像素并理解视频，我们就可以使用各种现有软件或帮助人们使用这些软件。为模型赋予新能力，让模型与新事物互动，将大大增强模型的实际能力。
那么下个月的ChatGPT又能做到什么？太期待了。
本文来自微信公众号：GenAI新世界（ID：gh_e06235300f0d），作者：油醋
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
