AI与生物
这篇文章讲述了近期ChatGPT的火爆现象,以及它对计算机视觉、AIoT产业的启示。旷视研究院基础科研负责人张祥雨表示,ChatGPT的逻辑推理能力强大,超越了他的预期。同时,他也认同ChatGPT带动了AI新一轮发展 wave 的说法,因为在大模型技术方面,这两年的学术成果表明,增加数据和模型大小可以实现性能的持续提升。然而,他也指出,随着模型的增大和数据量的增多,模型的收益是逐渐递减的,存在一个“边际效应递减”的效应,这也是过去很多人认为scaling law 要到头的理由。但是,在NLP大模型上发现了一个非同寻常的现象,即当模型的参数量、训练数据量到达千亿量级时,模型的高级思维能力突然出现了跨越式的增长,这个增长是过去从来没有发现过的。