文章主题:
编者按:本文来自微信公众号 量子位(ID:QbitAI),作者:杨净,创业邦经授权转载
他本是一位普普通通的高中教师,却活生生养出一个估值40亿美元独角兽。
而且方法也是非常的独特——
打造了世界最大的免费开源数据集,却从未从中收取过一分钱,也婉拒了各类工作的邀请。
他叫舒曼,在德国汉堡市的高中教物理和计算机科学。
🎉两年光阴荏苒,创新之火燃烧🔥—— LAION,这个源于初心的图文数据集巨擘🌟,已然在全球AI领域崭露头角,并且影响力日益增强!它不仅点亮了谷歌Imagen与Parti的研发之路💡,更是引领了一场革命性的生成模型风暴🌊,让Stable Diffusion这样的里程碑级技术横空出世!如今,LAION以其卓越的开放性和广泛适用性,成为了众多生成模型的基石🔍,它的存在,如同引擎中的燃油,推动着AI世界不断前进🚀。每一项突破都离不开它默默无闻的支持和无私奉献的精神🌱。SEO优化提示:提及”生成模型”、”CLIP图文数据集”、”谷歌Imagen与Parti”、”Stable Diffusion”、”LAION的开放性”、”AI领域的发展”、”引擎中的燃油”等关键词,同时保持内容连贯和信息丰富。
🌟当 Stability AI 的创始人亲临,送上那笔意料之外的资金时,他的态度却出人意料地坚决。他直截了当地表示,对方的举动让他觉得”这家伙肯定脑子有病”。这种不为金钱所动的坚定,展现出他对价值判断的独特标准和对真正机会的敏锐洞察。
或许他怎么也没想到,只不过两年前灵机一动,就带来了生成式AI的剧变。
受DALL-E启发2021年新年之际,OpenAI重磅推出DALL-E,GPT-3首次成功实现跨界:
只需对着它说上一段话,就能生成对应图片。
一时间风光无两,吴恩达在内的科技大佬们都激动了,网友们都称其为甲方克星。
🎨📚数据之屋,藏匿隐私?🤔位于德国汉堡郊外的这所静谧居所,却孕育出一位深思熟虑的数据守护者——Christoph Schuhmann,一位高中教师。他心中那份对数据私密性的忧虑,犹如冬日暖阳下的薄雾,悄然萦绕。🎓💻舒曼教授,以其敏锐洞察,揭示了现代科技背后的潜在风险,对于个人信息的滥用和泄露,他始终保持警惕。在这个信息爆炸的时代,每一比特都可能成为窥探的线索,他担忧的不仅仅是数据的安全,更是对个体权利的尊重与保护。🛡️🌐他的声音虽微,却振聋发聩,唤醒了人们对数字世界中隐私权的关注。他的故事,就像一盏明灯,照亮了我们追求数据透明与安全的道路。💡🏠让我们一起倾听这位教育者的心声,共同守护那份属于每个人的网络绿洲。🌍💻📚
如果这一切都集中在一家、两家或三家公司,那将对社会产生非常糟糕的影响。
🌟【揭秘未来】🚀OpenAI引领新潮流!🔥CLIP模型震撼发布——强大潜力无需雕琢!🔍💡论文揭示惊天秘密:CLIP凭借4亿海量图像-文本对的超凡训练,一出手就展现出无与伦比的多模态实力。💪无需繁复调教,它已在众多基准测试中傲视群雄,成绩亮眼!🌍这项突破性技术不仅展示了AI的强大适应力,更预示着未来多领域应用的无限可能。🚀无论图像处理、自然语言理解,还是跨界融合项目,CLIP都展现出无可匹敌的通用能力。📝无需担心联系方式,OpenAI已用实际行动证明其致力于推动科技的进步而非商业盈利。🏆让我们共同期待,CLIP如何引领行业风向,重塑未来!🌐#OpenAI #CLIP模型 #多模态技术 #未来趋势
🌟数据集对CLIP来说至关重要,但这背后的秘密并未完全揭晓!💡OpenAI虽慷慨地分享了CLIP的编码与权重,却巧妙地保留了关键资源——数据集。🌈尽管如此,其开放源码的做法无疑为研究者提供了无尽的可能性,让我们得以探索这一先进模型的无限可能。📚如果你想深入了解CLIP的工作原理,不妨深入挖掘这些代码和权重,它们或许会揭示更多关于这个强大工具的秘密。🌐SEO优化提示:使用”数据集+CLIP+OpenAI+开源”等关键词,增加表情符号以提升可读性。
(看来从那时候就已经变得Close了)
🌟🎨人工智能爱好者集结!🌟💻舒曼引领潮流,通过 Discord 找到了志同道合的伙伴们,他们一起探索如何创造出与 OpenAI 相媲美的 ‘文本转图’ 神秘宝藏。📚🔥在这个数字化世界里,创新无边界,他们的合作火花正在 Discord 上热烈燃烧,期待共同揭开 AI 高峰的新篇章!🌐🌟
没想到这一搞就搞了大半年,直到2021年8月他们首次发布了LAION-400M数据集,里面包含了4.13亿图像-文本对。
回顾整个创建过程,舒曼对彭博社这样形容:
就像是用数百万张抽认卡来教一个人一门外语。
他们用一个非盈利组织Common Crawl在2014年到2021年期间,抓取的随机HTML代码来定位网络上的图像,并将这些图像与描述性文本联系起来,最后还得根据一定规则来过滤掉不适合的样本。
比如,删除了所有文本长度少于五个字符;图像小于5KB的的样本;关键字带有NSFW的……几周之内,他们就拥有了300万对图文对。
数据集发布之后就收到了各种反响,被用于诸多论文和实验。其中最具代表性的,就是Google Brain去年(2022)发布的Imagen——文本生成图像的扩散模型。
与此同时,更多机构开始关注到这个非盈利组织并给予资金支持。2021年他们就收到了HuggingFace的一次性捐赠。
但印象最深的一次,还要属一个对冲基金经理来到Discord聊天室。
当时他二话不说直接送钱,大概意思是:我给你们支付算力费用,没有任何附加条件。
舒曼团队对这个行为嗤之以鼻,甚至觉得他是个疯子:
一开始我们非常怀疑,但大概一个月后,我们获得了价值近1万美元的云计算服务。
后来,这个所谓的“疯子”创办了Stability AI,使用LAION数据集推出了Stable Diffusion,引领了生成式AI的浪潮,顺便还拐走了LAION组织的两个研究人员。
如今Stability AI正在寻求40亿美元(折合276亿元)估值,这主要归功于LAION提供的数据。
据彭博社消息,舒曼却并没有从LAION中获利,原因很简单:不感兴趣,希望保持这份工作的独立性。
因此他还婉拒了各类工作邀请,依旧选择在德国汉堡当一名普普通通的高中老师。
本人:数据集不应该被监控即便如此,随着LAION知名度打响,他还是避免不了地卷入到各种纷扰之中。
目前,LAION已经发布了10项数据集,最具代表性的就是去年3月发布的LAION-5B,由58.5亿个图像文本组成,是当前最大的免费开源数据集。
作为LAION-400M的继任者,它收到了来自HuggingFace、Stability AI以及Doodlebot资助。
结果一发布就遭到了不小的争议,网友们纷纷质疑其数据未经整理,导致充斥大量的非法内容,对此LAION工程师Romain Beaumont回应:
非标注数据集是自我监督学习的基础,这是机器学习的未来。没有人工标注的图像/文本是一项功能,而非错误。
早在Imagen发布时,也专门针对LAION-400M做出警示:因为依赖于这种未经整理的网络数据, 集成了大模型的社会偏见和限制,因此不适合公开使用。
据彭博社消息,为了打造LAION,舒曼团队从亚马逊网络服务、Shopify等公司获取视觉数据,还有包括YouTube缩略图、各类新闻网站上的内容。
对此舒曼表示,任何在网上免费提供的东西都是公平竞争,欧盟也没有人工智能法规。
更何况,也没有人知道OpenAI实际上用什么样的数据集训练AI的。
目前,LAION被迫卷入两场诉讼之中,一起是Stability AI与Midjourney等集体诉讼,被指使用艺术家的版权图片来训练他们的模型;
另一起是Getty Images起诉Stability AI,称其1200万张照片被LAION取走,并用来训练Stable Diffusion。
而舒曼将LAION比作大信息技术海啸之上一艘“小型研究船”,采取海下的样本向世界展示。
其实早在构建数据库时,他们就在运行一个自动化过滤工具,不过舒曼感兴趣的不是清理,而是从这些资产中学习。
我们本可以从公布的数据中过滤掉暴力,但我们决定不这样做,因为这将加快暴力检测软件的开发。
现在更多关于监管的建议在推动,各个科技大厂也在采取相应的措施,比如英伟达就开源了护栏工具,来防止大模型来胡说八道。
但在舒曼看来,数据集不应该被监控。这也正是当时创建LAION时候的初心。
他还警告,如果我们试图放慢速度、过度监管,就会有很大的危险,最终只有少数大公司能负担得起所有的正式要求。
前段时间,在LAION与全球志愿者的合力之下,他们完成了ChatGPT最大开源平替OpenAssistant的发布。
60万余条训练数据全部由人工生成,涵盖了广泛的话题和语言风格,一时间引发众人关注,HuggingFace也直接拿来用来构建它自己的聊天软件HuggingChat。
拿着德国铁饭碗不可否认的是,他已经在用开源数据集,加剧了生成式AI的浪潮。
但在舒曼的个人网站上,看到的只是一位两个孩子的父亲,在德国当着终身制公务员,游走于中学校之间讲授物理和计算机科学。
舒曼拥有维也纳大学计算机科学与物理学学位。在学习这两个专业之前,他还学了心理学。(大概完成了50%的学士学位然后就转专业了)。
除此之外,他还在学习表演,制作了一部关于孩子学习的纪录片「Schools of Trust」。
参考链接:
[1]https://laion.ai/blog/laion-400-open-dataset/
[2]https://www.bloomberg.com/news/features/2023-04-24/a-high-school-teacher-s-free-image-database-powers-ai-unicorns
[3]http://christoph-schuhmann.de/
[4]https://www.infoq.com/news/2022/05/laion-5b-image-text-dataset/
[5]https://laion.ai/projects/
本文为专栏作者授权创业邦发表,版权归原作者所有。文章系作者个人观点,不代表创业邦立场,转载请联系原作者。如有任何疑问,请联系
AI时代,掌握AI大模型第一手资讯!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
扫码右边公众号,驾驭AI生产力!