imgboxbg

凯发k8国际首页登录

k8凯发国际|七彩连珠在线游戏|图灵奖得主LeCun最后警告Meta!我搞了40

【概要描述】——凯发k8国际首页登录电气

k8凯发国际|七彩连珠在线游戏|图灵奖得主LeCun最后警告Meta!我搞了40

【概要描述】——凯发k8国际首页登录电气

详情

 

 

k8凯发国际|七彩连珠在线游戏|图灵奖得主LeCun最后警告Meta!我搞了40

 

                                                                                        

 

  【新智元导读】图灵奖得主LeCun与Meta分道扬镳★◈✿ღ!LLM邪路一条★◈✿ღ,「世界模型才是」未来★◈✿ღ。

  据多家权威媒体报道★◈✿ღ,Meta首席AI科学家★◈✿ღ、负责「基础AI研究」(FAIR)的Yann LeCun★◈✿ღ,预计将很快离职★◈✿ღ。

  这位65岁的AI界元老★◈✿ღ,在Meta这家全球最大的科技公司之一担任核心大脑★◈✿ღ,可以说拥有无限的资源★◈✿ღ。

  今年夏天k8凯发国际★◈✿ღ,年仅28岁的Alexandr Wang成为Meta的首席AI官★◈✿ღ,让这位初出茅庐的大语言模型狂热者成了LeCun的上司★◈✿ღ。

  此外★◈✿ღ,Meta今年还任命了另一位相对年轻的首席科学家赵晟佳(Shengjia Zhao)★◈✿ღ,职位也在LeCun之上★◈✿ღ。

  在官方公告中★◈✿ღ,Meta盛赞了赵晟佳在scaling方面带来的「突破」★◈✿ღ。而LeCun恰恰对scaling失去了信心★◈✿ღ。

  如果你好奇为什么LeCun和Zhao都是首席科学家★◈✿ღ,那是因为Meta的AI部门组织架构相当奇特★◈✿ღ,分成了多个独立的团队★◈✿ღ。

  上个月k8凯发国际★◈✿ღ,Meta超级AI实验室裁掉了数百人★◈✿ღ,包括10年老将田渊栋★◈✿ღ。据称★◈✿ღ,这是为了理顺这种混乱的局面★◈✿ღ。

  而那支曾由LeCun领导★◈✿ღ、风头一时无两的FAIR★◈✿ღ,如今早已风光不再★◈✿ღ。据现任与前员工透露★◈✿ღ,这个部门经历了裁员★◈✿ღ、预算缩水★◈✿ღ,内部影响力也明显下降★◈✿ღ。

  曾几何时★◈✿ღ,FAIR是Meta内部思想最活跃的「象牙塔」★◈✿ღ,研究人员可以探讨各种AI未来路径★◈✿ღ,甚至可以做些「未必能成」的实验★◈✿ღ,完全不用担心产品化问题★◈✿ღ。

  而现在★◈✿ღ,Meta新组建的AI研究部门招来一大批高薪新兵★◈✿ღ,由Wang主导★◈✿ღ,目标明确★◈✿ღ:要快★◈✿ღ、要落地★◈✿ღ、要产品化★◈✿ღ。

  他曾在多伦多的Geoffrey Hinton实验室工作★◈✿ღ,那时Hinton还没成为AI传奇人物★◈✿ღ。

  「最让我兴奋的事情★◈✿ღ,就是和比我聪明的人共事★◈✿ღ,因为这会放大你的能力★◈✿ღ。」LeCun在2023年杂志采访时说道★◈✿ღ。

  在贝尔实验室★◈✿ღ,LeCun曾参与开发手写识别技术★◈✿ღ,这项技术后来被广泛应用于银行自动读取支票★◈✿ღ。他还参与了一个项目★◈✿ღ,致力于将纸质文档数字化并通过互联网分发★◈✿ღ。

  LeCun曾表示★◈✿ღ,自己从小就对物理感兴趣★◈✿ღ,在贝尔实验室期间也主要和物理学家合作★◈✿ღ,看了不少物理教材★◈✿ღ。

  我学到了很多表面上与AI或计算机科学无关的东西(我本科是电气工程★◈✿ღ,计算机方面的正规训练其实很少)★◈✿ღ。

  2013年★◈✿ღ,扎克伯格亲自邀请他加入Facebook(当时还未更名为Meta)★◈✿ღ,组建全新的AI实验室★◈✿ღ。

  他领导这个团队四年★◈✿ღ,2018年卸任★◈✿ღ,转为公司首席AI科学家★◈✿ღ,以「个人研究员」身份继续探索技术前沿七彩连珠在线游戏★◈✿ღ。

  2018年★◈✿ღ,他与Geoffrey Hinton和Yoshua Bengio共同获得图灵奖——计算机界的最高荣誉★◈✿ღ,以表彰三人在神经网络方面的奠基性工作★◈✿ღ。

  自那之后★◈✿ღ,LeCun就逐渐转为「象征性人物」角色★◈✿ღ。他没有参与Meta首个开源大语言模型Llama的研发★◈✿ღ,也早就不再参与这类项目的日常工作★◈✿ღ。

  据与他共事的人透露★◈✿ღ,LeCun现在主要在做自己的研究项目★◈✿ღ,也经常出席各种技术会议★◈✿ღ,发表对AI技术的看法★◈✿ღ。

  面对媒体的报道★◈✿ღ,Yann LeCun只是指出了报道中的「小错误」★◈✿ღ,并没有否认即将离职的消息★◈✿ღ。

  他知道自己在包括Meta在内的整个硅谷技术圈内★◈✿ღ,备受冷落★◈✿ღ。上个月在MIT的一次研讨会上★◈✿ღ,65岁的LeCun直言★◈✿ღ:

  这些年★◈✿ღ,我在硅谷★◈✿ღ、包括Meta的很多角落都不太受欢迎★◈✿ღ,因为我一直在说★◈✿ღ,3到5年内★◈✿ღ,世界模型将成为主流AI架构★◈✿ღ,没人再会愿意用现在这种LLM★◈✿ღ。

  但他坚信自己对AI未来的判断★◈✿ღ。他的老朋友Léon Bottou曾告诉媒体★◈✿ღ,LeCun「倔强得可爱」——他会听别人意见★◈✿ღ,但更有自己坚守的信念★◈✿ღ。

  他认为★◈✿ღ,无论科技巨头如何扩大其规模★◈✿ღ,我们目前所理解的大语言模型都已是「强弩之末」★◈✿ღ,是一条「岔路★◈✿ღ、干扰★◈✿ღ,一条死胡同」★◈✿ღ。

  他为现代AI奠定了诸多基础★◈✿ღ。而现在他坚信★◈✿ღ,领域内的大多数人都被大语言模型的「海妖之歌」引入了歧途★◈✿ღ。

  所谓「世界模型」★◈✿ღ,类似小动物或婴儿那样★◈✿ღ,通过视觉等感知数据主动学习世界规律★◈✿ღ;而LLM只是依赖海量文本做预测的模型★◈✿ღ。

  Meta的Llama★◈✿ღ、OpenAI的GPT★◈✿ღ、谷歌的Bard这些模型★◈✿ღ,都是靠海量数据训练出来的★◈✿ღ。LeCun估算★◈✿ღ,如果让人去读完它们训练所需的所有文本★◈✿ღ,大概得花10万年★◈✿ღ。

  我们从与世界的互动中★◈✿ღ,获取的信息要多得多★◈✿ღ。LeCun估计★◈✿ღ,一个普通的四岁小孩接触过的数据量★◈✿ღ,是目前最大的LLM的50倍★◈✿ღ。

  而他自己★◈✿ღ,早就准备好了替代方案★◈✿ღ。他称之为「目标驱动的AI」(objective-driven AI)七彩连珠在线游戏★◈✿ღ。

  他认为★◈✿ღ,未来★◈✿ღ,我们需要与可穿戴设备互动★◈✿ღ,就像与人交流一样★◈✿ღ,而大语言模型根本不像人类那样理解世界★◈✿ღ。

  这些动物能完成惊人的壮举k8凯发国际★◈✿ღ,它们理解物理世界★◈✿ღ。任何一只家猫都能规划出极其复杂的行动★◈✿ღ,因为它们拥有关于世界的因果模型★◈✿ღ。

  为了说明这一点★◈✿ღ,LeCun设计了一个思想实验★◈✿ღ:「想象一个立方体悬浮在你面前的空中k8凯发国际★◈✿ღ。好★◈✿ღ,现在让这个立方体绕着垂直轴旋转90度七彩连珠在线游戏★◈✿ღ。它会是什么样子?」

  当然★◈✿ღ,大语言模型可以毫不费力地写一首关于悬浮旋转立方体的打油诗★◈✿ღ,但它无法真正帮助你与这个立方体互动★◈✿ღ。

  他指出★◈✿ღ,尽管大语言模型训练所用的文本量需要一个人花45万年才能读完七彩连珠在线游戏★◈✿ღ,但一个四岁的孩子在醒着的16000小时里★◈✿ღ,通过眼睛看★◈✿ღ、用手触摸★◈✿ღ,已经处理了高达1.4x10^14字节的关于世界的感觉数据——

  顺便一提★◈✿ღ,这些只是LeCun在演讲中给出的估算★◈✿ღ,他在其他场合也给过不同的数字★◈✿ღ。但这些数字指向的核心观点是★◈✿ღ:大语言模型存在着局限★◈✿ღ,而LeCun相信世界模型能够克服这些局限★◈✿ღ。

  在Meta时★◈✿ღ,LeCun其实已经开始研究世界模型——他还拍了一个介绍视频★◈✿ღ,开头就让你想象一个旋转的立方体★◈✿ღ。

  在AI行动峰会的演讲中★◈✿ღ,他理想中的模型包含一个对「当前世界状态的估计」★◈✿ღ,以某种抽象形式呈现与当前情境相关的一切★◈✿ღ。它不再是按顺序预测token★◈✿ღ,而是「预测在你采取一系列行动后★◈✿ღ,世界将达到的最终状态」★◈✿ღ。

  他表示★◈✿ღ,世界模型将使未来的计算机科学家能够构建出「可以规划行动——可能是分层级的——以实现某个目标的系统★◈✿ღ,以及能够进行推理的系统★◈✿ღ。」

  LeCun还坚称★◈✿ღ,这类系统将拥有更强大的安全特性★◈✿ღ,因为控制它们的方式是内置的★◈✿ღ,而不是像现在这样★◈✿ღ,面对一个神秘莫测★◈✿ღ、只会输出文本的黑箱★◈✿ღ,只能通过微调来加以修正★◈✿ღ。

  他提出★◈✿ღ,他的世界模型将审视当前的世界状态★◈✿ღ,并通过寻找高效的解决方案★◈✿ღ,来寻求与某个不同状态的兼容性★◈✿ღ。

  LeCun在演讲中解释道★◈✿ღ:「你需要一个能量函数来衡量不兼容性★◈✿ღ,给定一个x★◈✿ღ,找到一个对于该x能量较低的y」★◈✿ღ。

  如果说七彩连珠在线游戏★◈✿ღ,我们从LeCun的公开言论中拼凑出的「真相」很粗糙★◈✿ღ、有些模糊★◈✿ღ,甚至完全错误★◈✿ღ,那也完全正常★◈✿ღ。

  但这可能需要耗费数年——甚至永远无法实现——更不用说数十亿美元的投资了★◈✿ღ,才可能看到任何真正了不起的成果k8凯发国际★◈✿ღ。凯发k8国际app下载★◈✿ღ,凯发k8国际首页登录凯发k8国际首页登录★◈✿ღ,发电★◈✿ღ,凯发k8国际首页登录★◈✿ღ。k8凯发★◈✿ღ,

 

扫二维码用手机看

 Copyright  © 2019 凯发k8国际首页登录电气集团公司  版权所有      豫ICP备20002114号        郑州    凯发k8国际首页登录.网址   凯发k8国际首页登录电气.网址