“我们从刚刚过去这一年对大模型尤其语言大模型来看,训练的效果普遍不太好或者说能力的提升普遍没有到达预期。面对OpenAI迭代周期延长、Gemini 2.0仓促发布等行业现象,他直指当下大语言模型的核心困境——Scaling law开始步入减速区间。从数据墙的出现到死亡互联网理论的挑战,从Agent的战略定位到智算基础设施的重构等,何宝宏对大模型的“上半场”和“下半场”进行了深入分享。
在分析当前大模型发展现状时,何宝宏指出,大语言模型的竞赛上半场进入“垃圾时间”。例如,Open AI的产品迭代速度在明显放缓,过去24个月迭代一次,现在已经到33个月了,而且效果还不及预期,谷歌的Gemini2.0仓促推出。
大模型的发展已确定进入了“下半场”。他强调:“从刚刚过去的一年来看,大模型的训练效果普遍没有到达预期。重要原因之一是大模型的Scaling Law正在面临减速乃至失效的局面”。
关于Scaling law,何宝宏强调这并非大模型独有现象,Scaling law不是仅仅在我们大模型领域,它是一个广泛的存在于现实世界的物理世界生命体、城市、公司,甚至在计算机。
他指出,所有的Scaling law跟着时间的推移都会失效,不可能一直指数级增长,在大模型中,我们只是在重现这一现象。
如果Scaling Law短期内失效,例如在0到3年内,通往AGI的道路可能会更加漫长。
在Scaling Law减速的背景下,各大机构纷纷调整策略,转向其他领域,
一个方向是从训练转向推理,另一个方向是从大语言模型转向多模态其他模型。
今天大语言模型是基于AI两大分支之一的连接主义,就是数据,靠经验的,转向推理就是转向人工智能另外一条赛道
,符号主义,基于数据主义又走向了符号主义,但是本质上来说它俩似乎是统一的,因为符号主义强调的是符号结构化逻辑,连接主义强调的是数据训练结果。
2024年大模型赛道越来越卷,今年开源的进展也非常显著,开源模型的能力差相当于GPT3.5的80%,但成本却只有1/20。
,“当前的大模型仍然像是一种工艺品,需要更加多的工程化努力。” 他指出,未来的大模型需要更好的可解释性、更高的透明度、更强的长期推理能力及更高的安全性和可靠性。他提到,从工艺到工程化的过程,需要在模型的压缩、轻量化以及组件化方面实现突破。
, 过去疯狂追求模型的性能和规模,但如今,如何以更低的成本实现更多的商业经济价值,成为核心问题”。何宝宏还探讨了人工智能“幻觉”现象。他指出:“幻觉并非完全负面,它是创意和创新的基础。” 他认为,在文学、艺术和科技领域,人工智能的“幻觉”可能带来更多的创意。
在“大模型撞墙”的争论中,一些人认为预训练没结束,数据没有耗光,未来还能够正常的使用视频数据及人工智能合成数据,甚至是使用私域数据。何宝宏坦言,不赞成这种观点。他进一步指出,视频的数据如何拿来做训练,目前还没有方法。私域数据再大也是小数据,相对互联网的数据来说,私域数据只能做微调,只能在本地练。
至于合成数据,何宝宏直言:“互联网过去30多年积累的数据将在未来三到五年内耗尽。我们现在用AI生成的数据来进行训练,但这可能会引起模型崩溃。” 他指出:“
”此外,何宝宏还提到了一个新的理论:“互联网正在面临死亡威胁”,因为AI生成的数据正以惊人的速度增长,而人类生产的高质量数据则在快速减少。
展望未来,何宝宏认为,2025年Agent将成为焦点。他指出:“大模型的‘七年之痒’正在出现。下一步,我们应该从大模型转向Agent,而Agent是目标导向的,这与大模型的知识压缩属性形成对比。”
由于Agent是目标导向的,因此存在潜在挑战。Agent的思维方法、运作形式跟人类传统的智能思维放不太一样。
下半场算力方面,何宝宏提出,下半场不能只追求高端算力,边缘算力、混合算力会慢慢的多。他还提到,AIDC生态会重构。“整个生态从上到下都在发生明显的变化,从Agent到大模型,再到智算中心的基础设施,都在被重构,已经是技术密集型、资金密集型、能耗密集型、人才密集型。”
最后,何宝宏总结道:“从缺算到缺电,从液冷到智力基础设施,我们应该面向未来的长期规划。这不仅关乎技术创新,也关乎全球资源的合理利用”。如果按照当前趋势发展,到2030年,全球20%的电力可能会被人工智能数据中心消耗。下一步需要智力在线,今天的算力基础设施或者算力总的来看距离形成一个规模性的智算基础设施还有非常长的路要走。
爱思唯尔(Elsevier):洞察 2024:科研人员对AI的态度报告
前瞻:2025 年人形机器人产业高质量发展蓝皮书 - 人形机器人量产及商业化关键挑战
美国国家标准技术研究院(NIST):2024 年度美国制造业统计数据报告(英文版)
中国电子技术标准化研究院 2024 扩展现实 XR 产业和标准化研究报告
兰德公司 2024 人工智能项目失败的五大最终的原因及其成功之道 - 避免 AI 的反模式 英文版
Linux 基金会 2024 年世界开源大会报告塑造人工智能安全和数字公共产品合作的未来 英文版
兰德公司 2024 AI和机器学习在太空领域感知中的应用 - 基于两项人工智能案例英文版
Salesforce2024 年制造业趋势报告 - 来自全球 800 多位行业决策者对运营和数字化转型的洞察 英文版
电子行业专题报告:2025 年万物 AI 面临的十大待解难题 - 241209
NeurIPS 2024 论文:智能体不够聪明怎么办?让它像学徒一样持续学习
Chainalysis:2024 年密码货币地理报告密码货币采用的区域趋势分析
经合组织 成年人是不是具备在一直在变化的世界中生存所需的技能 199 页报告
《全球导航卫星系统(GNSS)软件定义无线电:历史、当前发展和标准化工作》最新综述
DARPA 主动社会工程防御计划(ASED)《防止删除信息和捕捉有害行为者(PIRANHA)》技术报告
世界贸易组织 2024 智能贸易报告 AI 和贸易活动如何双向塑造 英文版
经济学人智库 EIU2025 年行业展望报告 6 大行业的挑战机遇与发展的新趋势 英文版
科尔尼 2024 年全球AI评估 AIA 报告追求更高层次的成熟度规模化与影响力英文版
国际清算银行 2024 生成式 AI 的崛起对美国劳动力市场的影响分析报告 渗透度替代效应及对不平等状况英文版
MR 行业专题报告 AIMR 空间计算定义新一代超级个人终端 - 241119
在上百种运动中不同人群适合哪种运动?哪些运动对普通人群的健康最有益?最能降低死亡率?一块儿来看看~第一名 挥拍运动 降低全因死亡率47% 更推荐人群冠心病患者建议做挥拍运动,挥拍运动可帮助降低死亡风险。
体育代表团将参加第五届冬季世界军人运动会3月23日至31日,中国人民体育代表团将赴瑞士参加第五届冬季世界军人运动会,主要参加越野滑雪、雪地巡逻、攀岩、越野跑等7大项、28小项赛事,通过国际军体平台锻炼专业队伍,学习外军经验,增进了解与友谊。
警方回应宝马车主抹零2.6元代驾费(红星新闻) #宝马 #代价 #ktv #喝酒
8秒05!创造个人最好成绩!2025南京室内田径世锦赛女子60米栏,吴艳妮小组第四晋级晚间半决赛#吴艳妮
近日,网传安徽淮南市凤台县3名14岁女孩于3月19日走失,监控显示她们最后出现在安徽阜阳市颍上县谢桥镇路庄社区祁庄路口。
王军、高敏向龚晓钟、李沛夫妻赠送鲜花。(受访者供图)深圳新闻网2025年3月18日讯(深圳商报记者 张妍)“1867”“1868”连续的两个序号,代表69岁的龚晓钟与72岁的李沛成为2025年广东省第1867与第1868位成功办理器官捐献手续的志愿者。
只要蹲在微信群里抢红包,抢到红包集起来,再汇至指定账户,就能获得“提成”奖励?当心!这种赚钱门道可别轻易入局,会让你掉入深渊!广东就有几名男子通过这一种方式,在短短4个月的时间里,经手抢到的“红包”款额总计49836元到6400元不等,“进账”则从17289元至1770元不等。
近日,位于天津市河北区地纬路与三马路的一鉴楼——袁世凯次子袁克文故居旧址,发现一条暗道,目前尚在清理中。
在美国推进“遏华战略”,东北亚随时有可能成为“火药桶”的今天,保障中日韩面对面沟通,避免一般的分歧演化成国与国的摩擦和冲突,既是中国的战略诉求,又是日韩的主要愿景之一。