3377体育-权威体育赛事平台-中国官方网站- 云天励飞罗忆：推理超越训练，国产算力的真正战场在生态与成本丨GAIR 2025

  导语：推理正于初次跨越练习，AI真正最先“用电而不是发电”

2025年12月12-13日，第八届GAIR全世界人工智能与呆板人年夜会于深圳·博林天瑞喜来登旅店正式启幕。

作为AI 产学研投界的标杆嘉会，GAIR自2016年开办以来，始终苦守“传承+立异”内核，始终致力在毗连技能前沿与财产实践。

于人工智能慢慢成为国度竞争焦点变量确当下，算力正之前所未有的速率重塑技能路径与财产布局。13日举办的「AI 算力新十年」专场聚焦智能系统的底层焦点——算力，从架构演进、生态构建到财产化落地睁开体系会商，试图为将来十年的中国AI财产，厘清要害变量与成长标的目的。

GAIR 2025「AI 算力新十年」专场上，云天励飞副总裁罗忆发表了题为《芯智AI筑基，普惠点亮将来》的主题演讲，体系论述了他对于国产芯片路径及AI普惠化的焦点判定。

当年夜大都人还有于会商人工智能“是否有效”的2014年，一家中国公司已经经选择了一条更难、也更远的路——同时押注算法与芯片，试图从底层构建属在本身的AI技能系统。今后十余年，从深度进修的初期摸索，到年夜模子囊括全世界，再到算力成为国度级命题，这家公司险些完备履历了中国人工智能财产从萌芽、加快到分解竞争的全历程。

某种意义上，云天励飞自己，就是一段中国AI财产的微不雅缩影。

云天励飞副总裁罗忆，恰是这段过程的主要介入者与鞭策者之一。早年，他需要一次次向客户及财产界注释“人工智能毕竟能解决甚么问题”；而今天，于推理成本、算力布局与生态壁垒成为行业焦点议题的配景下，他思索的重心，已经转向怎样让AI真正“用患上起、用患上久、用患上广”。

与很多聚焦单点技能冲破的叙事差别，罗忆的视角始终锚定于一个更实际、也更具财产意义的闭环之中：运用出产数据，数据练习算法，算法界说芯片，芯片赋能运用，终极鞭策整个AI生态的正向飞轮。于他看来，AI的竞争不只发生于试验室及算力榜单上，更发生于真实施业、真实成本与真实范围化落地的场景之中。

于国产算力加快突围、推理逐渐逾越练习成为财产主疆场确当下，这类来自一线实践者的判定，尤显贵重。它试图回覆的，并不是“可否对于标某一家巨头”，而是一个更底子的问题：于高度关闭、生态壁垒森严的全世界算力竞争格式中，国产芯片毕竟该当怎样找到本身的保存空间与增加路径。

演讲竣事后，雷峰网(公家号：雷峰网)与罗忆就演讲中说起的“生态融入”、“AI惠普”等要害议题，举行了更深切的切磋。如下是雷峰网于不改原意的基础上，按照对于话历程做的收拾与编纂：

对于话环节

问： 您于演讲中回首了科技史的成长，云天的AI芯片也超过了CNN到Transformer，您认为两个时代对于在芯片需求最年夜的差别是甚么？

答：从云天选择NPU线路一起走来，此刻面对一个最显性的变化：Scaling Law驱动下，技能瓶颈最先螺旋式地呈现。最初是算力瓶颈，随后发明素质是内存容量瓶颈，接着是带宽瓶颈，再厥后瓶颈从芯片内部扩大到办事器之间，这才催生了“超节点”这种体系级方案。这反应出一个底子改变：今天的芯片公司早已经不止在设计芯片，必需提供全栈的体系工程能力。

其次是市场加快度带来的生态压力。从去年到本年，市场推理需求增加近百倍，模子迭代周期从已往的数月缩短至如今险些每一周更新。曾经经做NPU可以“慢工出细活”，花三个月将算法优化到极致；但此刻三个月时间窗口早已经封闭，新模子已经迭代数轮。是以，咱们必需自动兼容并融入CUDA于内的主流开发生态，不然客户的迁徙与适配成本会显著上升，贸易化节拍也会被拉慢。素质上是技能冲破动员财产化进程极速压缩，已往半年一年碰到一次的瓶颈，此刻可能三个月就碰到，鞭策技能螺旋式进步。

从中国路径上讲，咱们必定还有是两条腿走路。国孕育发生态，不论是RISC-V还有是像昇腾如许的国产万卡生态，它还有患上本身要逐步走。别的一方面，也必需融入高速迭代的CUDA生态，这个逃不失。

问： 于Transformer时代，要让推理可以或许更乐成，你觉得比力要害的因素会是甚么？

答： 从咱们的角度，整体上来说走向终极乐成是要融入生态或者者是拥抱生态。可是作为一个追逐者，进来以后必需患上有本身的价值，要有一技之长，要有一个尤其长的长板，然后才有时间换空间，去逐步填补本身的短板，逐步融入到生态。

问：您讲到中国更夸大普惠AI的运用渗入，那您认为当下AI推理普和面对的最年夜挑战是甚么？降低单元token成本吗？

答： 我感觉显然就是成本问题。各人但愿AI愈来愈精准来到达行业利用的要求，之前发明再努力也做不到、此刻就发明实在经由过程努力，经由过程长思索、长上下文的理解、带入私域的常识是能做到的、但价钱很年夜，那末怎么选择？以是后面就是降本的问题了。

问： 您认为从芯片公司的角度，要于推理市场构建护城河的要害是甚么？

答： 融入生态护城河。此刻许多圈子都是“互为生态”的格式，每一种焦点技能都有它的合用方上下流。狭义来讲，生态实在就是本身的上下流，但如今技能栈其实太深、太广，每个细分范畴都于形成本身的生态圈。

好比近来咱们也介入了中挪动提出的OISA系统，配合冲破万亿级MoE年夜模子推理集群Scale up的瓶颈，缭绕 AI 芯片互联、超节点等体系级标的目的与财产伙伴配合攻关，焦点方针是晋升国产 AI 芯片于范围化推理（包括 MoE 等繁杂负载）场景下的互联效率与互通性，鞭策集群 Scale-up 能力演进。

之后假如要把“超节点”真正做成可复制、可范围化的推理基础举措措施，除了了芯片自己，互联和谈、互换与收集、体系软件与调理等要害环节都必需做到协同兼容。是以，咱们后续也连续介入国产技能栈与要害尺度生态的共建，让产物更顺畅地进入主流体系形态与客户工程系统。

问： 对于在实现天生式AI的普惠，云天于将来1-2年内的方针是甚么？持久的计谋是甚么？

答： 我感觉此刻的话，一个是修睦内功，技能上你起首要有一技之长，缭绕推理落地最要害的指标，把一项或者几项焦点能力做到充足凸起、可复用、可交付——让客户于成本、能效、时延或者工程化效率上能明确感知到价值。第二是用更开放的方式进入头部生态与头部客户系统，一方面踊跃介入主流技能栈与财产生态互助，降低适配门坎；另外一方面也会经由过程多种互助形态（包括结合立异、结合解决方案、财产协划一）与头部客户成立更深度的验证与共创瓜葛，尽快形成可复制的标杆与范围化路径。对于咱们来说，计谋是进步前辈圈子，进步前辈头部的圈子，于真实运用中慢慢长出本身的生态。

演讲全文

如下是罗忆演讲的出色内容，雷峰网作了不转变原意的收拾与编纂：

各人好，我是来自云天励飞的罗忆，重要卖力推理芯片相干的生态设置装备摆设事情。

云天励飞建立在2014年，是一家深圳本土的人工智能芯片企业。

2014年公司创建时，人工智能还没有像今天如许被遍及认为是第四次工业革命的焦点技能，咱们于较永劫间里需要不停向客户及财产界证实人工智能的价值。但于这个历程中，云天励飞逐渐堆集了端到真个全栈技能能力。

从汗青视角看，中国于初期技能系统上曾经持久领先全世界，但于第1、第2、第三次工业革掷中，一些要害出产力东西及焦点技能的冲破，拉开了差别国度及地域之间的差距。

进入AI时代，今天咱们可以看到中美之间的竞争态势较为较着。美国于人材、资金、进步前辈制程方面要卡中国的脖子，但同时，中国于已往多年的技能堆集下，与美国于整个AI财产链范畴的差距是于慢慢缩短的。

虽然今朝来看，还有没法实现周全的国产替换，但今天财产界的同仁们，都于屡屡艰苦地实践，老是要有一些国度试验室及年夜企业要去攻关焦点技能，守住财产成长的底线。

拐点已经至：推理逾越练习，国产算力占比过半

从整个技能成长的海潮来看，2014年至2022年，AI财产总体迭代节拍相对于不变，凡是以三个月到半年为周期。

2022年末被遍及认为是一个主要拐点——年夜模子时代正式到来，行业总体沿着Scaling Law成长，经由过程更年夜算力、更大都据及更年夜参数范围，不停晋升模子能力，使患上它可以或许更泛化地举行办事。

从2023年头年夜模子鼓起最先，技能及产物的迭代速率较着加速。不管是做底层技能还有是运用层的企业，遍及感触感染到进修及顺应的压力，整个财产的迭代节拍，已经经进入以“周”为标准的迭代，甚至咱们说，中美之间的迭代，可能只是5小时~8小时的迭代，你方唱罢我登场。

直到2025年1月初DeepSeek-R1的发布，这一趋向呈现了新的变化。

DeepSeek的焦点意义重要是两件事。

起首，缩短了开源模子与闭源模子之间的时间差；其次，它只用了二十分之一的硬件成本，复现近似闭源的效果。包括千问的一系列蒸馏模式，也申明于真实施业运用中，万亿参数、千亿参数模子于成本上难以持久蒙受。

从素质上看，模子参数范围越年夜，单元推理成本就越高。每一一次推理所需的算力、带宽、KV Cache城市呈几何级数增加。

于财产运用中，咱们实践出一套基本逻辑：

练习阶段可以连续摸索模子能力上限

运用阶段必需经由过程稀少化、蒸馏、量化、数据格局优化等方式，不停降低推理成本

只有如许，AI才能真正实现普惠，才能于千行百业中范围化落地。

假如类比工业革命，练习更像是“发电”，而推理更像是“用电”。

练习属在技能皇冠，需要少数头部企业解决年夜范围集群问题；而真正进入行业及社会运行系统的，是推理能力，需要云、边、端多条理的芯片形态支撑。

据咱们不雅察，本年至少存于两个主要拐点。

第一，推理算力耗损将初次跨越练习。

黄仁勋于本年的一次演讲中提到，他认为鞭策英伟达股价上升的三条曲线中的前两条，第一条是预练习，第二条是后练习，此刻新的一条scaling现实就是Long Thinking。

从财产数据来看，推理Token耗损正于快速增加。2023年ChatBot时代以快问快答为主，而此刻已经经进入长上下文、联网搜刮及深度思索阶段，Token耗损显著增长。

2024年的数据显示，海内企业Token耗损量同比增加跨越100倍，google的日Token挪用量已经到达约43万亿，这个数据已经经滞后了，今朝仍于连续增加。

我记患上，据6月份国度数据局宣布的数据，中国互联网整个日Token挪用量是30万亿，到9月份，字节跳动一家就已经经到达了30万亿/天。咱们内部有段时间跟字节相识交流，听说近来可能已经经冲破了40万亿/天，这个增速其实长短常惊人，并且这个速率涓滴没有放缓的意思。

第二，估计到年末，海内AI芯片出货/部署布局中，国产AI芯片占比有较年夜几率跨越50%，总体份额跨越非国产高端GPU。

中国路径：以运用落地，反哺AI生态

AI的成长上，咱们可以看到美国从“AI步履规划”，到近来的“创世纪规划”，连续从国度层面鞭策AI成长，包括此刻的美股，基本都是靠AI观点的科技企业于支撑股价，科技类的已经经到达了50%以上。而中国股市上，科技类可能占比还有不到10%。

从2024年Q3到本年9月，北美四年夜云厂商2025本钱开支增加了83.5%，像google、亚马逊这些头部云厂商纷纷自研芯片以争夺成本上风。

中国也有一系列政策的出台，最集中的实在是本年年中推出的“人工智能+”规划，这个政策极具中国特点，或者者说很是切合中国的路径。

对于中国来讲，最主要的工作实在是经由过程运用的渗入以和千行百业的落地，去鞭策或者反哺整个AI的繁荣。

咱们一直坚信一个“数据飞轮”，运用出产数据，数据练习算法，算法界说芯片，芯片的范围化运用鞭策整个财产的成长。

中国的特点是有一部门头部的企业，包括AI练习的厂商，用更年夜范围的练习集群去追逐与美国头部闭源模子的差距，甚至经由过程工程化的方式，一方面，是为了降低练习成本，更进一步，是为了降低将来的推理成本。

而且，中国有很是好的基础举措措施，于基础数字化、行业运用、运用人群以和运用热忱上都具有较着上风，这个渗入率也会进一步鞭策以AI推理芯片为焦点的本钱投入的增加。

是以，于中美的动态竞争中，两边于政策导向、焦点方针与技能线路上存于必然差异：美国更偏重在盘踞技能制高点，并将其作为经济增加的焦点锚点；而中国的焦点于在加快运用市场成长，尤其是晋升AI推理芯片的国产化替换速率。

同时，我感觉适才几位分享佳宾都讲到一个很是主要的工作，当前海内芯片财产最年夜的挑战于在软件与生态设置装备摆设。于这方面，咱们也有本身的结构与思索。

近来于中国香港的一次峰会上，咱们的董事长跟AI前驱Hinton（杰弗里·辛顿）有过一次对于话，Hinton一直担忧，AI的成长速率过快，而响应的伦理与安全规范却未能同步跟上。别的他还有提到，“只致力在让AI更智慧而不思量运用，这是个年夜过错。”这个运用，包罗生态、伦理、安全、羁系等一系列问题。

对于咱们而言，不仅要于技能上不停精进，更要寻求普惠与向善的方针，让AI真正以可蒙受的成本解决出产力问题，为各行各业创造价值。

GPNPU=生态兼容 + 能效拿手 + 存储冲破

于推理上，始终存于“机能-成本-精度”三角衡量挑战的瓜葛。

云天励飞自进入该赛道起，便从小模子时代出发，基在自研NPU指令集，对峙走AI普惠与极致性价比的线路，经由过程算法与算力的一体化设计，于边沿侧和都会各种场景中深化运用。

跟着模子范围扩展与运用范式多样化，技能线路年夜致分为三类：

以CUDA生态为代表的GPGPU重要解决年夜集群练习问题；

NPU则继承于极致能效与功耗上阐扬上风；

针对于云端推理，行业共鸣正趋势在GPNPU。

咱们则从专用架构走向更通用的设计。两条技能线路正于不停堆叠与交融。

海内云端年夜算力推理芯片的技能线路选择，咱们列了一个公式：

GPNPU=GPGPU+NPU+3DM

其焦点使命是：

软件生态尽可能兼容CUDA。

连结NPU设计的高效性与模子亲及性。

确保芯片于财产化运用中实现高算力使用率。

此外，于年夜模子推理范围化落地（特别解码阶段）中，机能瓶颈往往再也不只表现于算力自己，而是更凸起地表现于显存容量、互联带宽以和节点间互联带宽等体系约束上。于高端存储如HBM供给受限的配景下，咱们必需追求更多解决方案。是以，咱们全力撑持3D Memory技能线路，这是于国产化、年夜容量、高带宽标的目的实现冲破的要害，只有更多厂商撑持，该技能的财产化与贸易化成熟度才能加快。

将来，云端AI基础举措措施势必走向异构化与高性价比喻向。这不仅表现于单个模子的计较与访存分散，也表现于需用差别范围的模子办事差别场景需求。

犹如一个公司不会全数雇佣博士生，合理的性价比配置才能实现高效产出。其焦点公式可简化为：（本钱开支CAPEX + 营运成本OPEX）÷（加快卡吞吐量 × 装备使用率）。

很主要的是，此刻的年夜模子推理为何要做PD分散？由于P及D阶段彻底纷歧样，P阶段是计较密集型，而D阶段绝年夜部门时辰，算力于等数据搬运。

怎样更高效地解决这个问题？咱们经由过程数据格局优化、模子量化等一系列算法技能，于确保模子精度的条件下，显著晋升了计较与数据搬运的现实效率，从而连续降低了单元Token的推理成本。

今朝，海内云厂商的Token报价多以百万为单元，成本遍及于10元以上，无办事程度和谈保障的模子挪用成本甚至跨越20元。咱们认为，将来三到五年，百万Token成本必需降至1元人平易近币之内，才能支撑“人工智能+”规划所要求的渗入率方针。

末了，简朴讲一下云天励飞，公司自2024年创建以来，始终秉持“算法+芯片”双轮驱动的技能路径，今朝芯片已经迭代至第四代。第五代芯片将周全转向GPNPU架构，并于原有自立设计的NPU指令集和多年行业技能堆集基础上，向通用推理标的目的演进。

2020年，公司周全转向海内工艺系统，并成为海内最早实现D2D Chiplet技能的企业之一，该工艺是冲破算力制约的要害路径，也是国产算力芯片成长的配合标的目的。

于存储技能方面，咱们认为3DM是国产工艺将来实现冲破的主要标的目的。只管今朝可采用海外HBM3e以致后续产物，但其财产链与供给链仍存于较年夜不确定性，是以咱们对峙周全推进国产化，致力在成长3DM等冲破性工艺，并期待更多芯片企业插手，配合鞭策财产成熟。

于本代商用芯片中，咱们经由过程一次流片便可封装出合用在端、边、云等多种场景的系列芯片，算力笼罩8T、16T、64T直至128T，此中最高规格的Edge200芯片可完备撑持深度推理使命。

从公司愿景出发，云天励飞致力在周全拥抱人工智能海潮。不管是于智能硬件、智能摄像头、具身智能、人形呆板人还有是云推理等范畴，咱们均缭绕“端边云”系统结构了三条芯片产物线：“深穹”面向云推理，“深界”专注在端侧NPU芯片，“深擎”则是面向人工智能的SoC芯片。咱们期待基在国产工艺，周全鞭策AI技能的落地与运用。

以上是我的分享，谢谢各人。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。

-3377体育-权威体育赛事平台-中国官方网站