
导语:7月19日,2026年世界人工智能年夜会正于举行中,高通公司全世界副总裁、中国区研发卖力人、IEEE Fellow徐晧博士出席“端侧AI立异及行业成长论坛”,并发表 7月19日,2026年世界人工智能年夜会正于举行中,高通公司全世界副总裁、中国区研发卖力人、IEEE Fellow徐晧博士出席“端侧AI立异及行业成长论坛”,并发表《智能体AI时代:计较架构与模子效率的连续立异》主题演讲。 徐晧博士指出,端侧的AI运用拥有很是广漠的远景,并体系性论述了智能体海潮对于终端计较架构带来的范式厘革。他指出,跟着手机利用场景从单轮对于话迈向多轮交互、再迈向智能体调理,装备所需的Token处置惩罚量正以十倍量级递增——从一万、十万到百万级,是以端云协同处置惩罚十分主要。为此,高通针对于连续运行始终于线事情负载、连续的传感器数据处置惩罚及体系性协同需求,面向智能体AI打造新一代装备架构,并与面壁智能等互助伙伴连续鞭策于端侧模子范畴的互助。 如下是演讲全文; 很是兴奋及各人分享高通于端侧AI方面所做的硬件,软件,算法及体系开发以和生态互助。 这支视频带咱们简朴回首了咱们利用手机这一终真个方式,从最最先简朴的交互,到今天撑持智能体的手机。一样,可以或许运行智能体的终端品类多种多样,从最小的智能耳机到千瓦级的数据中央,高通差别的硬件平台可以为这一系列的智能终端提供撑持。很早以前,咱们就留意到面壁于端侧的结构,咱们两边有许多的契合点。 接下来,咱们看一下为何端侧这么主要。这里出现的是一个简朴的统计,可以看到差别终真个市场范围于几十亿量级。年夜大都人此刻都很看重数据中央这种年夜范围练习,但现实上端侧的AI运用也拥有很是广漠的远景。 可以看到,手机从简朴的单轮对于话、到多轮对于话,再到应用智能体,其所需的token量因此十倍量级往上增长的,从一万、十万到百万级。好比,于手机端利用龙虾或者者智能体要用到的token数目很是之年夜,现阶段是端云联合的解决方案,端侧小模子处置惩罚隐私性强需要及时处置惩罚的使命,云端处置惩罚深度推理及计划。未来愈来愈多的模子处置惩罚会于端侧来削减对于数据传输及云端token运算的需求。 方才面壁的同事也先容了,端侧模子于将来一至两年内,可以到达与几十倍算力的云端模子一样的功效,而且这个趋向还有于不停成长,愈来愈多的年夜模子将迁徙到端侧,以小模子的情势呈现。跟着硬件算力的不停提高,这些模子于端侧也将可以或许轻松运行。 咱们看一下,从端侧硬件设计的角度来看,有哪些最主要的设计难点。 第一,于打造智能体手机时,咱们需要精彩的使命计划,咱们经由过程全新的CPU来做使命计划及节制。 第二,需要随时随地处置惩罚传感器信息。之前的手机只是用户给它指令让它履行使命,它不需要24小时判定你于干甚么或者者你需要甚么。可是智能体手机需要自动帮忙你、告诉你需要做甚么,需要随时感知你于甚么处所,好比它感知你此刻于年夜会现场,它可以帮你主动静音;好比它感知你进入坐舱,它会主动调治成你喜欢的温度及座椅位置。这都需要有精彩的低功耗传感器处置惩罚。传感器中枢会对于年夜量的传感器做有用地处置惩罚及交融,来切确地感知情况,给智能体提供决议计划信息。 第三是NPU,来提供强盛的模子运算功效。咱们会做一系列的模子适配及优化,有用地使用NPU高效张量计较能力来处置惩罚2B到3B量级的模子于手机端侧地运行。 此外,还有需要有精彩的5G或者6G毗连。此刻年夜部门智能体的功效是于云端运行的,由于需要年夜量算力,但跟着愈来愈多的模子于端侧运行,需要端侧、云端及边沿云的协同处置惩罚,精彩的无线毗连功效可以把端侧的算力及云真个算力无缝毗连。 接下来让咱们看看,高通怎样带来最有用的硬件撑持。起首是高通传感器中枢,它可以或许为智能体提供更大都据,24小时于线相识关在你的所有信息,为年夜语言模子或者端侧模子的输入提供情境感知,打造小我私家常识图谱。另外一方面,咱们的NPU可为端侧提供强劲算力,例如适才提到的20亿、30亿参数mini CPM年夜模子,都能于端侧流利运行。 这是高通最新的旗舰挪动平台第五代骁龙8至尊版,本年咱们还有将推出更强盛的挪动平台,来撑持所有的端侧运算;咱们的座舱芯片也具有强盛算力,可撑持更年夜范围的模子,于车上不变运行百亿以上的参数年夜模子。 从运用以和模子的角度来讲,咱们已经经完成从最初的感知AI,到此刻的天生式AI及智能体AI的迭代,下一阶段咱们将重点推进物理AI,实现从小模子向多功效年夜模子的改变。咱们于算法方面也做了一系列的模子于端侧的适配,好比模子压缩及量化,长上下文的处置惩罚及加强,以和端侧模子的不停进修(on device learning)。 末了是从车到呆板人的演进过渡,一方面咱们要将二维的计划,进级为对于三维真实世界的理解;另外一方面是针对于更多、更繁杂的运用场景举行优化与设计。这是咱们从汽车芯片到呆板人芯片范畴需要开展的一系列开发事情。 高通与面壁于手机及车等方面已经经有许多深度互助。咱们也很是期待将来结合面壁和于座的列位互助伙伴,配合推进智能手机及多种智能终端于端侧的运用及成长。谢谢各人。