欢迎访问企业推荐网
电子半导体行业推荐公司 电子半导体行业动态 电子半导体材料

端侧AI大爆发,千亿参数大模型正“住”进你的电脑里

2026-08-03 145

2026年的夏天,AI行业正在发生一场静默而剧烈的位移。 两年前,行业对大模型的想象几乎全部集中在云端——参数越大越好,集群越强越好。千亿参数、万亿参数是衡量模型能力的核心标尺,谁建的算力集群更大,谁就站在了浪潮之巅。

*图源网络,侵删

但2026年世界人工智能大会(WAIC)的展馆里,画风变了。 展台上随处可见的不再是服务器机柜,而是一幅全新的产业图景:芯片、存储、终端,三方正在协同突破。 芯片上,存算一体方案以10W功耗实现160TOPS算力,让手掌大小的设备即可流畅运行千亿级大模型;存储中,AI SSD开始以“显存扩展”的姿态出现,通过KV Cache卸载解决显存瓶颈;终端侧,迷你机、智能体手机、AI眼镜、具身机器人密集亮相,大模型从对话框里走了出来,跑进了你口袋里、戴在脸上、甚至站在你面前。

大模型正在从聊天框里走出来,走向端侧。它不再是云端独享的“奢侈品”,而是正在“住”进各式各样的终端设备里。 产业界的共识正在加速形成:2026年是端侧AI规模化落地的元年。AI从“能聊”走向“能干”,从“大脑”走向拥有“身体”。

一、AI的“身体”正在长出来

这场位移背后的驱动力,是AI本身形态的深刻变化。 AI正在从“一个回答问题的模型”,变成“能够理解目标、拆解任务、调用工具并持续执行的智能体系统”。过去大家讨论的是“如何让AI在设备上跑起来”,现在讨论的是“如何让Agent(智能体)在设备上干活”。 两者的区别,决定了算力需求的根本不同。 传统AI是“一问一答”:用户问一个问题,模型返回一个答案。而Agent是“连续执行”:它接收一个模糊的指令,自己拆解成多个步骤,调用不同工具,根据中间结果调整下一步行动,直到任务完成。这个过程需要多次推理、多次调用、持续运行。 黄仁勋在GTC台北大会上说,过去40年PC的使用方式是打开应用、点击、输入。现在,微软和英伟达要重新发明PC。PC的角色正在从被动等待用户操作的工具,变成能够理解情境、推理规划、调用工具的个人计算中枢。这个变化,被黄仁勋称为自Windows 95以来最重要的一次PC底层重构。

*图源网络,侵删 与此同时,AI正在获得“身体”。视觉语言动作模型(VLA)走出实验室进入工程落地。从智能座舱里“比副驾更懂你”的主动服务,到机器人“听得懂指令、做得稳任务”的具身交互,端侧智能正在各类终端上密集落地。 AI不再只是一个“大脑”,它正在长出能够感知和作用于物理世界的“身体”。而要让这个“身体”真正动起来,算力必须从云端下沉到端侧——因为物理世界对实时响应、隐私保护和可靠运行的要求,云端无法独自满足。

二、三堵墙:端侧AI落地的真实困境

愿景很美好,但走到落地环节,故事总会卡住。

第一堵墙:内存墙。

模型越来越大,内存越来越贵。终端设备的体积、电池功耗、散热空间均存在刚性限制。继续堆叠内存,设备成本和物理空间都会同步上升。 一个直观的数据:DeepSeek-R1(6710亿参数),单设备至少需要671GB显存(FP8精度),带宽需求高达740GB/s。这样的配置对于数据中心尚且是负担,更不用说塞进一台个人电脑或机器人了。

第二堵墙:Token成本墙。

纯云端调用最强模型,体验确实好,但长期调用会形成持续支出。英特尔中国区技术部总经理高宇用“微笑曲线”拆解了这一痛点:完全依赖云端会产生持续高额Token开销,用户留存难、数据上传存在隐私隐患。

*图源网络,侵删

对于企业,这或许是可以计算的生产成本;对于普通消费者,这很容易变成一笔难以接受的月度账单。

第三堵墙:部署墙。

纯本地运行70B模型需要64GB起步的显卡,单卡成本过万。两条主流技术路线——纯云端和纯本地——各有短板,均难以单独大规模落地。 正如北京智源人工智能研究院联合端侧实验室发布的《端侧智能2026——规模化落地元年》报告所指出的,囿于成本、时延、隐私三大约束,大模型正经历第二次结构性跃迁——从以云端为唯一算力中枢的单点智能,走向端云分工、协同共生的分布式智能系统。 三堵墙交汇之处,正是端侧AI最真实的痛点:如何在有限的硬件条件下,让大模型跑得起、跑得稳、跑得久?

三、行业在行动:存算正深度融合

面对这三堵墙,整个产业正在寻找答案。 英特尔的答案是“端云混合”。 在7月初的智能体PC应用分享会上,英特尔明确提出:端云混合架构能够平衡算力、成本与隐私安全,是当前智能体PC落地的最优路径。云端承担复杂推理主脑,本地设备承接高频轻量化任务,依靠智能路由实现任务自动分流。 后摩智能的答案是“存算一体”。 其M50芯片在10W功耗下实现160TOPS单芯片算力,可流畅运行30B至120B参数量级大模型。联想AI主机P7搭载该芯片,在手掌大小的机身中实现全本地部署,可离线运行1220亿参数大模型。 群联电子的答案是“内存延伸”。 其aiDAPTIV技术通过高性能NAND Flash与DRAM协同运作,仅需16GB DRAM即可执行260亿参数AI模型。 这些行业巨头的探索指向同一个方向:AI的存储和计算正在走向深度融合。

四、存算协同:让大模型“住”进更多设备

正是在这样的产业背景下,“存算协同”思路开始浮出水面。 传统的AI推理路径是这样的:模型参数加载到GPU显存,推理过程中产生的KV Cache也占用显存,上下文越长、对话轮次越多,显存占用越大。当显存不够时,要么换更贵的显卡,要么牺牲模型大小或上下文长度。 但如果SSD可以直接“变成”显存呢? 铨兴科技,给出的正是这样一个答案——铨兴添翼AI超显存融合解决方案2.0。 这套方案的核心逻辑,不是“用SSD存模型文件”,而是让SSD真正参与GPU的显存体系。基于自研添翼AI SSD与AI Link Plus智能调度算法,方案实现了“一卡两用”——既作高性能固态硬盘,又扩展为GPU外部显存池。

具体来说,它支持三类关键能力:

第一,KV Cache复用。 在多轮对话和多智能体场景中,KV Cache会急剧膨胀,大量占用GPU显存。添翼方案可以将KV Cache卸载到高速SSD上,需要时快速加载,避免重复计算。 第二,长上下文缓存。 当上下文长度达到数万甚至数十万Token时,传统方案只能不断堆叠显存。添翼方案通过SSD分层存储,让有限显存的设备也能承载超长上下文。 第三,MoE参数卸载。 混合专家模型(MoE)中,不同专家模块的活跃度不同。通过“冷热分离”——将不常用的专家参数存放在SSD,仅将常用运算内容保留在内存中——整机内存占用可大幅降低。

在此基础上,方案还搭载了铨兴自研的“AVA”智能体软件,进一步将存算协同的能力延伸为端云协同的完整体验。AVA实现了本地联网混合模式:简单任务由本地模型直接处理,响应迅速且无需联网;复杂任务则自动调用云端最强模型,保证推理质量。同时,当任务涉及通讯录、文档、地理位置等隐私内容时,AVA会主动弹出权限询问,由用户决定是否允许上传——这正是“端云混合”架构真实落地:云端是更聪明的大脑,端侧负责高频重复行为,而隐私的开关始终握在用户手中。 这意味着,迷你设备即可本地运行120B参数大模型(120B即1200亿参数,达到博士级科学问题的推理门槛,相当于一个具备跨学科深度知识的专业级助手),推理成本降低90%。 这套方案的产业意义在于:它突破了对昂贵显存的强依赖,核显等中低阶显卡也能承载超大模型。

五、从云端到端侧,AI正在“回家”

两年前,行业对大模型的想象几乎都在云端。但2026年我们看到的是:AI正在从云端“回家”——回到个人电脑、回到手机、回到汽车、回到机器人。 这场从云到端的迁移,正在改变整个AI产业的算力分布。TrendForce数据显示,北美五大云服务商2026年的AI训练算力预计增长56%,而推理算力将暴增122%。算力需求的重心正在从“训练”向“推理与执行”急速迁移。 未来的AI设备,不再是“CPU加GPU”这么简单,而是CPU、GPU/NPU和高性能存储共同组成的协作系统。GPU负责“想得更深”,CPU负责“安排和执行”,存储负责“记得更多、调得更快”。 而铨兴添翼AI超显存融合解决方案2.0,正是这条产业链上“存储”这一环的关键突破。当存储参与模型运行、当端侧承载千亿参数、当隐私权限由用户掌控、当AI能够在本地持续创造价值——AI也才真正从技术演示,走进了每个人的日常。

投稿与新闻线索:邮箱:tuijiancn88#163.com(请将#改成@)

特别声明:企业推荐网转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。

  • 两幕“星月对话”登场

    5月19日、20日,天宇将接连上演金星合月、木星合月天象,两颗明亮行星依次与一弯蛾眉月近距离相伴。若天气晴好,太阳落山后,我国各地公众朝向西方低空,凭借肉眼就可欣赏到这两幕赏心悦目的“星月对话”。 ...

    2026-05-19 199
  • 76.86亿元!国信集团投资750MW海上风电项目

    76.86亿元!国信集团投资750MW海上风电项目企业推荐网获悉,3月7日,江苏省新能源开发股份有限公司(以下简称“江苏新能”或“公司”)发布《关于控股股东拟先行投资射阳北区H1#海上风电项目暨出具避...

    2026-03-09 898
  • 2026年电子级二氧化碳厂家排行榜:国产替代加速下的五强格局

    电子级二氧化碳作为半导体、显示面板及新能源产业不可或缺的“精密气源”,其纯度与稳定性直接决定了下游产品的良率。进入2026年,随着国内晶圆厂产能扩张与先进制程对超临界清洗需求的爆发,该行业呈现出国产替...

    2026-06-30 1267
  • 全球储能市场需求旺盛 产业链上市公司订单饱满

      2026年,全球储能市场需求迎来多点开花。近日,产业链多家A股上市公司密集宣布储能业务订单旺盛。  中国城市专家智库委员会常务副秘书长林先平在接受《证券日报》记者采访时表示:“当前全球多个国家的储...

    2026-04-01 132
  • 新疆上半年外送电量同比增长逾25%

      7月18日,新疆电力交易中心有限公司数据显示,新疆2026年上半年累计外送电量达790.24亿千瓦时,同比增长25.11%,其中新能源外送电量278.4亿千瓦时,同比增长33.92%。  新疆电力...

    2026-07-21 288
  • 美提升“雨燕”天文台轨道的航天器出现技术故障

    美国航空航天局28日表示,用于抬升尼尔·格雷尔斯·斯威夫特(又称“雨燕”)天文台轨道的商业在轨服务航天器日前出现技术故障。目前,任务团队正尝试恢复航天器稳定姿态,并评估后续任务计划。 这一代号“L...

    2026-08-03 1051
  • 三部门联合印发《智能体规范应用与创新发展实施意见》

    近日,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》(以下简称《实施意见》)。《实施意见》旨在落实国务院《关于深入实施“人工智能+”行动的意见》,促进智能体规范...

    2026-05-11 865
  • 蓄势启新程|恩达通集团(ATI)泰国新工厂一期乔迁仪式圆满举行

    新工厂将全方位升级为国际化一流制造平台,为800G、1.6T等高速光模块及其他光互联产品的大规模、高质量交付提供有力保障。...

    2026-07-27 567
  • 新华社两会亨通专访丨领跑光通信,攻坚6G新赛道

    两会期间,新华社推出《共探未来引擎丨6G:构筑未来世界的神经网络》深度采访文章,聚焦6G这一核心赛道,探寻产业发展动能。作为国内信息通信与能源电力领域的标杆企业,亨通集团依托全产业链布局,精准对接6G...

    2026-03-23 1839
  • Flex 与 Cerebras 扩合作 AI 系统产能提 7 倍

    Flex与Cerebras宣布扩大制造合作,在加州米尔皮塔斯市扩建生产线,以应对AI基础设施需求增长。预计到2026年,Cerebras CS-3系统的生产能力将提升约7倍,展示美国本土先进制造能力。...

    2026-07-14 542
虚位以待
热门文章
联系我们

邮箱:tuijiancn88#163.com(请将#改成@)