今天有机会来位于北京的英伟达EBC参观,对于英伟达公司在今年GTC以及台北电脑展期间发表的VeraRubin平台以及AI工厂的概念有了进一步的理解。用一位同行朋友的话,英伟达所做的一切都是为了AI。前面几年他们更多关注的是大公司的需求,而现在他们开始关注推理,关注代理式AI,关注身边的AI,就像JensenHuang在台北电脑展上展示的搭载RTXSparkSoC的轻薄笔记本。他想告诉世界:英伟达把数据中心级算力纳入单台笔记本、通过本地运行AI智能体,AI离普通人更近了。
在北京英伟达EBC近距离了解英伟达的VeraRubin平台,首先是感受该平台的强大。该平台集成了NVIDIAVeraCPU、NVIDIARubinGPU、NVIDIANVLink™6交换机、NVIDIAConnectX®-9SuperNIC、NVIDIABlueField®-4DPU和NVIDIASpectrum™-6以太网交换机,以及新纳入的NVIDIAGroq3LPU。这些芯片设计为协同运作,构成一台强大的AI超级计算机,从大规模预训练、后训练、测试阶段扩展到实时智能体式推理,展示了相比前代产品和竞争产品的强大优势,令人印象深刻。
在英伟达北京EBC,得以近距离了解英伟达的AI工厂概念。AI给出的说明说,“AI工厂不是普通机房,是专门规模化生产“智能(Token)”的全栈一体化算力基础设施,完整覆盖数据采集、预处理、模型训练、微调、长思考推理、智能体部署全链路;核心产出是Token,衡量指标为Token/Watt(每瓦算力产出词元),区别于传统IDC以存储、通用计算为目标。AI工厂包括五层核心架构:能源系统、计算芯片集群、机柜/网络/存储基础设施、AI软件栈与模型、行业智能应用层。”之前对这样的说法感觉有点像宣传,这一次对于AI工厂有了更深的理解。英伟达现在强调自己是AI基础设施解决方案提供商,他们的产品不仅是GPU芯片,在VeraRubin架构下还包括了CPU,DPU,LPU等产品,同样还有交换连接产品。
英伟达的AI工厂同他们的协同设计Co-design概念密不可分。英伟达的AI工厂更是一个产业生态概念,由于各种新型AI应用的出现,AI互联不仅要强调带宽,同样开始重视延迟,拥塞甚至通信里的抖动。这一点也是今天在英伟达EBC编辑感受最深的。今年英伟达在ScaleUp,ScaleOut之外更推出ScaleAcross的概念。随着AI算力从超级算力中心向边缘,向用户端推进,通信网络的价值重新重要起来。这是编辑自己对英伟达新架构的理解。
理解英伟达的Co-design和AI工厂概念,还有助于理解为什么英伟达的产品迭代这么快。全栈协同,给了英伟达产品十年实现百万级算力提升,远超单纯工艺迭代收益,压低单位Token算力成本。同时,有了这些概念,也让英伟达更深绑定合作伙伴,加快了产品发布速度。
感谢英伟达公司提供这样的机会。AI注定将改变世界,理解AI工厂是我们理解未来这个AI世界的第一步。
投稿与新闻线索:邮箱:tuijiancn88#163.com(请将#改成@)
特别声明:企业推荐网转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。