大模型下沉撞上“内存墙”, 这颗国产3D TPU尝试给出解法
围绕当前话题进行整理与延展,帮助读者更完整理解内容背景、核心信息与后续变化。
大模型下沉撞上“内存墙”, 这颗国产3D TPU尝试给出解法
芯东西(公众号:aichip001) 作者 陈骏达 编辑 漠影 智能体、AI PC、AI Box和机器人等应用,正在推动大模型推理从云端走向终端。但与云端服务器不同,终端设备的功耗、散热和空间都十分有限,如何在有限的资源下跑动参数规模越来越大的模型,成为端侧AI芯片需要解决的问题。 大模型推理需要频繁读取模型权重和KV Cache,存储带宽不足会让计算单元陷入等待。单纯增加峰值算力,并不一定能带来更快的Token生成速度。如何让数据以更高的带宽、更低的功耗抵达计算单元,成为端侧芯片设计的重要方向。 11月18日,深圳端侧AI芯片创企 迈特芯在北京亦庄举办MEGA188芯片点亮发布会 。这款面向端侧大模型推理的3D TPU协处理器,采用国产28纳米工艺和3D DRAM方案,可提供600GB/s带宽。它并不取代主控芯片,而是通过PCIe、M.2等接口与主控连接,为终端补充大模型推理所需的高带宽能力。 发布会披露的信息显示,MEGA188已于10月完成回片点亮,随后完成多类模型测试。目前,其样品交付与工程验证正在推进, 预计2027年第一季度实现量产。 发布会后,我们与 迈特芯创始人余浩教授 进行了深入交流,讨论了这颗芯片为何选择3D堆叠、如何组织数据与计算,以及一颗独立协处理器如何进入终端市场。 ▲迈特芯创始人余浩教授 一、大模型下沉,端侧芯片先要跨过“内存墙” 过去几年,AI芯片的性能提升,很大程度上依赖先进制程、更大规模的计算阵列和更高带宽的存储系统。在云端,HBM与GPU通过先进封装紧密结合,已经成为大模型推理的重要硬件组合。但这套方案对先进制程、封装工艺和制造成本都有较高要求,直接移植到成本敏感的端侧设备并不容易。 与此同时,传统2D芯片主要通过封装接口连接逻辑芯片与内存,数据需要经过接口和互连线路传输。如果要持续提高带宽,往往需要增加接口数量和外围电路,也会带来额外的传输功耗与成本。 如何在不完全依赖先进制程和高成本HBM的情况下,提升芯片内部的数据传输效率,成为另一条值得探索的技术路线。 对于迈特芯而言,这背后首先是一个产品定位问题: 端侧芯片究竟需要怎样的性能,以及应该为此付出多少功耗和成本? 余浩认为,端侧芯片需要同时满足三个条件:首先,Token生成速度要能够支撑实际交互;其次,功耗要适应笔记本、AI Box、机器人等设备的供电与散热条件;最后,硬件成本不能高到让终端厂商和消费者难以承受。 这三个目标相互约束。提高性能通常需要更高带宽和更多计算资源,也可能带来功耗与成本上升。迈特芯选择的路径,不是单独提高某一项指标,而是通过架构与存储方案调整三者的关系。 这一路线在此前的FPGA验证中已有雏形。余浩回忆,团队于2023年开始围绕端侧大模型推理组织研发,2024年在算力约1TOPS的FPGA平台上运行60亿参数模型,输出速度达到70—80 Token/s, 并将架构利用率做到约80%。 这次验证让团队确认端侧TPU架构可以运行大模型,也暴露出继续提升性能所需的高带宽条件。HBM能够提供高带宽,但成本较高。调研国内供应链后,团队转向成熟工艺下的3D DRAM与晶圆键合方案,于2025年推进芯片研发,2026年完成流片和回片点亮。 二、把 DRAM堆到逻辑芯片上,MEGA188如何 跑出 600GB/s 带宽 MEGA188的芯片级技术方案可以拆成两个环节:首先, 通过3D堆叠缩短存储与计算单元之间的物理距离,提供高带宽、低功耗的数据通路 ;其次, 通过3D IO和分布式TPU架构,让各处理单元并行访问存储,提高存储带宽利用率。 在传统2D方案中,计算芯片与内存通常通过板级接口连接。MEGA188则通过Hybrid Bonding、TSV等技术,将3D DRAM垂直堆叠在逻辑芯片上,使存储与计算单元之间的互连缩短至芯片内部。 这一设计缩短了数据搬运的物理距离。 3D堆叠能够在一定功耗预算下提供更高的存储带宽,让计算单元持续获得模型推理所需的数据。 余浩也谈到,3D芯片的工程难点不只在堆叠本身。Hybrid Bonding和TSV都会占用芯片面积,还会影响逻辑电路的布局布线。MEGA188的芯片面积约为100平方毫米,平均功耗为5—10W,散热、翘曲和良率压力相对容易控制,但3D结构带来的物理设计问题,仍需要通过多轮调整解决。 有了高带宽,还需要让计算阵列能够充分利用这些带宽。 MEGA188采用迈特芯自研的3D分布式TPU架构,处理单元通过3D IO与内存直接互联,形成网格化的分布式访存结构。数据被切分后送入不同处理单元,各单元完成计算,再汇总结果。 在计算过程中,张量脉动阵列会对输入数据进行复用,让同一份数据参与多次运算,减少重复读取。针对Transformer模型中大量存在的矩阵乘和矩阵向量乘运算,这种数据流设计能