MediaTek
数据中心解决方案

XPU 是一类专为应对大型 AI 模型训练与推理所需的大规模并行计算需求而设计的 AI 加速器。与专为通用串行任务优化的 CPU、或最初为图形处理而设计的 GPU 不同，XPU 从设计之初就专为 AI 工作负载而生——旨在优化张量运算、矩阵运算与稀疏计算的吞吐量。在现代 AI 数据中心中，XPU 处于 AI 计算系统的核心位置，与 CPU、DPU 共同构成异构架构，由每种处理器负责其运行效率高的 AI 生命周期阶段。MediaTek 设计的定制 XPU，将先进封装、高带宽存储器（HBM）与互连技术作为一个统一系统进行协同优化。

面向 AI 的定制 ASIC（专用集成电路）是一种从零开始设计的芯片，专门匹配特定企业的模型架构、工作负载特征与基础设施限制条件，而非依赖现成的通用芯片。超大规模云服务商与云服务提供商打造定制 ASIC，是为了掌握架构主导权、优化单位功耗性能与单位 TCO 性能，并避免通用硬件带来的低效问题。MediaTek 与这些客户展开端到端合作，共同架构设计定制 ASIC 与 XPU：从逻辑晶粒设计、存储接口架构，到先进的 2.5D/3.5D 封装与机架级整合，全流程覆盖。最终成果是一套专为特定工作负载打造的计算引擎，在真正重要的指标——大规模场景下的单位功耗 Token 数与单位成本 Token 数——上超越通用商品化方案。

AI 计算系统是训练大型 AI 模型并大规模运行高吞吐量 AI 推理所需的完整硬件堆栈——其范畴远超单一芯片。其核心是 XPU（AI 加速器），但围绕它还有一整套完整架构：异构计算（针对不同工作负载阶段调优的 CPU、DPU 与 XPU）、纵向扩展互连（保持高带宽、低单比特能耗的封装内晶粒间互连），以及横向扩展互连（为带宽、传输距离与效率而打造的机柜级与数据中心级架构）。存储器——HBM、cHBM、LPDDR、SRAM——与计算单元共同封装，以降低数据搬移所消耗的能量。先进封装（2.5D、3.5D、晶圆级）将这些异构组件整合为一个协同运作的整体。MediaTek 设计的 AI 计算系统对每一环节都进行协同优化，使机柜成为一项战略资产，而非零部件的简单堆砌。

共封装光学（CPO）是一种将光引擎直接整合进芯片封装内的技术——通常与计算裸片、高带宽存储器共用同一硅中介层或基板，而非将光收发模块置于独立的线卡上。在 AI 数据中心中，横向扩展网络必须以低延迟、低功耗在机柜与机柜排之间传输海量数据，相较于传统可插拔光模块，共封装光学能够大幅降低单比特能耗与信号损耗。随着 AI 集群规模从数百个 XPU 扩展至数万个 XPU，互连功耗与带宽密度已成为首要制约因素，而 CPO 正逐渐成为主流解决方案。MediaTek 会根据每位客户的 I/O 与系统级连接需求，采用基于中介层或标准封装的方式，将共封装光学整合进其 AI 计算系统设计中。

先进封装——包括 2.5D 与 3.5D 整合技术——使 AI 芯片设计者能够突破单一裸片的物理限制，将多个芯粒（计算晶粒、存储接口晶粒、HBM 堆叠、SerDes、光引擎）整合进一个如同统一系统般运作的封装中。在 2.5D 封装中，各组件并排布置于硅中介层上，在封装内部实现很高的存储带宽。3.5D 与 3D 整合则加入了垂直堆叠，使逻辑与存储之间的耦合更加紧密，从而降低延迟与功耗。对 AI 工作负载而言，这一点至关重要：存储带宽往往是主要瓶颈，而先进封装能够实现单片裸片无法企及的带宽密度。MediaTek 在其 AI 计算系统中全面应用设计-技术协同优化（DTCO）与系统-技术协同优化（STCO），目标是将系统级单位功耗性能提升 100 倍，并将等效光罩系统尺寸有效提升 40 倍。

AI 模型训练是在海量数据集上训练大型语言模型或多模态模型的高计算密集型过程——它对存储带宽、持续高吞吐量以及长时间作业的容忍度都有极高要求。AI 推理则是将训练完成的模型部署投入使用，以大规模提供实时预测、决策或生成式输出——它更看重低延迟、高并发与能效表现。现代 AI 数据中心会同时运行这两种工作负载，通常针对各阶段采用不同的优化硬件。XPU 专为训练所需的高吞吐量而调优；DPU 负责网络与存储卸载管理；CPU 则处理编排与控制平面任务。MediaTek 设计的异构 AI 计算系统，针对训练与推理两个场景对存储层级架构、互连与封装进行协同优化，并针对推理中的预填充（prefill）与解码（decode）阶段采用差异化架构设计。

TOPS（每秒万亿次运算）衡量的是理论峰值吞吐量，但它忽略了功耗、存储带宽限制以及实际工作负载效率——因此难以准确反映 AI 数据中心的真实运营经济性。每瓦 Token 数衡量的是系统每消耗一瓦功率所能产出的有效 AI 输出量（生成的 Token 数、提供的预测结果数），这一指标与运营成本及机房容量直接挂钩。随着全球数据中心功耗持续攀升、超大规模云服务商逐渐触及电网供电上限，每瓦 Token 数已成为评估 AI 加速器与定制 ASIC 的核心基准指标。MediaTek 在其定制 XPU 与 AI 计算系统设计中，始终将能耗视为首要设计约束——从低电压电路设计、存内计算架构，到共封装光学与系统级供电方案——力求在机柜层级实现每瓦 Token 数的优化。

高带宽存储器（HBM）是与 AI 加速器及定制 ASIC 共同封装的堆叠式 DRAM，用于提供大型 AI 模型训练与推理所需的极高存储带宽。随着模型规模从数十亿参数增长至数万亿参数，「存储墙」——即计算吞吐量与存储带宽之间的差距——已成为 AI 系统中的主要性能瓶颈。HBM 通过先进的 2。5D/3D 封装技术，将宽接口存储裸片直接置于计算裸片之上或旁侧，从而在单一封装内实现每秒数太字节的带宽。MediaTek 设计专用的存储接口晶粒，将计算晶粒与 HBM 及其他存储技术（cHBM、LPDDR、SRAM）相连，并针对每一类工作负载对带宽、容量与延迟进行协同优化。展望未来，诸如 HBF（高带宽闪存）等新兴技术正在研发中，以支持前所未有的存储容量，实现大规模推理。

现成的通用 AI 芯片属于通用型加速器，旨在服务众多客户、覆盖多样化的工作负载——它们是针对中等水平的通用使用场景进行优化的，而非专门针对您特定的模型架构、部署规模或基础设施限制。MediaTek 的端到端方案则意味着将定制 ASIC 或 XPU、先进封装（2.5D/3.5D）、存储层级架构、高速互连、共封装光学、供电方案与机柜整合，作为一套统一的 AI 计算系统进行协同设计——所有环节均针对客户特定的模型、功耗预算与 TCO 目标定制。这种垂直整合模式，使 MediaTek 客户相较于通用商品化方案，能够实现更优的单位 TCO 性能与单位功耗性能，同时掌握自有平台架构，从而获得长期竞争优势。MediaTek 与正在就如何大规模训练与部署模型进行长期布局的超大规模云服务商、云服务提供商及 AI 平台企业展开合作。

面向 AI 基础设施的定制芯片，是指专为特定企业自身 AI 工作负载而设计的芯片与系统，而非作为标准商用产品购入。其范畴涵盖定制 ASIC（专用集成电路）、定制 XPU（加速处理器）、存储接口裸片、SerDes 芯粒以及光学集成方案——所有这些均被整合架构为一套完整的 AI 计算系统。以谷歌、Meta、亚马逊、微软为代表的超大规模云服务商引起了这一趋势，他们打造定制芯片，以在相当于数百万颗 GPU 的算力规模下优化训练与推理。企业级云服务提供商及 AI 原生企业也正日益跟进。这一趋势背后的驱动力在于经济性：当针对特定模型类别与部署环境进行设计时，定制芯片相较于现成方案，能够实现 2 至 5 倍的单位功耗性能与单位 TCO 性能提升。MediaTek 与晶圆厂合作，端到端设计并交付定制芯片解决方案——涵盖逻辑晶粒架构、先进封装、互连与机架整合等全流程。