MediaTek
データセンター・ソリューション

XPUは、大規模なAIモデルの学習や推論（サービング）に伴う膨大な並列演算処理のニーズに対応するために専用設計された、AIアクセラレータの一種です。汎用的な逐次処理に最適化されたCPUや、本来グラフィックス処理用に設計されたGPUとは異なり、XPUはAIワークロードのためにゼロから設計されています。具体的には、テンソル演算、行列演算、スパース（疎行列）演算におけるスループットを最大化するよう最適化されています。現代のAIデータセンターにおいて、XPUはAI演算システムの中核を担います。CPUやDPUと連携するヘテロジニアス（異種混在）アーキテクチャの中で、各プロセッサがAIライフサイクルの各段階において最も効率的な処理を分担する仕組みとなっています。MediaTekは、高度なパッケージング技術、広帯域メモリ（HBM）、インターコネクトと統合的に最適化されたカスタムXPUを設計し、単一のシステムとして提供しています。

AI向けカスタムASIC（特定用途向け集積回路）とは、既製のシリコン製品を利用するのではなく、特定の企業のモデルアーキテクチャ、ワークロード特性、インフラ上の制約に合わせてゼロから設計されたチップのことです。ハイパースケーラーやクラウドサービスプロバイダーがカスタムASICsを開発するのは、アーキテクチャを自社で制御し、ワットあたりの性能やTCO（総所有コスト）あたりの性能を最適化するとともに、汎用ハードウェアに伴う非効率性を回避するためです。MediaTekはこうした顧客と連携し、ロジックダイの設計やメモリインターフェースのアーキテクチャから、最先端の2.5D/3.5Dパッケージング、ラックレベルの統合に至るまで、カスタムASICsやXPUの設計・開発をエンドツーエンドで支援しています。その結果生み出されるのは、大規模運用時における「ワットあたりのトークン数」や「コストあたりのトークン数」といった重要な指標において、汎用的なソリューションを凌駕する、特定のワークロードに最適化されたコンピュートエンジンです。

AIコンピュートシステムとは、大規模なAIモデルの学習や、膨大な量のAI推論を大規模に実行するための包括的なハードウェアスタックであり、単なる単一のチップの枠をはるかに超えるものです。その中核となるのはXPU（AIアクセラレータ）ですが、その周囲には完全なファブリックが構築されています。これには、異なるワークロードのフェーズに合わせて最適化されたヘテロジニアス・コンピュート（CPU、DPU、XPU）、高い帯域幅とビットあたりの低消費電力を維持するスケールアップ・インターコネクト（オンパッケージのダイ間リンク）、そして帯域幅・到達距離・効率を重視して構築されたスケールアウト・インターコネクト（ラックおよびデータセンターレベルのファブリック）が含まれます。また、データ移動に伴うエネルギー消費を抑えるため、HBM、cHBM、LPDDR、SRAMといったメモリがコンピュート機能と同一パッケージ内に統合されています。さらに、高度なパッケージング技術（2.5D、3.5D、ウェーハレベル）を用いることで、これら多種多様なコンポーネントが統合され、一つの有機的なエンジンとして機能します。MediaTekは、すべての要素が相互に最適化されたAIコンピュートシステムを設計しており、ラックを単なる部品の集合体ではなく、戦略的な資産へと変革しています。

CPOは、光トランシーバーを別のラインカードに配置するのではなく、光エンジンをチップパッケージ内（通常は演算用ダイや広帯域メモリと同じシリコンインターポーザまたは基板上）に直接統合する技術です。ラックや列（ロウ）間で膨大なデータを低遅延かつ低消費電力で転送するスケールアウト・ネットワーキングが求められるAIデータセンターにおいて、CPOは従来のプラグイン型光モジュールと比較して、ビットあたりのエネルギー消費と信号損失を劇的に低減します。AIクラスターの規模が数百から数万のXPUへと拡大するにつれ、インターコネクトの消費電力と帯域幅密度が最優先の制約事項となりますが、その有力な解決策としてCPOが台頭しています。MediaTekは、顧客ごとのI/Oおよびシステムレベルの接続要件に応じて、インターポーザベースや標準的なパッケージング手法を用い、同社のAI演算システム設計にCPOを組み込んでいます。

2.5Dや3.5Dといったアドバンスド・パッケージング技術を活用することで、AIチップの設計者は単一ダイ（半導体チップ）が抱える物理的な制約を克服できます。具体的には、演算用ダイ、メモリインターフェース用ダイ、HBMスタック、SerDes、光エンジンなどの複数のチップレットを1つのパッケージに統合し、それらを単一のシステムとして機能させることが可能になります。2.5Dパッケージングでは、各コンポーネントをシリコンインターポーザ上に並べて配置することで、パッケージ内部で極めて高いメモリ帯域幅を実現します。一方、3.5Dや3Dの統合技術では垂直方向の積層を取り入れ、ロジックとメモリ間の結合を強化することで、レイテンシの低減と消費電力の抑制を図ります。これはAIワークロードにおいて極めて重要です。多くの場合、メモリ帯域幅が最大のボトルネックとなりますが、アドバンスド・パッケージングを用いれば、モノリシック（単一）ダイでは実現不可能なレベルの帯域幅密度を達成できるからです。MediaTekは、同社のAI演算システム全体にDTCO（設計・技術の協調最適化）およびSTCO（システム・技術の協調最適化）を適用しています。その目標は、システムレベルでのワット当たり性能を100倍に向上させるとともに、レチクル（露光用マスク）サイズの制約を超えて、実質的に40倍のシステム規模を実現することにあります。

AIモデルのトレーニングとは、大規模なデータセットを用いて、大規模な言語モデルやマルチモーダルモデルを学習させる、計算負荷の高いプロセスです。そのため、極めて高いメモリ帯域幅、高い持続的なスループット、そして長時間の処理に耐える能力が求められます。一方、AI推論とは、学習済みのモデルをリアルタイムの予測、意思決定、あるいは生成出力に大規模に展開するプロセスです。ここでは、低レイテンシ、高並列処理、そしてエネルギー効率が最優先事項となります。最新のAIデータセンターでは、これらのワークロードを両方実行しており、多くの場合、それぞれのフェーズに最適化された異なるハードウェア上で動作します。XPUはトレーニングの高スループット要求に合わせて調整され、DPUはネットワークとストレージのオフロードを管理し、CPUはオーケストレーションと制御プレーンのタスクを処理します。MediaTekは、トレーニングと推論の両方に対応するようメモリ階層、相互接続、パッケージングを最適化した、異種混在型のAIコンピューティングシステムを設計しています。これには、推論のプリフィル段階とデコード段階に対応した、差別化されたアーキテクチャも含まれます。

TOPS（Tera Operations Per Second：1秒あたりのテラ演算数）は理論上の最大処理能力を測定するものですが、消費電力、メモリ帯域幅の制約、実際のワークロードにおける効率などを考慮していません。そのため、AIデータセンターの実際の経済性を評価する指標としては不十分です。一方、「ワットあたりのトークン数」は、消費電力1ワットあたりにシステムがどれだけの有用なAI出力（生成されたトークンや提供された予測結果など）を生み出せるかを測定するものであり、運用コストや施設の処理能力に直結します。世界的にデータセンターの消費電力が増大し、ハイパースケーラー（大規模クラウド事業者）が電力網の供給能力の限界に直面する中、「ワットあたりのトークン数」は、AIアクセラレータやカスタムASICsを評価する上で決定的なベンチマークとなっています。MediaTekは、ラックレベルでの「ワットあたりのトークン数」を最大化するため、低電圧回路設計や「インメモリ・コンピューティング（CiM）」アーキテクチャから、コパッケージド・オプティクス（CPO）、システムレベルの電力供給に至るまで、カスタムXPUやAI演算システムの設計全体において、エネルギー効率を最優先の設計制約事項として位置づけています。

HBM（High Bandwidth Memory）は、大規模なAIモデルの学習や推論に求められる極めて高いメモリ帯域幅を実現するために、AIアクセラレータやカスタムASICと同一パッケージ内に統合（コパッケージ）される積層型DRAMです。モデルの規模が数十億から数兆パラメータへと拡大するにつれ、演算スループットとメモリ帯域幅の間のギャップ、いわゆる「メモリの壁（memory wall）」が、AIシステムにおける性能上の最大の制約要因となっています。HBMは、高度な2.5D/3Dパッケージング技術を用いて、広帯域インターフェースを備えたメモリダイを演算ダイの直上または隣接する位置に配置することでこの課題を解決し、パッケージあたり毎秒数テラバイトという帯域幅を実現しています。MediaTekは、演算ダイとHBMやその他のメモリ技術（cHBM、LPDDR、SRAMなど）を接続する専用のメモリインターフェースダイを設計し、各ワークロードの特性に合わせて帯域幅、容量、レイテンシを最適化しています。さらに今後は、HBF（High Bandwidth Flash）のような新たな技術の設計も進められており、これによって、かつてない大容量メモリを活用した大規模な推論の実現が期待されています。

既製のAIチップは、多種多様なワークロードを抱える多くの顧客に対応するために設計された汎用アクセラレータです。これらは特定のモデルアーキテクチャ、システム規模、インフラの制約に合わせて最適化されているわけではなく、あくまで「平均的な」ユースケース向けに最適化されています。一方、MediaTekのエンドツーエンド・アプローチでは、カスタムASICやXPU、高度なパッケージング（2.5D/3.5D）、メモリ階層、高速インターコネクト、コパッケージ・オプティクス、電力供給、ラック統合といった要素を、単一のAIコンピュート・システムとして共同設計します。これらすべてが、顧客固有のモデル、電力予算、TCO（総所有コスト）目標に合わせて最適化されるのです。このような垂直統合により、顧客は汎用的なソリューションと比較して優れた「TCOあたりの性能」や「ワットあたりの性能」を実現できるだけでなく、独自のプラットフォーム・アーキテクチャを保有することで、長期的な競争優位性を確保できます。MediaTekは、大規模なモデルの学習や推論（サービング）のあり方に長期的な投資を行っているハイパースケーラー、クラウドサービスプロバイダー、AIプラットフォーム企業とパートナーシップを組んでいます。

AIインフラ向けのカスタムシリコンとは、汎用的な市販製品を購入するのではなく、特定の企業のAIワークロードに合わせて独自に設計されたチップやシステムを指します。その範囲は、カスタムASIC（特定用途向け集積回路）やカスタムXPU（アクセラレータ・プロセッサ）から、メモリインターフェース・ダイ、SerDesチップレット、光統合技術に至るまで多岐にわたり、これらが統合されて完全なAI演算システムとして構築されます。Google、Meta、Amazon、Microsoftといったハイパースケーラーがこのトレンドを主導し、数百万基のGPUに匹敵する規模での学習や推論を最適化するためにカスタムシリコンを開発してきました。現在では、エンタープライズ向けクラウドプロバイダーやAIネイティブ企業もこれに追随する動きを強めています。その原動力となっているのは経済性です。特定のモデルクラスや導入環境に合わせて設計されたカスタムシリコンは、既製品（オフ・ザ・シェルフ製品）と比較して、ワットあたりの性能やTCO（総所有コスト）あたりの性能において2〜5倍の効率を実現できるからです。MediaTekは、主要なファウンドリと提携し、ロジックダイのアーキテクチャから、高度なパッケージング、インターコネクト、ラックへの統合に至るまで、カスタムシリコン・ソリューションをエンドツーエンドで設計・提供しています。