AIデータセンターの「中身」であるGPU。土地・電力・建屋の議論も、最終的にはこの一枚のチップが求める電力と冷却に行き着きます。ここでは、開発検討に必要なGPUの基礎知識と、主要製品の公開スペックを一覧で整理します。
比較表を読む前に、スペック表に必ず登場する4つの言葉だけ押さえておきましょう。この4つが分かれば、GPUのニュースはほぼ読み解けます。
もともと画像処理用の半導体ですが、単純な計算を大量に並列処理する構造がAIの学習・推論に合致し、AIデータセンターの中核部品になりました。1基あたり数百万円〜数千万円クラスの、施設で最も高価な設備です。
GPUに直結した超高速メモリ（HBM）の容量が大きいほど、大きなAIモデルを1基で動かせます。近年の競争軸は演算速度よりむしろ「メモリをどれだけ積めるか」に移っており、容量と帯域（TB/s）が価格を左右します。
FP8・FP4は計算に使う数値の細かさ（精度）です。粗い精度ほど1秒あたりの計算回数（FLOPS）を稼げるため、最新GPUは低精度演算の性能を競っています。カタログの巨大な数字は「どの精度での値か」を必ず確認します。
TDPはGPU1基の最大消費電力の目安です。3世代で700W→1,000W→1,400Wとほぼ倍増し、最新世代は空冷では冷やしきれず液冷が事実上必須になりました。ここがデータセンター開発（受電容量・冷却方式）に直結します。
現在のAIデータセンターで採用が多いNVIDIA・AMDの主要7製品を、公開スペックで横並びにしました。表は横にスクロールできます。
| 項目 | NVIDIA H100SXM | NVIDIA H200SXM | NVIDIA B200SXM | NVIDIA B300Blackwell Ultra最新 | AMD MI300XOAM | AMD MI325XOAM | AMD MI355XOAM |
|---|---|---|---|---|---|---|---|
| アーキテクチャ | Hopper | Hopper | Blackwell | Blackwell Ultra | CDNA 3 | CDNA 3 | CDNA 4 |
| 出荷開始（目安） | 2022年後半 | 2024年 | 2024年末〜 | 2025年後半〜 | 2023年末 | 2024年末〜 | 2025年 |
| メモリ容量 | 80GBHBM3 | 141GBHBM3e | 192GBHBM3e | 288GBHBM3e（12段積層） | 192GBHBM3 | 256GBHBM3e | 288GBHBM3e |
| メモリ帯域 | 3.35TB/s | 4.8TB/s | 8TB/s | 8TB/s | 5.3TB/s | 6TB/s | 8TB/s |
| FP8演算（dense） | 約2.0 PF | 約2.0 PF | 約4.5 PF | 約4.5 PF | 約2.6 PF | 約2.6 PF | 約5.0 PF |
| FP4演算（dense） | 非対応 | 非対応 | 約9 PF | 約14〜15 PF | 非対応 | 非対応 | 約10 PF |
| 最大消費電力（TDP） | 700W | 700W | 1,000W | 1,400W | 750W | 1,000W | 1,400W |
| 冷却方式 | 空冷／液冷 | 空冷／液冷 | 液冷推奨 | 液冷必須 | 空冷可 | 空冷可 | 液冷必須 |
| GPU間接続 | NVLink4900GB/s | NVLink4900GB/s | NVLink51.8TB/s | NVLink51.8TB/s | Infinity Fabric | Infinity Fabric | Infinity Fabric153.6GB/s×7 |
| 主な位置づけ | 前世代の標準機。中古・レンタル流通が豊富 | H100のメモリ増強版。推論向け | 現行世代の主力。学習・推論とも | 推論特化の最上位。大規模モデルを1基で保持 | AMDの対抗軸。大容量メモリが強み | MI300Xのメモリ増強版 | AMD最新。B300と同じ288GB級 |
※ PF＝ペタフロップス（1秒あたり1,000兆回の演算）。演算性能はスパース（疎行列）加速を含まないdense値の概算です。メーカー公表値・公開資料に基づく参考値であり、SKU・構成により異なります。
NVIDIAの主力3世代（H100→B200→B300）を並べると、データセンター開発の前提条件がどれだけ短期間で書き換わったかが分かります。
3年でちょうど2倍。サーバー1台（GPU8基）なら電源系込みで14kW級に達し、従来型データセンターのラック（数kW）では収容できません。受電容量と冷却が開発の最初の論点になる理由がここにあります。
3年で3.6倍。大容量化により、これまで複数基に分割していた大規模AIモデルを少ない基数で動かせるようになりました。「何基必要か」の計算式そのものが世代ごとに変わる点に注意が必要です。
GPUのTDPに基数を掛け、サーバー・冷却・ネットワークの分を上乗せしたものが施設の必要電力の出発点です。B300クラスなら100基前後で冷却込み300kW〜が目安になり、逆算すれば「確保できる電力から搭載可能な基数」が決まります。
1,400W級のGPUは空冷では冷やせません。液冷（DLC・液浸など）は配管・熱交換・水源の設計を伴うため、後付けが難しく、施設計画の初期段階で織り込む必要があります。詳しくは冷却技術の基礎・比較をご覧ください。
主力GPUは1〜1.5年周期で世代交代し、レンタル単価は新世代登場とともに下落してきました。設備投資の回収計画は「現行単価が続く前提」ではなく、単価下落と残存価値を織り込んで組む必要があります。当プラットフォームの計算力指数で相場観を確認できます。
カタログの演算性能は、スパース（2:1疎行列）加速を含む値と含まないdense値が混在し、同じGPUでも2倍違って見えます。また精度（FP4かFP8か）が異なる数字同士は比較できません。提案書の数字は「精度」と「dense/sparse」の条件を必ず揃えて確認しましょう。
※ 本ページの数値はメーカー公表資料・公開情報に基づく参考値です（2026年時点）。製品のSKU・構成・ファームウェアにより実際の値は異なります。価格・レンタル相場は市況により大きく変動します。本ページは一般的な情報提供であり、特定製品の推奨や投資判断の助言ではありません。
どの世代を・何基・どの方式で載せるかは、電力・冷却・資金計画と一体で決まります。機種選定の段階からの相談も受け付けています。