CPUの場合は、2つのCPUチップが使われている場合でも、これらのCPUは共通のメモリをアクセスし、一方のCPUが書き込んだ結果を他方のCPUが読み出すことができる。これに対して、一方がCPUで、もう一方がGPUの場合は、次の図の左側の絵のように、CPUはシステム ...

それは、x86 CPUの1ページは4KBであるのに対して、NVIDIAのGPUの1ページは8KBであったからである。前の例のように、GPUにあるページをCPUに移す場合はGPU側のページテーブルエントリをInvalidに変えれば、その8KBページへのGPUのアクセスを禁止することができる。

この影響で、メモリメーカー各社はAIチップ用のHBM製造へ生産リソースを重点的に振り向けており、DDR4/DDR5など従来型メモリの供給が徐々に細っています。特に Micronが消費者向けCrucialブランドの終了を発表 した際は大きなニュースとなりました。このサーバー優先の方針が続く限り、レガシーDRAMの生産縮小と価格高騰は避けられない状況です。

当社は、このほど、世界的なGPU不足に対応するため、高い実行効率が見込める処理に対してリアルタイムにGPUを割り振る当社独自のアダプティブGPUアロケーター技術と、各種AI処理の最適化技術を統合したミドルウェア技術「AI computing broker（以下、ACB技術 ...

GMOインターネットグループの、GMOインターネット株式会社（代表取締役 社長執行役員：伊藤 正以下、GMOインターネット ...

自社サーバでLLM（大規模言語モデル）を運用することには、セキュリティやパフォーマンスなどの面で複数のメリットがある。ただし適切なハードウェアを整えるのは容易ではない。GPUは決して安い製品ではないため、過剰なスペックを避けたいところだが ...

AMDは2023年6月13日に、AIに用いられる大規模言語モデルのトレーニング用に設計されたアクセラレータ「AMD Instinct MI300X」を発表しました。MI300XはCPUタイルとGPUタイルの組み合わせではなく、GPUタイルのみを使用して最大192GBのHBM3メモリをサポートしています。