GPGPUとは？（GPU汎用計算）G検定対策

G検定トップ＞ GPGPUとは？（GPU汎用計算）G検定対策

まず結論

GPGPU（General-Purpose computing on Graphics Processing Units）とは、本来は画像処理を得意とするGPUを、行列演算や科学技術計算などの汎用計算に利用する考え方です。
G検定では、GPUはハードウェア、GPGPUはGPUの汎用的な使い方と切り分けます。

直感的な説明

CPUは、少人数の熟練者が複雑な仕事を順番に処理するイメージです。一方、GPUは、多数の作業者が同じ種類の計算を一斉に処理するイメージです。

深層学習では、

行列の掛け算
同じ形の積和演算
多数のデータに対する同種の計算

が繰り返されます。

このような処理は、多数の計算を並列に実行できるGPUと相性がよいため、学習や推論を高速化できます。

定義・仕組み

GPUは、画面描画のために大量の画素を並列処理する目的で発展したプロセッサです。 GPGPUでは、この並列計算能力を画像処理以外にも利用します。

なぜ深層学習で速いのか

ニューラルネットワークの学習では、順伝播と逆伝播の両方で大量の行列演算を行います。

順伝播：入力と重みの行列積から出力を計算
逆伝播：勾配を行列演算で計算
ミニバッチ：複数データをまとめて処理

これらを多数のコアで並列実行できるため、GPUは深層学習に向いています。

いつ使う？（得意・不得意）

得意な場面

深層学習の学習・推論
大規模な行列演算
画像・動画処理
科学技術計算
同じ処理を大量のデータへ適用する計算

不得意・注意点

条件分岐が多く、処理内容がばらばらな計算
逐次的に一つずつ進める必要がある処理
小さすぎる計算
CPUとGPUの間のデータ転送が多い処理
GPUメモリに収まらない大規模データ

GPUは常にCPUより速いわけではありません。並列化しにくい処理や、データ転送の負担が大きい処理では、CPUのほうが適する場合があります。

G検定ひっかけポイント

CPU・GPU・GPGPU

CPU：複雑な制御や逐次処理が得意な汎用プロセッサ
GPU：多数の単純な計算を並列実行するハードウェア
GPGPU：GPUを画像処理以外の汎用計算に使う考え方

「GPGPUはGPUの一種である」は誤りです。

GPUとTPU

GPU：画像処理から発展した並列計算向けプロセッサ
TPU：機械学習、特にテンソル演算を高速化するためにGoogleが開発した専用プロセッサ

どちらも機械学習を高速化できますが、成り立ちと目的が異なります。

CUDA・cuDNNとの違い

GPU：ハードウェア
GPGPU：GPUの利用方法
CUDA：GPU汎用計算のための開発基盤
cuDNN：深層学習向けの高速演算ライブラリ

試験での判断基準

GPUを画像処理以外へ利用 → GPGPU
多数の同種計算を同時実行 → GPUが得意
複雑な分岐や逐次処理 → CPUが得意
Googleの機械学習専用プロセッサ → TPU

まとめ（試験直前用）

GPGPUはGPUを汎用計算に利用する考え方
GPUは多数の同種計算を並列実行するのが得意
深層学習では行列演算が多いためGPUと相性がよい
GPUはハードウェア、CUDAは開発基盤、cuDNNはライブラリ
「画像処理以外にGPUを使う」ならGPGPU

🔗 関連記事

🏠 G検トップに戻る