最終更新日:2026年7月14日
gk linear_algebra machine_learning
まず結論
SVD(Singular Value Decomposition:特異値分解)とは、行列を3つの行列に分解し、特異値の大きい成分から重要な構造を取り出す手法です。
A = U Σ Vᵀ
G検定では、次の3点を押さえます。
| 判断対象 | SVDのポイント |
|---|---|
| 分解するもの | 正方行列に限らず、長方形の行列も扱える |
| 成分の重要度 | Σの対角成分である特異値で表す |
| 主な用途 | 次元削減、低ランク近似、ノイズ除去、推薦、潜在意味解析 |
「行列をU・Σ・Vᵀに分解する」「特異値の大きい成分を残す」ならSVDと判断します。
直感的な説明
ユーザーと商品の評価を並べた、大きな表を考えます。
表の数値は多くても、背後にある傾向は、
- アクション映画を好む傾向
- 家族向け作品を好む傾向
- 人気商品を高く評価する傾向
のような少数のパターンで説明できるかもしれません。
SVDは、大きな表を少数の重要なパターンへ分ける方法です。重要度の低い成分を省けば、元の情報をなるべく残しながら、行列を小さく近似できます。
この考え方が、次元削減や画像圧縮、推薦システムにつながります。
定義・仕組み
SVDでは、元の行列Aを次の3つに分解します。
| 行列 | 役割のイメージ |
|---|---|
| U | 行側の特徴を表す左特異ベクトル |
| Σ | 各成分の重要度を表す特異値 |
| Vᵀ | 列側の特徴を表す右特異ベクトル |
特異値は0以上の値で、通常は大きい順に並べます。大きい特異値ほど、元の行列の主要な構造を多く表します。
打切りSVDと低ランク近似
すべての特異値を使わず、大きいものだけを残す方法を打切りSVD(Truncated SVD)と呼びます。
| 残す成分 | 結果 |
|---|---|
| 大きい特異値 | 主要なパターンを残しやすい |
| 小さい特異値を省く | ノイズや細かな変動を減らしやすい |
少数の成分で元の行列を近似することを、低ランク近似といいます。
PCAとの関係
PCAは、データの分散が大きい方向を主成分として見つける次元削減手法です。中心化したデータ行列にSVDを適用すると、右特異ベクトルから主成分方向を求められます。
| 用語 | 中心となる役割 | 試験でのキーワード |
|---|---|---|
| PCA | 分散が大きい方向へ射影する | 主成分、分散最大化 |
| SVD | 行列を3つに分解する | 特異値、U・Σ・Vᵀ、低ランク近似 |
| 固有値分解 | 正方行列を固有値と固有ベクトルで分解する | 正方行列、固有値 |
PCAとSVDは関係が深いですが、同じ用語ではありません。PCAは分析の目的、SVDはその計算に利用できる行列分解と整理すると分かりやすいです。
いつ使う?(得意・不得意)
SVDは、行列に隠れた少数の主要パターンを取り出したいときに使います。
- 画像圧縮・ノイズ除去
- 推薦システムの行列分解
- 文書と単語の関係を扱う潜在意味解析(LSA)
- 次元削減
- PCAの計算
一方、SVDは線形な行列分解です。複雑な非線形構造の可視化が目的なら、t-SNEやUMAPなど別の手法を検討します。
また、SVD自体は分類器ではありません。ラベル付きデータからクラス境界を学習する手法とは切り分けます。
G検定ひっかけポイント
SVDとPCAは完全に同じ
誤りです。PCAは分散が大きい方向を求める次元削減手法で、SVDは行列分解です。PCAの計算にSVDを利用できます。
SVDは正方行列だけを扱う
誤りです。SVDは長方形の行列にも適用できます。正方行列という条件が強く出る場合は、固有値分解との混同に注意します。
特異値はクラスラベルである
誤りです。特異値は、分解された成分の重要度を表す値です。
小さい特異値ほど重要である
誤りです。一般には、大きい特異値ほど主要な構造を表します。打切りSVDでは、大きい特異値に対応する成分を優先して残します。
選択肢の判断基準
| 問題文の表現 | 疑う用語 |
|---|---|
| U・Σ・Vᵀに分解 | SVD |
| 特異値の大きい成分を残す | 打切りSVD |
| 分散最大化・主成分 | PCA |
| 正方行列・固有値 | 固有値分解 |
| 非線形な可視化 | t-SNE、UMAP |
まとめ(試験直前用)
- SVDは、行列をU・Σ・Vᵀに分解する
- 特異値は、各成分の重要度を表す
- 大きい特異値を残すと、低ランク近似や次元削減ができる
- PCAの計算に利用できるが、PCAとSVDは同じ用語ではない
- SVDは長方形の行列も扱える
「行列分解・特異値・重要成分」ならSVDです。
確認問題(G検定対策)
SVDの説明として、最も適切なものはどれか。
- ア. 正方行列だけを固有値と固有ベクトルに分解する手法である。
- イ. 行列をU・Σ・Vᵀに分解し、大きい特異値に対応する成分を残して近似できる。
- ウ. ラベル付きデータから分類境界を学習する手法である。
- エ. 非線形な近傍関係を二次元へ可視化する手法である。
▶ クリックして答えと解説を見る(ここを開く)
正解:イ
解説
- ア:固有値分解に近い説明です。SVDは長方形の行列にも適用できます。
- イ:適切です。特異値の大きい成分を残すことで低ランク近似ができます。
- ウ:教師あり分類の説明です。
- エ:t-SNEやUMAPに近い説明です。
判断ポイントは、U・Σ・Vᵀ、特異値、低ランク近似です。