最終更新日:2026年9月23日
gk neural_network
まず結論
3つは同じ意味ではありません。
- 事前学習(Pre-training):広いデータで再利用可能な表現・能力を学ぶ
- ファインチューニング(Fine-tuning):事前学習済みモデルの重みを目的タスク向けに更新する
- 転移学習(Transfer Learning):ある学習で得た知識を別のタスク・領域へ利用する広い考え方
特に、
転移学習=必ず「事前学習→全層Fine-tuning」の2段階
ではありません。
直感的な説明
学校でたとえると、
- 事前学習 → 基礎科目を広く学ぶ
- Fine-tuning → 特定試験向けに追加練習する
- 転移学習 → すでに身につけた知識を別の問題へ活かす
という関係です。
定義・仕組み
事前学習
大量または広いデータを使い、後で再利用できる特徴・表現・能力を獲得します。
例:
- ImageNetで事前学習した画像モデル
- 大規模テキストで事前学習した言語モデル
事前学習の学習目的は、モデルによって異なります。
ファインチューニング
事前学習済みモデルを目的タスクのデータで追加学習し、重みを更新します。
更新方法には、
- 全パラメータを更新
- 一部の層だけ更新
- Adapterなど追加パラメータだけ更新
などがあります。
転移学習
転移学習はさらに広い概念です。
事前学習済みモデルを、
- 特徴抽出器として固定利用
- Fine-tuning
- Adapter等のparameter-efficientな適応
などで別タスクへ利用できます。
したがって、Fine-tuningは転移学習の代表的方法の1つです。
いつ使う?(得意・不得意)
転移学習は、
- 目的タスクのデータが少ない
- 既存の大規模事前学習モデルがある
- 元タスクと目的タスクに共有できる知識がある
場合に有効です。
一方、元の学習と目的タスクが大きく異なると負の転移が起こる場合があります。
G検定ひっかけポイント
事前学習=転移学習?
❌ 同じ概念
⭕ 事前学習は知識を作る段階、転移学習はその知識を別用途へ活かす考え方
転移学習=必ずFine-tuning?
❌ 必ず元モデルの重みを更新する
⭕ 特徴抽出として固定利用する方法などもある
Fine-tuning=全層更新?
❌ すべての重みを必ず更新
⭕ 全層・一部・追加パラメータなど複数方式がある
まとめ(試験直前用)
- 事前学習=再利用する土台を学ぶ
- Fine-tuning=重みを更新して適応
- 転移学習=既存知識を別タスクへ活用する広い概念
- Fine-tuningは転移学習の一方法
- 全層更新は必須ではない
- 負の転移に注意