二重降下現象（Double Descent）とは？過学習との違い【G検定】

G検定トップ＞二重降下現象（Double Descent）とは？過学習との違い【G検定】

まず結論

二重降下現象（Double Descent）は、モデル容量などを増やしたとき、テスト誤差が「下がる → 上がる → 再び下がる」ことがある現象です。

G検定では、

複雑にしすぎれば必ず汎化性能が悪化し続ける、とは限らない

という点を押さえます。

古典的な説明では、モデルを複雑にすると、最初は性能が良くなりますが、複雑すぎると過学習してテスト誤差が増えるというU字型を考えます。

Double Descentでは、さらにモデル容量を増やすと、テスト誤差が再び下がる場合があるという挙動を扱います。

モデル容量を増やす

テスト誤差
  ↓ 改善
  ↑ 一度悪化
  ↓ 再び改善することがある

代表的には、モデルが訓練データをほぼ完全に当てられるようになる補間しきい値（interpolation threshold）付近でテスト誤差が大きくなり、その後、さらに過剰パラメータ化すると再び下がる場合があります。

Double Descentは、モデル容量だけでなく、学習時間やデータ量との関係として議論されることもあります。

重要なのは、「深いニューラルネットワークだけで起きる固有現象」と限定しないことです。ニューラルネットワークで注目されましたが、二重降下に似た挙動は他のモデル設定でも研究されています。

Double Descentは、モデルの複雑さと汎化性能の関係を考えるときに使う概念です。

比較すると、

という違いがあります。

すべてのモデル・データで必ず二重降下が起こるわけではありません。

誤りです。深層学習で重要な話題ですが、深層学習だけに限定された定義ではありません。

誤りです。Double Descentは、性能が単調に改善するという意味ではありません。

同じではありません。