はじめに
少し前に試した
Fréchet Inception Distance (FID)ですが、
[1]によると、サンプル数依存性があるとのことです。今回は、本当にサンプル数依存性、つまり、距離計算に使う画像の数にFIDが影響を受けるのか確認してみます。
実験
例によって、手書き数字のMNISTで試してみます。訓練用の画像とテスト用の画像の距離を計算します。結果は、下表のようになりました。訓練用の画像の数とテスト用の画像の数は同じで、それぞれ表の通りの数を先頭から順に選んでいます。
| # of images | FID |
|---|
| 3000 | 7.05 |
| 4000 | 5.51 |
| 5000 | 4.73 |
| 6000 | 3.76 |
| 7000 | 2.87 |
| 8000 | 2.26 |
| 9000 | 1.96 |
| 10000 | 1.63 |
減ってる！
グラフにしてみると、
となりました。
まとめ
というわけで、
[1]のFigure 1 (b)と同じような結果が得られました。画像集合間の近さをFIDで比較するときは、数をあわせましょう。
参考文献
[1] Mikołaj Bińkowski, Dougal J. Sutherland, Michael Arbel, Arthur Gretton, "Demystifying MMD GANs," 2018,
https://arxiv.org/abs/1801.01401
