ニューラルネットワークで正弦波にフィット

ニューラルネットワークを使って、正弦波のデータ\(y=\sin(fx)\)にノイズをのせた、\(y=\sin(fx)+n\) (\(n\)がノイズ)からサンプルしたデータにフィッティングをして、\(y=\sin(fx)\)を学習できるか試してみました。\(f\)は周波数の大小を表します。

モデルは、直線フィッティングのときと同じです。

学習データを[-10,10)の範囲で一様乱数で10000サンプルとって、100エポック学習しました。 学習できたモデルの出力は\(f\)の値ごとに下図のようになりました。横軸がx、縦軸がyです。 薄い水色の線は、ノイズを加える前の学習データの生成に使った正弦波です。紺色の線が、学習したニューラルネットワークが生成した曲線です。

\(f=0.5\)

\(f=1\)

\(f=2\)

\(f=4\)

\(f=8\)

\(f=16\)

\(f=0.5\)や\(f=1\)はともかく、それ以降はフィットできていません。特に\(f=4\)以降は完全に崩れています。\(f=16\)では、そもそも周波数が高すぎて、図では元の正弦波がつぶれてしまっています。きちんとフィットさせるためにはニューラルネットワークをもう少し工夫する必要があることが分かりました。

\(f=4\)のときの学習データに使ったデータの生成と同じ条件で、ただし乱数違いで生成したデータをプロットしたものが下図です。横軸の範囲が異なることに注意してください。

\(f=4\) sampled with noise

まだ正弦波を見て取れるのですが、今回使ったニューラルネットワークでは難しいようです。

同様に、\(f=16\)のときの学習データに使ったデータの生成と同じ条件で、ただし乱数違いで生成したデータをプロットしたものが下図です。一応、正弦波の名残は残っていますが、元が正弦波とは言いがたいです。

\(f=16\) sampled with noise

今回の実験のモデルの学習時に使ったコードは以下です。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44

# This script trains a neural network model using MNIST. import keras, os, math import numpy as np from keras.models import Sequential from keras.layers import Dense, Activation TRAIN_EPOCH = 100 def approx_model(): model = Sequential() model.add(Dense(32, input_shape=(1,))) model.add(Activation('tanh')) model.add(Dense(32)) model.add(Activation('tanh')) model.add(Dense(1)) print(model.summary()) return model def sine_dist(freq): xd = np.random.rand(10000,)*20-10 yd = [math.sin(x*freq)+np.random.normal(0, 1) for x in xd] return xd, yd if __name__ == '__main__': if not os.path.exists("models"): os.mkdir("models") # Make a model model = approx_model() opt = keras.optimizers.Adamax(lr=0.002, beta_1=0.9, beta_2=0.999, epsilon=1e-08, decay=1e-4) model.compile(optimizer=opt, loss='mean_squared_error') model.save_weights("initial-weights.hdf5") for freq in [0.5, 1, 2, 4, 8, 16]: # Make data for training and validation x_train, y_train = sine_dist(freq) x_val, y_val = sine_dist(freq) # Train and save a model model.load_weights("initial-weights.hdf5") model.fit(x_train, y_train, validation_data=(x_val, y_val), epochs=TRAIN_EPOCH, batch_size=32) model.save("models/sine-{0}.hdf5".format(freq))

グラフの描画に使ったコードは以下です(\(f=1\)の場合)。

1 2 3 4 5 6 7 8 9 10 11 12

%matplotlib inline import keras, math import matplotlib.pyplot as plt import numpy as np x = np.arange(-30, 30, 0.001) model = keras.models.load_model('models/sine-1.hdf5') y = model.predict(x) yc = np.array([math.sin(xi*1) for xi in x]) plt.grid() plt.plot(x, yc, color='lightblue') plt.plot(x, y, color='midnightblue') plt.show()