Как создать пользовательскую целевую функцию в Keras?

Вот мой небольшой фрагмент, чтобы написать новые функции потерь и проверить их перед использованием:

 import numpy as np from keras import objectives from keras import backend as K _EPSILON = K.epsilon() def _loss_tensor(y_true, y_pred): y_pred = K.clip(y_pred, _EPSILON, 1.0-_EPSILON) out = -(y_true * K.log(y_pred) + (1.0 - y_true) * K.log(1.0 - y_pred)) return K.mean(out, axis=-1) def _loss_np(y_true, y_pred): y_pred = np.clip(y_pred, _EPSILON, 1.0-_EPSILON) out = -(y_true * np.log(y_pred) + (1.0 - y_true) * np.log(1.0 - y_pred)) return np.mean(out, axis=-1) def check_loss(_shape): if _shape == '2d': shape = (6, 7) elif _shape == '3d': shape = (5, 6, 7) elif _shape == '4d': shape = (8, 5, 6, 7) elif _shape == '5d': shape = (9, 8, 5, 6, 7) y_a = np.random.random(shape) y_b = np.random.random(shape) out1 = K.eval(_loss_tensor(K.variable(y_a), K.variable(y_b))) out2 = _loss_np(y_a, y_b) assert out1.shape == out2.shape assert out1.shape == shape[:-1] print np.linalg.norm(out1) print np.linalg.norm(out2) print np.linalg.norm(out1-out2) def test_loss(): shape_list = ['2d', '3d', '4d', '5d'] for _shape in shape_list: check_loss(_shape) print '======================' if __name__ == '__main__': test_loss() 

Здесь, как вы можете видеть, я тестирую потерю binary_crossentropy и имею две отдельные потери, одну версию numpy (_loss_np), другую версию тензора (_loss_tensor) [Примечание: если вы просто используете функции keras, то он будет работать как с Theano, так и с Tensorflow … но если вы зависите от одного из них, вы также можете ссылаться на них по K.theano.tensor.function или K.tf.function]

Позже я сравниваю выходные формы и норму L2 выходов (которые должны быть почти равны) и норма L2 разницы (которая должна быть в направлении 0)

Как только вы убедитесь, что ваша функция потерь работает правильно, вы можете использовать ее как:

 model.compile(loss=_loss_tensor, optimizer=sgd) 

Фактически вы можете получить убыток от класса обратных вызовов:

 class LossHistory(keras.callbacks.Callback): def on_train_begin(self, logs={}): self.losses = [] def on_epoch_end(self, batch, logs={}): self.losses.append(logs.get('loss')) 

Затем разработайте свою модель:

 model = Sequential() model.add(Dense(20, input_dim=2, init='uniform')) model.add(Activation('tanh')) model.add(Dropout(0.5)) model.add(Dense(2, init='uniform')) model.add(Activation('softmax')) sgd = SGD(lr=0.01, decay=1e-6, momentum=0.97, nesterov=True) model.compile(loss='categorical_crossentropy', optimizer=sgd,metrics=['accuracy']) history=LossHistory() model.fit(X_train, y_train,nb_epoch=200,batch_size=16,callbacks=[history])