Возможно ли получить значение целевой функции на каждом этапе обучения?

Просто добавьте train_op в список узлов, подлежащих оценке.

 o, a, _ = sess.run([objective, accuracy, train_op], feed_dict = feed_dict) 

Что касается этапа обучения и его порядка в оценке, я сделал следующий небольшой эксперимент:

 import tensorflow as tf x = tf.Variable(0, dtype=tf.float32) loss = tf.nn.l2_loss(x-1) train_opt = tf.train.GradientDescentOptimizer(1) train_op = train_opt.minimize(loss) init_op = tf.global_variables_initializer() sess = tf.Session() sess.run(init_op) x_val, _, loss_val = sess.run([x, train_op, loss]) # returns x_val = 1.0, loss_val = 0.5 

Ситуация более смущена, чем я изначально думал. Кажется, что данное x_val состоит в том, что порядок выполнения выборки не зависит от их соответствующей позиции в списке: x_val и loss_val будут одинаковыми независимо от их положения в списке.

Однако, как заметил @MaxB, их исполнение не гарантировано. При запуске вышеуказанного кода на графическом процессоре x_val устанавливается на 0.0, начальное значение. Однако при запуске на CPU x_val равен 1.0, то есть после обновления с train_op .

Такое поведение, зависящее от конфигурации, может быть ограничено переменными, обновляемыми с помощью тренировочных операций, как показывает приведенный выше эксперимент, но их гарантия не вытекает из документации tf.

Вы можете предоставить столько опций, сколько хотите в sess.run . В вашем случае вы используете objective и accuracy . Добавьте свой train_op . Результаты этого не нужны, поэтому вы можете использовать _ . В основном:

 o, a, _ = sess.run([objective, accuracy, train_op], feed_dict = feed_dict) 

PS относительно вашего комментария, sess.run не будет запускать график 3 раза. Кроме того, он не обязательно будет даже запускать график один раз. Он будет определять все операционные системы, которые должны быть оценены, чтобы оценить 3 вещи, которые вы предоставили, и запустите все эти операционные системы (таким образом, один раз подграфом)

Я решил проблему, используя tf.control_dependencies с дублирующей переменной loss_after_train_op для loss переменной. Я основывался на ответе @ user1735003.

Например, если вам интересно узнать значение после того, как train_op «выполнит», вы можете добавить этот код к определению модели:

 with tf.control_dependencies([train_op]): loss_after_train_op = tf.nn.l2_loss(x - 1) 

Затем, если вы просто упомянете loss_after_train_op в вызове run , он даст ожидаемый результат.

И нет, вы не можете просто повторно использовать loss снова, потому что тогда вы бы переопределили это. Напомним, что train_op уже привязан к предыдущей переменной loss , поэтому вы потеряли бы эту переменную.

Я также включаю демонстрацию:

 import tensorflow as tf x = tf.Variable(0, dtype=tf.float32) train_opt = tf.train.GradientDescentOptimizer(1) init_op = tf.global_variables_initializer() loss = tf.nn.l2_loss(x - 1) train_op = train_opt.minimize(loss) with tf.control_dependencies([train_op]): loss_after_train_op = tf.nn.l2_loss(x - 1) sess = tf.Session() sess.run(init_op) loss_val_1 = sess.run(loss) print loss_val_1 x_val, _, loss_val, loss_after_train_op_val = sess.run([x, train_op, loss, loss_after_train_op]) print x_val, loss_val, loss_after_train_op_val 

Выход

 $ python test_control_dependencies.py 0.5 1.0 0.5 0.0 $