«Оптимальная» инициализация переменных и скорость обучения в Tensorflow для матричной факторизации

Я пытаюсь очень простая оптимизация в Tensorflow – проблема матричной факторизации. Для матрицы V (m X n) разложим ее на W (m X r) и H (r X n) . Я беру на себя основанную на градиентном смене платформу, основанную на тензорном потоке, для матричной факторизации.

Подробная информация о матрице V. В ее первоначальном виде гистограмма записей будет выглядеть следующим образом:

• как установить tensorflow на anaconda python 3.6
• Tensorflow: как создать образ стиля Pascal VOC
• В TensorFlow, как я могу получить ненулевые значения и их индексы от тензора с помощью python?

Чтобы ввести записи по шкале от [0, 1], я выполняю следующую предварительную обработку.

 f(x) = f(x)-min(V)/(max(V)-min(V)) 

После нормализации гистограмма данных будет выглядеть следующим образом:

Мои вопросы:

1. Учитывая характер данных: между 0 и 1 и большинством записей ближе к 0, чем 1, что было бы оптимальной инициализацией для W и H ?
2. Как следует определять уровни обучения на основе различной функции затрат: |A-WH|_F и |(A-WH)/A| ?

Минимальный рабочий пример будет следующим:

 import tensorflow as tf import numpy as np import pandas as pd V_df = pd.DataFrame([[3, 4, 5, 2], [4, 4, 3, 3], [5, 5, 4, 4]], dtype=np.float32).T 

Таким образом, V_df выглядит так:

  0 1 2 0 3.0 4.0 5.0 1 4.0 4.0 5.0 2 5.0 3.0 4.0 3 2.0 3.0 4.0 

Теперь код, определяющий W, H

 V = tf.constant(V_df.values) shape = V_df.shape rank = 2 #latent factors initializer = tf.random_normal_initializer(mean=V_df.mean().mean()/5,stddev=0.1 ) #initializer = tf.random_uniform_initializer(maxval=V_df.max().max()) H = tf.get_variable("H", [rank, shape[1]], initializer=initializer) W = tf.get_variable(name="W", shape=[shape[0], rank], initializer=initializer) WH = tf.matmul(W, H) 

Определение стоимости и оптимизатора:

 f_norm = tf.reduce_sum(tf.pow(V - WH, 2)) lr = 0.01 optimize = tf.train.AdagradOptimizer(lr).minimize(f_norm) 

Запуск сеанса:

 max_iter=10000 display_step = 50 with tf.Session() as sess: sess.run(tf.global_variables_initializer()) for i in xrange(max_iter): loss, _ = sess.run([f_norm, optimize]) if i%display_step==0: print loss, i W_out = sess.run(W) H_out = sess.run(H) WH_out = sess.run(WH) 

Я понял, что когда я использовал что-то вроде initializer = tf.random_uniform_initializer(maxval=V_df.max().max()) , я получил матрицы W и H, чтобы их произведение было намного больше V. Я также понял, что сохранение скорости обучения ( lr ) был 0,0001, вероятно, слишком медленным.

Мне было интересно, существуют ли какие-либо эмпирические правила для определения хороших инициализаций и скорости обучения для проблемы матричной факторизации.