Python: увеличение значения тайм-аута в EMR с использованием лепестков MRJOB

В прошлом я рассматривал аналогичную проблему с EMR, свойство, которое вы ищете mapred.task.timeout которое соответствует количеству миллисекунд до того, как задача будет прекращена, если она не будет mapred.task.timeout ввод, не записывать вывод, ни обновляет строку состояния .

С помощью MRJob вы можете добавить следующий вариант:

 --jobconf mapred.task.timeout=1800000 

EDIT : Похоже, что некоторые AMI AMI появляются, не поддерживают параметры настройки, такие как timeout with jobconf во время выполнения. Вместо этого вы должны использовать конфигурацию Bootstrap-time следующим образом:

 --bootstrap-action="s3://elasticmapreduce/bootstrap-actions/configure-hadoop -m mapred.task.timeout=1800000" 

Я бы все же попробовал первый, с чего начать, и посмотрим, сможете ли вы заставить его работать, иначе попробуйте выполнить загрузку.

Чтобы запустить любой из этих параметров, просто создайте свою работу, начиная с MRJob , этот класс имеет метод jobconf который будет читать ваши параметры --jobconf , поэтому вы должны указать их как обычные параметры в командной строке:

 python job.py --num-ec2-instances 42 --python-archive t.tar.gz -r emr --jobconf mapred.task.timeout=1800000 /path/to/input.txt