Hadoop в кластере Maui+Torque

Это может быть хорошим местом для начала:

http://hadoop.apache.org/docs/r0.18.3/hod.html

Я не работал с этим лично, но я слышал, что это не поддерживается активно.

Из того, что я видел, у Hadoop есть собственный планировщик, который ожидает, что набор узлов Hadoop будет работать там, где находится файловая система Hadoop. Обычно это постоянная среда, поэтому вы можете загрузить файловую систему один раз (большие данные) и назначить свою работу узлу, который содержит копию необходимых вам данных. Torque берет любой набор свободных узлов из кластера, назначает их заданию, запускает задание, а затем очищает среду для следующего задания. Это противоречит дизайну Hadoop.

Я вижу, что было бы хорошо иметь среду, которая могла бы сделать и то, и другое, чтобы полностью использовать системы, которые у вас уже есть, но управление будет в лучшем случае беспорядочным.