Как развернуть Spark, чтобы он мог максимально использовать ресурсы

У меня 10 серверов (16 ГБ памяти, 8 ядер) и я хочу развернуть Hadoop и Spark, можете ли вы сказать мне, какой план может обеспечить максимальное использование ресурсов?

  1. немедленное развертывание;

  2. установить Openstack, развернуть среду на виртуальную машину;

  3. использование Docker, например Spark в Docker;

Я знаю использование ресурсов, связанное со сценарием использования, на самом деле я хочу знать преимущества и недостатки трех вышеперечисленных планов.

Спасибо.


docker apache-spark hadoop openstack apache-cloudstack
person gudaoxuri    schedule 07.10.2014    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Для максимального использования ресурсов развертывание единого диспетчера ресурсов как для Spark, так и для Hadoop будет лучшим способом. Для этого есть два варианта:

  • Развертывание кластера Hadoop с использованием YARN, поскольку Spark может работать на YARN.
  • Развертывание кластера Apache Mesos и запуск на нем задания Hadoop и Spark.

Изоляция кластера Spark и кластера Hadoop не дает никаких преимуществ по сравнению с этим и приведет к увеличению накладных расходов и снижению использования ресурсов.

person Jihun    schedule 07.10.2014