Я пытаюсь отправить искровое задание в кластер AWS EMR с помощью консоли AWS. Но это не удается:
Cannot load main class from JAR. Задание выполняется успешно, когда я указываю основной класс как --class в опции Arguments в Консоль AWS EMR-> Добавить шаг.
На локальном компьютере задание работает отлично, если не указан основной класс, как показано ниже:
./spark-submit /home/astro/spark-programs/SpotEMR/MyJob.jar
Я установил для основного класса jar, используя конфигурацию запуска. Основная причина, по которой не следует передавать основной класс как --class, заключается в том, что я должен запустить это задание в AWS Datapipeline, используя EMRActivity. В AWS Datapipeline в настоящее время нет возможности указать основной класс для отправляемого задания.
Любая помощь будет оценена по достоинству.
