Я создаю конвейер данных aws, используя архитектуру, представленную в веб-консоли aws.
Все настроено нормально, мой emrcluster настроен и успешно запущен.
Но когда я пытаюсь отправить действие emr, я сталкиваюсь со следующей проблемой:
в разделе шага действия emr мое требование состоит в том, чтобы предоставить --packages аргумент с 3 пакетами
Но, насколько я понимаю, шаги в emractivity - это значение, разделенное запятыми, и commas (,) заменяются пробелами в результирующем аргументе шага.
С другой стороны, аргумент --packages также является значением, разделенным запятыми, в случае нескольких пакетов.
Теперь, когда я пытаюсь передать это как аргумент, запятые заменяются пробелами, что делает шаг недействительным.
это оператор, который мне требовался, поскольку он находится в результирующем шаге emr:
--packages com.amazonaws:aws-java-sdk-s3:1.11.228,org.apache.hadoop:hadoop-aws:2.6.0,org.postgresql:postgresql:42.1.4
Любое решение, чтобы избежать запятой?
Пока я пробую способ \\\\, как указано в http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emractivity.html
Не работал.
