Spark java.io.IOException: в задании не указаны входные пути

У меня есть следующая ошибка:

java.io.IOException: No input paths specified in job

Когда я выполняю следующую строку:

val df = sqlContext.read.json("file://home/test.json")

Любые идеи?


json apache-spark scala ioerror
person Alessandro La Corte    schedule 05.05.2017    source источник
comment
как вы выполнили строку?   -  person sarveshseri    schedule 05.05.2017

Ответы (1)


arrow_upward
1
arrow_downward

Если вы хотите загрузить данные из локальной сети, используйте

sqlContext.read.json("file:///home/shankar/test.json")

или просто

sqlContext.read.json("/home/shankar/test.json")

будет работать

Если вы хотите загрузить файл из HDFS, используйте

sqlContext.read.json("hdfs:///user/shankar/test.json")

Надеюсь это поможет!

person koiralo    schedule 05.05.2017