Мой код 1st извлекает данные с помощью регулярного выражения и записывает эти данные в текстовый файл (строковый формат). Затем я попытался создать фрейм данных из содержимого текстового файла, чтобы у меня были отдельные столбцы, что привело к...

Я использую spark 2.0.0 для запроса таблицы кустов: мой sql: select * from app.abtestmsg_v limit 10 Да, я хочу получить первые 10 записей из представления app.abtestmsg_v . Когда я запускаю этот sql в spark-shell, он работает очень...

Я понимаю, что если у меня есть фрейм данных, если я кэширую его () и запускаю действие, подобное df.take(1) или df.count (), он должен вычислять фрейм данных и сохранять его в памяти, и всякий раз, когда этот кешированный фрейм данных вызывается в...

У меня есть список переменных, который содержит имена столбцов. Я пытаюсь использовать это для вызова orderBy в кадре данных. val l = List("COL1", "COL2") df.orderBy(l.mkString(",")) Но mkstring объединяет имена столбцов в одну строку, что...