Вопросы по теме 'mapreduce'

Cassandra setInputSplitSize не работает должным образом
Я использую Hadoop + Cassandra. Я использую setInputSplitSize(1000), чтобы не перегружать мапперы (и получать из кучи), по умолчанию это 64 КБ. Все вместе у меня есть только 2M строк для обработки. На самом деле каждый разбиение должно быть ~ 1000...
171 просмотров
schedule 10.05.2024

EOFException в org.apache.hadoop.io.SequenceFile$Reader.init(SequenceFile.java:1508)
Я пытался запустить пример умножения матриц, представленный г-ном Норштадтом по следующей ссылке http://www.norstad.org/matrix-multiply/index.html . Я могу успешно запустить его с помощью hadoop 0.20.2, но я пытался запустить его с помощью hadoop...
3811 просмотров
schedule 18.04.2024

SingleColumnValueFilter не возвращает правильное количество строк
В нашей таблице HBase каждая строка имеет столбец с именем идентификатор обхода. Используя задание MapReduce, мы хотим обрабатывать в любой момент только строки из данного обхода. Чтобы выполнить задание более эффективно, мы снабдили наш объект...
1152 просмотров
schedule 13.04.2024

Проблема с созданием векторов из текста в Mahout
Я использую Mahout 0.9 (установлен на HDP 2.2) для обнаружения темы (алгоритм скрытого распределения Drichlet). У меня есть текстовый файл, хранящийся в каталоге inputraw , и я выполнил следующие команды по порядку. команда №1: mahout...
172 просмотров

Как добавить ссылки на сторонние библиотеки при отправке заданий mapreduce через пряжу, когда для mapreduce.framework.name установлено значение local?
У меня есть jar-файл yyy.jar, который является сторонним jar-файлом, который я хочу сделать доступным для картографа одной из задач mapreduce, которые являются частью цепочки заданий, которую я отправляю. Я могу нормально запускать задания по...
44 просмотров