Nutch 2.3.1 на cassandra не запускается

Я пытаюсь запустить nutch 2.3.1 с cassandra. Выполнены шаги на http://wiki.apache.org/nutch/Nutch2Cassandra . Наконец, когда я пытаюсь запустить nutch командой:

bin/crawl urls/ test http://localhost:8983/solr/ 2

Я получил следующее исключение:

GeneratorJob: starting
GeneratorJob: filtering: false
GeneratorJob: normalizing: false
GeneratorJob: topN: 50000
GeneratorJob: java.lang.RuntimeException: job failed: name=[test]generate: 1454483370-31180, jobid=job_local1380148534_0001
    at     org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:120)
    at org.apache.nutch.crawl.GeneratorJob.run(GeneratorJob.java:227)
    at org.apache.nutch.crawl.GeneratorJob.generate(GeneratorJob.java:256)
    at org.apache.nutch.crawl.GeneratorJob.run(GeneratorJob.java:322)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.nutch.crawl.GeneratorJob.main(GeneratorJob.java:330)

Error running:
  /home/user/apache-nutch-2.3.1/runtime/local/bin/nutch generate -D    mapred.reduce.tasks=2 -D mapred.child.java.opts=-Xmx1000m -D mapred.reduce.tasks.speculative.execution=false -D mapred.map.tasks.speculative.execution=false -D mapred.compress.map.output=true -topN 50000 -noNorm -noFilter -adddays 0 -    crawlId webmd -batchId 1454483370-31180
Failed with exit value 255.

Когда я проверяю logs/hadoop.log, вот сообщение об ошибке:

2016-02-03 15:18:14,741 ERROR connection.HConnectionManager - Could not start connection pool for host localhost(127.0.0.1):9160
...
2016-02-03 15:18:15,185 ERROR store.CassandraStore - All host pools marked down. Retry burden pushed out to client.
me.prettyprint.hector.api.exceptions.HectorException: All host pools marked down. Retry burden pushed out to client.
    at me.prettyprint.cassandra.connection.HConnectionManager.getClientFromLBPolicy(HConnectionManager.java:390)

Но мой сервер cassandra работает:

runtime/local$ netstat -l |grep 9160
tcp        0      0 172.16.230.130:9160     *:*                     LISTEN

Кто-нибудь может помочь в этом вопросе? Спасибо.


cassandra hadoop nutch
person yang    schedule 03.02.2016    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Адрес Кассандры не localhost, а 172.16.230.130. По этой причине Nutch не может подключиться к магазину Cassandra.

Надеюсь это поможет,

Ле Куок До

person Do Do    schedule 11.03.2016