Прогнозирование цены Bicoin с использованием spark и scala

Я пытаюсь построить модель прогнозирования цены биткойна, используя Apache spark и scala. Я предварительно обработал данные и построил следующий формат:

  1. Отметка времени
  2. цена биткойна
  3. цена в долларах США
  4. МаксЦена
  5. минЦена
  6. числоторгов
  7. openPrice
  8. ЗакрытьЦена
  9. средняя цена

Я использую линейную регрессию для выполнения perdition.

 val scaler = new StandardScaler(withMean = true, withStd = true)
               .fit(parsedData.map(x => x.features))
  val scaledData = parsedData
              .map(x => 
              LabeledPoint(x.label, 
                 scaler.transform(Vectors.dense(x.features.toArray))))


    val splits = scaledData.randomSplit(Array(0.8, 0.2), seed = 11L)
  val training = splits(0).cache()
  val test = splits(1)


    // Building the model
    val numIterations = 100
    val step = 0.1
     val algorithm = new LinearRegressionWithSGD()
      algorithm.setIntercept(true)
      algorithm.optimizer
      .setNumIterations(numIterations)
      .setStepSize(step)
      .setRegParam(0.001)
      .setUpdater(updater)

Прогнозы, которые я получаю, рассчитываются неправильно. Это дает мне очень случайные прогнозы.

введите здесь описание изображения

Кто-нибудь может помочь мне с этим? Тот же набор данных отлично работает, когда я делаю прогноз с помощью библиотек Azure ML.


person Pranav Masariya    schedule 29.04.2016    source источник
comment
Так проблема в том, что RMSE большой или что?   -  person Alberto Bonsanto    schedule 30.04.2016
comment
Среднеквадратичное значение равно 1,3969991919033754E9.   -  person Pranav Masariya    schedule 30.04.2016
comment
Я думаю, что этот вопрос больше связан с наукой о данных, чем с программированием.   -  person Alberto Bonsanto    schedule 30.04.2016
comment
Да, это больше о науке о данных.   -  person Pranav Masariya    schedule 30.04.2016
comment
Настраивайте, пока не найдете правильный набор параметров. Кроме того, если эти прогнозы являются репрезентативной выборкой, вы никак не получите RMSE 1,3969991919033754E9.   -  person zero323    schedule 30.04.2016