Alpha Go Zero и мысли о данных
Новый прорыв Deepmind был в новостях уже несколько дней, и многие подкасты выпустили эпизоды с отличными обсуждениями нового алгоритма и того, что он означает для прогресса искусственного интеллекта. Содержание и настроение эпизодов варьируются от восторженных ожиданий появления в ближайшем будущем ОИИ (ИИ) как прямого результата нового алгоритма до здорового скептицизма, говорящего, что это всего лишь еще один маленький шаг вперед. По ссылкам ниже вы можете найти оригинальный пост в блоге от разработчиков и два эпизода с обсуждением нового алгоритма от a16z и Wired UK. Лично мне, как бы ни нравился подкаст Wired UK, я больше согласен с мыслями и идеями, высказанными на a16z. Но их обоих стоит послушать, и я не буду повторять все те умные и разумные вещи, которые были сказаны там и в других подкастах. Вместо этого я хочу сосредоточиться на одном аспекте, а именно на обучающем вкладе.
Мне нравится тот факт, что для обучения этого алгоритма почти не требовались входные данные, по сравнению с предыдущим подходом. Да, программа знала правила го и знала, когда она проигрывает или выигрывает, но в некотором смысле это классический (хотя, без сомнения, очень умный) подход машинного обучения с подкреплением к очень сложной проблеме. Так что да, вдруг огромные объемы данных больше не нужны?
Когда я начал изучать компьютерную лингвистику в 2005 году, данных, особенно оцифрованных текстов, было мало. Несколько газет оцифровали свои архивы, а Проект Гутенберг существовал примерно с 70-х годов, но все эти корпуса были слишком малы для многих задач НЛП, особенно связанных с машинным обучением. Просто выдрать к чертовой матери из Интернета тоже не принесло бы много пользы, потому что в итоге получались тексты из разных областей, написанные для разных целей — результирующий набор данных был бы слишком скудным, чтобы его можно было обобщить, скажем, для английского языка в целом. , и слишком шумный, чтобы захватить конкретную область, например, медицину или юриспруденцию. Отсюда одна из поговорок: Нет данных лучше, чем больше данных.
Действительно, если кто-то хочет смоделировать такую сложную систему, как человеческий язык, кажется, что никакого количества данных никогда не будет достаточно. Однако примерно через год после того, как я начал учиться, был основан Twitter, и Интернет неожиданно обрушил на нас, компьютерных лингвистов (и всех остальных), бесконечный поток слов. С твитами работать непросто — они короткие, изобилуют неологизмами и опечатками, хэштегами и ссылками. Но я помню, как мой умный сокурсник использовал большой корпус Twitter для обучения модели — он показал, что чем больше данных используется для обучения, тем точнее становятся прогнозы, но зависимость не была линейной, в какой-то момент удваивалась. набор обучающих данных не удвоил производительность модели, все это как бы насыщено.
Так что данные вполне могут быть новой нефтью, но часто это сырая нефть. И точно так же, как нефть, если у вас ее тонны и нет технологий ее очистки, она будет вам бесполезна, она засорит ваши трубопроводы и сломает всю систему. А для некоторых задач вам может понадобиться совсем немного или вообще ничего!
Ссылки:
Пост в блоге от DeepMind, анонсирующий и Alpha Go Zero
Эпизод подкаста a16z об Alpha Go Zero
