Hadoop устарел, и глубокое обучение тоже будет. И это нормально.

Это перепечатка (более или менее) Информационного бюллетеня ARCHITECHT от 11 февраля 2018 г. Подпишитесь здесь, чтобы получать новые выпуски на свой почтовый ящик.

Даже во время моего недавнего перерыва в этом информационном бюллетене, когда я активно избегал своей RSS-ленты, я не мог избежать публичных дебатов о пределах возможностей искусственного интеллекта. Или, точнее, о пределах возможностей глубокого обучения — метода ИИ, наиболее часто используемого и понимаемого сегодня для таких задач, как компьютерное зрение.

И дебаты бушуют даже в основных средствах массовой информации, которые всего несколько лет назад не коснулись бы глубокого обучения с помощью 10-футового шеста. Дело в точке:

Почему нам грозит переоценка ИИ (Financial Times)
Могут ли компьютеры учиться, как люди? (NPR)

Легко понять, почему эти дебаты ведутся на таких публичных форумах: потому что ИИ сегодня невероятно популярная тема (даже за пределами технических кругов) и потому что противоположная точка зрения всегда будет привлекать внимание.

Что труднее понять, так это то, почему мы вообще должны вести эти дебаты. Глубокое обучение оказалось чрезвычайно полезным для задач, связанных с машинным восприятием и распознаванием образов, но только сейчас оно находит применение в производственных системах компаний, не входящих в Google, Facebook и им подобных. Глубокое обучение может значительно улучшить аспекты нашей системы здравоохранения и помочь сделать беспилотные автомобили реальностью.

Поэтому, естественно, промышленность и академические круги будут использовать глубокое обучение изо всех сил. И они должны. Я не думаю, что вы можете серьезно утверждать, что мы переживаем еще одну зиму ИИ, когда глубокое обучение уже имеет такое большое экономическое и социальное влияние (просто подумайте обо всех тех рекламных роликах Google Home и Amazon Echo, которые вы видели во время Супер Bowl и Олимпийские игры), и когда он готов оставить свой след в областях, затрагивающих триллионы долларов, и может буквально помочь спасти жизни.

Глубокое обучение может дать ограниченное представление о возможностях ИИ, но это также и экономически выгодный метод. Кроме того, исследования и внимание к глубокому обучению не означает, что не может быть исследований в других областях, направленных на более общий ИИ или ИИ, который действительно может обучаться.

Если бы мне пришлось предсказывать, я бы предположил, что исследования и применение глубокого обучения будут продолжаться довольно активно в течение следующих нескольких лет и в конечном итоге станут обычным явлением. Одновременно будут проводиться исследования в других областях ИИ, и, когда они созреют и докажут свою применимость за пределами лаборатории, они станут новыми звездами ИИ. Глубокое обучение станет новостью вчерашнего дня, но в этот момент оно станет настолько неотъемлемой частью определенных приложений и отраслей, что его не скоро заменят.

(Это по-прежнему будет хорошей новостью для Nvidia, у которой, кстати, был еще один огромный всплеск доходов от центров обработки данных. Вот хороший анализ перспектив ее центров обработки данных от The Next Platform.)

Hadoop — это уже вчерашняя новость

Я думаю, что у меня такая сильная реакция на эти аргументы «глубокое обучение — это не волшебство, так что давайте это», потому что мы наблюдали то же самое с Hadoop в течение последних нескольких лет. Сейчас редко можно услышать что-то новое или интересное из пространства Hadoop, но для компаний, которые нашли ему применение, Hadoop по-прежнему очень важен.

Возьмем, к примеру, эти два недавних сообщения в блоге об использовании Hadoop от LinkedIn и Oath (урожденная Yahoo):

Но, что более важно, Hadoop, получивший немало критики за медлительность, громоздкость и в целом несовершенность, помог продвинуть дискуссии о больших данных и науке о данных. Он также породил Apache Spark и другие технологии, которые оказали значительное влияние на аналитику и обработку данных. Кто-то может возразить, что Hadoop, несмотря на недостатки, на самом деле способствовал росту интереса к глубокому обучению, которое, наконец, дает некоторые волшебные идеи, которые большие данные обещали десятилетие назад.

Также стоит взглянуть на то, что происходит с такими компаниями, как Hortonworks, Cloudera и MapR, которые изначально позиционировали себя как корпоративные дистрибутивы Hadoop, но в настоящее время ни одна из них этого не делает. Они говорят о платформах данных, машинном обучении, Интернете вещей и многом другом, кроме Hadoop. Они также зарабатывают больше денег и, в случае с Hortonworks, продвигаются к прибыльности.

Моя главная мысль заключается в том, что вещи развиваются и улучшаются, даже если они были чрезмерно разрекламированы или обещаны в начале. Hadoop не был идеальным 10 лет назад, а глубокое обучение не идеально сегодня, но в долгосрочной перспективе они оба принесут большой экономический эффект и вдохновят на создание более крупных и лучших вещей.

АРХИТЕКТОР