Этот пост представляет собой базовое введение в машинное обучение (ML). Вам не нужны какие-либо предварительные знания об ML, чтобы извлечь максимальную пользу из этой статьи. Прежде чем начать, давайте ответим на вопрос: «Является ли машинное обучение настолько важным, что мне действительно нужно прочитать этот пост?»
Приложения машинного обучения
После знакомства с машинным обучением и обсуждения различных методов, используемых для реализации его возможностей, давайте перейдем к его приложениям в смежных областях: большие данные, искусственный интеллект (ИИ) и глубокое мышление.
Большие данные
До 2010 года приложения машинного обучения играли значительную роль в определенных областях, таких как распознавание номерных знаков, предотвращение кибератак и рукописный ввод.
распознавание персонажей. После 2010 года значительное количество приложений машинного обучения было связано с большими данными, что обеспечило оптимальную среду для
Приложения для машинного обучения.
Магия больших данных в основном вращается вокруг того, как большие данные могут делать высокоточные прогнозы. Например, Google использовал большие данные, чтобы предсказать вспышку H1N1.
в определенных городах США. Для чемпионата мира 2014 года Baidu точно предсказал результаты матчей, от раунда на выбывание до финальной игры.
Это удивительно, но что дает большим данным такую силу? Технология машинного обучения. В основе больших данных лежит их способность извлекать ценность из данных.
Обучение является ключевой технологией, которая делает это возможным. Для машинного обучения больше данных позволяет создавать более точные модели. В то же время вычислительное время, необходимое для
сложные алгоритмы требуют распределенных вычислений, вычислений в памяти и других технологий. Таким образом, развитие машинного обучения неразрывно связано с
большие данные.
Однако большие данные — это не то же самое, что машинное обучение. Большие данные включают распределенные вычисления, базу данных в памяти, многомерный анализ и другие
- Он включает в себя следующие четыре метода анализа:
Большие данные, сохраняемый анализ: анализ OLAP в области хранения данных (идеи многомерного анализа)
Большие данные, большой анализ: методы анализа интеллектуального анализа данных и машинного обучения
Поточный анализ: архитектура, управляемая событиями < br /> Анализ запросов: базы данных NoSQL
Хотя результаты машинного обучения поразительны и в некоторых ситуациях лучше всего демонстрируют ценность больших данных, это не единственный метод анализа.
доступный для больших данных, это один из нескольких методов анализа больших данных.
Сказав это, сочетание машинного обучения и больших данных принесло большую пользу. Благодаря развитию технологии машинного обучения данные могут
использовать для предсказаний. Например, чем обширнее опыт, тем лучше вы можете предсказать будущее. Говорят, что люди с «богатым опытом»
лучше справляются со своей работой, чем «новички». Это связано с тем, что люди с большим опытом могут разработать более точные правила на основе своего опыта.
Есть еще одна теория о машинном обучении: чем больше данных у модели, тем выше точность ее предсказаний. На следующем графике показана зависимость между
Точность и данные машинного обучения.
Из графика видно, что после того, как объем входных данных для различных алгоритмов достигает определенного уровня, они имеют примерно одинаково высокую точность. Это привело к известной поговорке
в сфере машинного обучения «побеждает не тот, у кого лучший алгоритм, а тот, у кого больше всего данных!».
Эпоха больших данных имеет много преимуществ, которые способствуют более широкому применению машинного обучения. Например, с развитием Интернета вещей и мобильных устройств мы теперь
иметь еще больше данных, включая изображения, текст, видео и другие типы неструктурированных данных. Это гарантирует, что модули машинного обучения будут иметь больше данных. В то же время
Технология распределенных вычислений больших данных, Map-Reduce, позволяет ускорить машинное обучение, что делает ее более удобной в использовании. Преимущества больших данных позволяют использовать сильные стороны
машинного обучения, чтобы максимально использовать их потенциал.
Глубокое обучение
Недавно развитие машинного обучения приняло новый виток — глубокое обучение.
Хотя термин «глубокое обучение» звучит претенциозно, концепция довольно проста. Это относится к развитию традиционной нейронной сети в одну со многими
скрытые слои.
В предыдущем сообщении в блоге мы говорили об исчезновении нейронных сетей после 1990-х годов (ссылка на блог 2). Однако Джеффри Хинтон, изобретатель алгоритмов BP,
никогда не отказывался от своих исследований в области нейронных сетей. Когда нейронная сеть достигает более двух скрытых слоев, скорость ее обучения становится чрезвычайно низкой. У них всегда
был менее практичным, чем SVM. Однако в 2006 году Хинтон опубликовал в журнале Science статью, в которой продемонстрировал два момента:
- Нейронные сети с несколькими скрытыми слоями обладают отличными возможностями обучения функциям. Особенности, усвоенные этими сетями, позволяют им предоставлять более
- фундаментальная характеристика данных, которая способствует визуализации и классификации.
- Обучение глубоких нейронных сетей затруднено, но его можно преодолеть с помощью пошаговой инициализации.
Это открытие не только решило вычислительные трудности нейронных сетей, но и продемонстрировало отличные возможности обучения глубоких нейронных сетей. Это привело к повторному
появление нейронных сетей в качестве основной и мощной технологии обучения в области машинного обучения. В то же время нейронные сети со многими скрытыми слоями
стали называть «глубокие нейронные сети», а обучение и исследования, основанные на глубоких нейронных сетях, стали называть «глубоким обучением».
Из-за своей важности глубокое обучение привлекло большое внимание. Следует отметить следующие четыре вехи в развитии этой области:
- В июне 2012 года New York Times сообщила о проекте Google Brain под совместным руководством Эндрю Нг (ссылка на блог 1) и изобретателя Map-Reduce Джеффа Дина. С использованием
- параллельная вычислительная платформа с 16 000 ядер ЦП, команда обучила модель машинного обучения глубокой нейронной сети, которая имела большой успех в речи и изображениях
- признание.
В ноябре 2012 года Microsoft продемонстрировала полностью автоматизированную систему синхронного перевода на мероприятии в Тяньцзине, Китай. Спикер выступил на английском языке,
в то время как машина одновременно распознавала речь и переводила ее на китайский язык китайским голосом. Система, основанная на глубоком обучении, работала чрезвычайно
Что ж.
В январе 2013 года на ежегодной конференции Baidu основатель и генеральный директор Baidu Робин Ли выступил с громкой речью, объявив о создании исследовательского института, который
сосредоточится на глубоком обучении, ознаменовав создание Института глубокого обучения.
В апреле 2013 года MIT Technology Review поместил глубокое обучение на первое место в своем списке 10 прорывных технологий 2013 года.
В предыдущей статье «Введение в машинное обучение» были названы три титана в области машинного обучения. Они не только эксперты в области машинного обучения, но и первопроходцы
в исследованиях глубокого обучения. Эти люди возглавляют технологические подразделения крупных интернет-компаний благодаря своим техническим способностям, а также безграничному потенциалу своих сотрудников.
Область научных исследований.
В настоящее время прогресс технологии распознавания изображений и речи в индустрии машинного обучения обусловлен развитием глубокого обучения.
Глубокое обучение — это подобласть машинного обучения, и его развитие существенно повысило его статус. Это заставило отрасль снова обратить свое внимание на
к идее, которая породила машинное обучение: искусственный интеллект (ИИ).
Искусственный интеллект
ИИ — отец машинного обучения, а глубокое обучение — дитя машинного обучения. На следующем рисунке показаны отношения между тремя:
Без сомнения, искусственный интеллект — это самая новаторская научная инновация, которую люди могут себе представить. Как и в названии игры, Final Fantasy, ИИ — это высшая научная ценность.
мечта человечества. С тех пор, как концепция ИИ была предложена в 1950-х годах, научные и промышленные сообщества исследовали ее возможности. За это время различные
романы и фильмы изображали ИИ по-разному. Иногда в них люди изобретают человекоподобные машины, потрясающая идея! Однако с 1950-х гг.
развитие ИИ столкнулось со многими трудностями без каких-либо научных прорывов.
В целом развитие ИИ прошло несколько этапов. Ранний период определялся логическими рассуждениями, а средний – экспертными системами. Эти
научные достижения действительно приблизили нас к разумным машинам, но до конечной цели еще далеко. Однако после появления машинного обучения ИИ
сообщество думало, что оно, наконец, нашло правильный путь. В некоторых вертикальных областях приложения для распознавания изображений и речи, основанные на машинном обучении, конкурируют с человеческими возможностями.
Машинное обучение впервые приблизило нас к мечте об ИИ.
На самом деле, если вы сравните технологии, связанные с ИИ, с технологиями других областей, вы обнаружите, что машинное обучение занимает центральное место в ИИ не без оснований.
Главное, что отличает людей от объектов, растений и животных есть «мудрость». Но что лучше всего воплощает нашу мудрость? Это вычислительные способности? Может быть нет. Мы думаем о
людей с высокими умственными вычислительными способностями как ученых, но не обязательно мудрых. Это наша способность реагировать на раздражители? Кроме того, нет. Это память? Нет. Люди с
фотографическая память может иметь цепкий ум. А как насчет логических рассуждений? Хотя это может сделать кого-то очень умным, например Шерлока Холмса, это все же не так.
- А знания? Человек может быть ходячей энциклопедией, но ему не хватает мудрости.
Итак, каких людей мы называем мудрыми? Мудрецы вроде Лао-цзы или Сократа? Их мудрость заключается в их восприятии жизни, а также в накоплении опыта.
и глубокие размышления о жизни. Но похоже ли это на концепцию машинного обучения? Это действительно так. Использование опыта для выведения общих правил, чтобы направлять и предсказывать
- Без опыта не может быть мудрости.
Для компьютера все перечисленные возможности могут быть достигнуты с использованием различных технологий. Для вычислительных возможностей существуют распределенные вычисления; для отзывчивости есть
событийно-ориентированная архитектура; для поиска информации есть поисковые системы; для хранения знаний есть хранилища данных; а для логических рассуждений есть экспертные
- Однако единственная технология, которая соответствует наиболее выдающимся характеристикам мудрости, индуктивного мышления и восприятия, — это машинное обучение. Это
почему машинное обучение может лучше всего охарактеризовать мудрость.
Давайте подумаем о создании робота. Основными компонентами будут мощные вычислительные возможности, массивное хранилище, быстрый поиск данных, быстрое реагирование и отличные
Логическое объяснение. Затем добавляется мудрый мозг. Это было бы рождением ИИ в истинном смысле. С быстрым развитием машинного обучения ИИ может перестать быть
- Развитие ИИ может определяться не только машинным обучением, оно также может зависеть от глубокого обучения. Это потому, что технология глубокого обучения лучше
моделирует структуру человеческого разума и делает значительный прорыв в отношении первоначальных ограничений машинного обучения в распознавании образов и речи. Следовательно, это
весьма вероятно, что глубокое обучение окажется ключевой технологией в разработке настоящего ИИ. И Google Brain, и Baidu Brain созданы на основе сети глубокого обучения.
с большим количеством слоев. Возможно, с помощью технологии глубокого обучения компьютер с человеческим интеллектом может стать реальностью в ближайшем будущем.
Стремительное развитие ИИ с помощью технологии глубокого обучения уже вызвало у некоторых беспокойство. Генеральный директор Tesla Илон Маск, настоящий Железный человек,
один такой человек. Недавно, посещая семинар в Массачусетском технологическом институте, Маск выразил обеспокоенность по поводу ИИ. Он сказал, что исследования ИИ сродни «вызову демона».
мы должны быть «очень осторожными» в отношении некоторых областей.
Хотя предупреждение Маска может показаться паникёрским, его рассуждения верны. «Если его функция — это что-то вроде избавления от спама в электронной почте, и он определяет лучший способ
избавляясь от спама, мы избавляемся от людей». Маск считает, что государственное регулирование необходимо для предотвращения подобного явления. Если при рождении ИИ некоторые правила
введен, чтобы сдержать его, сценария, в котором ИИ побеждает людей, можно избежать. ИИ будет функционировать не только на основе машинного обучения, но и на основе машинного обучения.
Обучение с помощью механизма правил и других систем. Если система ИИ не имеет ограничений на обучение, она, скорее всего, неправильно поймет некоторые вещи. Поэтому дополнительные указания
требуется. Так же, как и в человеческом обществе, законы являются лучшей практикой. Правила различаются в зависимости от шаблонов, настроенных для машинного обучения. Шаблоны — это рекомендации, полученные из
- Правила, напротив, неприкосновенны и не могут быть изменены. Шаблон можно изменить, а правило — нет. Эффективно комбинируя правила и шаблоны, рациональный
и можно создать управляемый ИИ со способностями к обучению.
Компьютерное подсознание
Наконец, давайте рассмотрим несколько других идей, связанных с машинным обучением. Давайте вернемся к истории с Джоном из нашего первого блога в этой серии из 3-х частей, где мы говорили о
методы предсказания будущего. В реальной жизни мало кто использует такой явный метод. Большинство людей используют более прямой метод, называемый интуицией. Итак, что же такое интуиция?
Интуиция состоит из шаблонов, извлеченных из прошлого опыта в вашем подсознании. Это похоже на то, как если бы вы использовали алгоритм машинного обучения для создания шаблона, который можно
повторно используется для ответа на аналогичный вопрос. Но когда вы придумываете эти шаблоны? Возможно, вы развиваете их неосознанно, например, когда спите.
или идти по улице. В такие моменты ваш мозг делает незаметную работу.
Чтобы лучше проиллюстрировать интуицию и подсознание, давайте сравним их с другим типом эмпирического мышления. Если человек очень прилежный, он исследует себя каждый день или каждый день.
часто обсуждает свою недавнюю работу с коллегами. Мужчина использует метод прямого обучения. Он сознательно думает о вещах и рисует общие закономерности из
- Этот метод может работать хорошо; развитие сильной памяти, ведущей к эффективным реакциям на практические модели. Однако мало кто делает выводы в этом
- Скорее, они используют свое подсознание, чтобы рисовать шаблоны из своего жизненного опыта. Например, предположим, что в прошлом вы не водили машину. Однако после того, как вы купили
автомобиль, вы ездите на работу каждый день. Каждый день вы едете на работу одним и тем же маршрутом. Самое интересное, что первые несколько дней вы очень нервничали и постоянно платили
внимание на дорогу. Теперь, во время езды, ваши глаза смотрят вперед, но ваш мозг не думает об этом. Тем не менее, ваши руки автоматически поворачивают руль, чтобы отрегулировать
ваше направление. Чем больше вы едете, тем больше работы передается вашему подсознанию. Это очень интересная ситуация. Во время вождения ваш мозг записывает образ
дорогу вперед и запоминает правильные действия по повороту руля. Ваше подсознание направляет движения ваших рук на основе образа дороги.
Теперь предположим, что вы должны передать компьютеру видеозапись дороги и заставить его записывать движения водителя, соответствующие изображениям. После периода
обучения, компьютер может генерировать шаблон машинного обучения и автоматически управлять автомобилем. Это удивительно, правда? На самом деле, это именно то, как беспилотный автомобиль
Технология работает для таких компаний, как Google и Tesla.
Помимо беспилотных автомобилей, подсознательное мышление можно применять и к социальным взаимодействиям. Например, лучший способ убедить других — это дать им некоторые важные сведения.
информацию, чтобы обобщить и сделать вывод, который мы хотим. Вот почему, когда мы представляем точку зрения, гораздо эффективнее использовать факты или рассказывать историю, чем
просто перечислите причины или моральные принципы. На протяжении веков все великие защитники того или иного дела придерживались этого подхода. В весенне-осенний период
в Древнем Китае министры разговаривали с монархами разных государств. Чтобы убедить монарха принять определенный образ действий, они не просто говорили ему, что делать.
(это был хороший способ потерять голову). Скорее, они рассказывали историю так, чтобы выбранная ими политика внезапно дошла до монарха как урок, который он извлек из этой истории.
Есть много примеров таких великих мастеров убеждения, в том числе Мози и Су Цинь. Но почему истории более эффективны? По мере взросления человека они образуют множество узоров и
подсознательные установки через рефлексию. Если вы представите образец, который противоречит образцу, которого придерживается другая сторона, вас, вероятно, отвергнут. Однако, если вы расскажете
историю с новой информацией, они могут изменить свое мнение после размышлений. Этот мыслительный процесс очень похож на машинное обучение. Это все равно, что дать кому-то новые данные
и просят их переобучить свои ментальные модели, чтобы включить этот новый вход. Если вы предоставите другой стороне достаточно данных, чтобы заставить ее изменить свою модель, она будет действовать по закону.
согласие с новыми закономерностями, предложенными данными. Иногда другая сторона может отказаться размышлять над новой информацией. Однако после ввода новых данных
независимо от того, намерены они изменить свое мышление или нет, их разум подсознательно включит новые данные в свое мышление и заставит их изменить свое мышление.
мнения.
Но что, если у компьютера должно быть подсознание? Например, если компьютер постепенно развивает свое подсознание во время своей работы, он может завершить некоторые
задания до того, как им будет сказано это сделать. Это очень интересная идея. Подумай об этом!
Вывод
Машинное обучение — удивительная и захватывающая технология. Вы найдете приложения для машинного обучения повсюду, от рекомендаций по товарам на Taobao до самообслуживания Tesla.
вождения автомобилей. В то же время машинное обучение, скорее всего, воплотит мечту об ИИ в реальность. В настоящее время существуют различные приложения ИИ, такие как чат Microsoft XiaoIce.
роботы и технология компьютерного зрения включают в себя элементы машинного обучения. Рассмотрите возможность узнать больше о машинном обучении, так как это может помочь вам лучше понять
принципы, лежащие в основе технологии, которая приносит так много удобства в нашу жизнь.
Ссылка:
