Лукаш Кидзинский, постдоктор Стэнфордского университета, любит вызовы. И когда NeurIPS, ведущая в мире конференция по глубокому обучению, объявила о своем первом вызове в 2017 году, он не стал ждать.

Лукаш Кидзиньски уже проводил челлендж Учимся ходить, в котором участникам было поручено управлять скелетной моделью опорно-двигательного аппарата в среде моделирования с открытым исходным кодом под названием OpenSim. Запуск Учимся бегать в качестве задачи NeurIPS выставит эту интересную проблему перед всем миром.

Мы были взволнованы, думая о такой сложной задаче, которая требовала отправки сложного кода, который необходимо было тщательно оценить в среде моделирования. «Благодаря гибкой структуре платформы было легко разработать задачу машинного обучения вне стандартных рамок задач обучения/тестирования данных», — сказал Лукаш, с которым мы работали над подготовкой соревнование.

Все были очень рады, когда предложение было принято, особенно после того, как оно получило такие отзывы, как «Очень интересное предложение, которое, вероятно, привлечет большое количество участников, окажет значительное влияние и повлечет за собой использование современных моделей в актуальной теме (Обучение с подкреплением). )».

Задача стала очень популярной не только потому, что это была передовая задача обучения с подкреплением, но и из-за замечательных призов, предоставленных нашими спонсорами. Примечательно, что Nvidia, предложившая DGX Station за 69 000 долларов победившей команде и графические процессоры Titan для 2-го и 3-го места, значительно повысила ставки. Кроме того, Amazon AWS согласилась спонсировать и предоставить некоторые вычислительные ресурсы для решения этой задачи.

«Благодаря гибкой структуре платформы было легко разработать задачу машинного обучения вне стандартных рамок задач обучения/тестирования данных».

Лукаш Кидзинский, Стэнфордский университет

Конкурс длился несколько месяцев, и было невероятно интересно наблюдать за прогрессом, достигнутым за это время. Как и в случае любой передовой задачи обучения с подкреплением, скорость быстро стала серьезной проблемой. Мы были рады видеть, что даже такие люди, как Тревор Блэквелл (соучредитель YC), присоединились к GitHub, и, хотя симулятор был не самым быстрым, каким он мог бы быть, сообщество нашло невероятно творческие решения, чтобы заставить скелет ходить даже с этим серьезным ограничением. Вы можете прочитать полную статью здесь.

В начале, со случайными мышечными скелетами, исходные скелеты вели себя в основном так:

Здесь мало кто ходит! Цель испытания состояла в том, чтобы максимизировать горизонтальное расстояние от начального положения таза до конечного положения через 10 секунд (моделирование прерывалось, если таз опускался ниже 0,65 метра над землей, что указывало на разрушение скелета). Таким образом, первые решения просто использовали тот простой факт, что бросок скелета вперед уже давал положительный результат!

Еще один локальный максимум, обнаруженный сетями вскоре после этого, заключался в том, что если один переход работал нормально, то многие переходы должны работать еще лучше. И вскоре на сцене появились прыгающие скелеты!

Адаптация функции вознаграждения для учета таких вещей, как штраф за активацию мышц (в конце концов, активация мышц использует энергию), помогла агентам избежать нереалистичных «прыгающих» походок. Тем не менее, на изученные правила стало довольно интересно смотреть, поскольку скелеты начали двигаться всевозможными забавными способами, которые напоминали «Министерство глупых прогулок» Монти Пайтона:

Совершенно очевидно, что скелеты действительно учились ходить и бегать! В конце концов сложность возросла до уровня, который был неожиданным и чрезвычайно впечатляющим. Вот выигрышное решение, представленное Nnaisense:

После чествования победителей как на NeurIPS, так и на Днях прикладного машинного обучения встал вопрос о том, подавать ли еще одно конкурсное предложение в следующем году. Снова под руководством Лукаша команда предложила новую задачу под названием ИИ для протезирования. Идея заключалась в том, чтобы использовать ту же установку, что и в прошлом году, но добавить несколько дополнительных сложностей, одна из которых заключалась в замене одной из голеней фиксированным протезом ноги.

Было приятно видеть, что это предложение было снова принято, и три из четырех отзывов оценили его как Решительное согласие: я был бы расстроен, если бы это не было выбрано в качестве конкурса NIPS. Участие в этом новом соревновании снова было напряженным: Nnaisense в конечном итоге занял второе место сразу после команды Baidu Research. Вы можете найти другие передовые работы AIcrowd Research здесь.

Мы были рады выйти за рамки соревнований по машинному обучению с этими двумя задачами, и мы с нетерпением ждем решения многих других передовых задач с соавторами. Как сказал Лукаш, платформа «позволила нам быстро создать большое сообщество CS вокруг нашего программного обеспечения, и участники начали использовать наше программное обеспечение для обучения и исследований в области обучения с подкреплением. Для новых задач я бы определенно снова выбрал AIcrowd среди других платформ».

Задачи NeurIPS 2018 Искусственный интеллект для протезирования и NeurIPS 2017 Обучение бегу закладывают основу новой области биомедицинского обучения с подкреплением. Соединяя биомеханику, информатику, неврологию и медицинские исследования для изучения грандиозной задачи в области человеческого движения, управления двигателем и вспомогательных устройств, задачи собрали вместе 993 участника и 6729 заявок. Репозиторий вызовов на GitHub разветвлялся 184 раза и помечался звездочкой 573 раза.

«Для новых задач я бы определенно снова выбрал AIcrowd, а не другие платформы».

Лукаш Кидзинский, Стэнфордский университет

Соревнования были построены на бесплатных компонентах с открытым исходным кодом, исходящих от ученых, и уже стали учебным и исследовательским ресурсом в нескольких университетах. Продолжая нашу серию задач третий год подряд, мы стремимся сделать его эталоном в развивающейся области.

Заинтересованы в получении превосходных ИИ-решений для вашей проблемы?

Тогда примите участие в конкурсе вместе с нами! Перейдите на нашу страницу организации конкурса, чтобы связаться с нами. :)