Я лично присутствовал на конференции Nvidia AI еще в 2016 году, и мне очень понравилось, в частности, я попробовал многочисленные возможности виртуальной реальности. В этом году вы можете посетить бесплатно онлайн.
Я делюсь яркими моментами из некоторых выступлений, которые я смотрел.
Основной доклад
С основным докладом выступил основатель и генеральный директор Nvidia Дженсен Хуанг. Он содержал множество интересных примеров того, как использовать их аппаратное и программное обеспечение Nvidia для создания многих реальных приложений: обнаружение разливов нефти, лесных пожаров, навигация по ледяным потокам и обнаружение риска падения в больницах.
Они проделали большую работу, показав свое видение интересными способами. Дженсен провел презентацию из виртуального мира, созданного с помощью инструментов Nvidia Omniverse. Мало того, что его виртуальный фон динамически перестраивался как переход между темами, но и в видео The Making of the GTC Keynote они поделились тем, что каждый основной слайд был создан в Omniverse — это выглядело так, как будто некоторые из них были 3D-моделями, спроецированными в 2D-слайды.
Интеллектуальные помощники
В основной презентации они продемонстрировали «Toy Me», цифровой аватар Дженсена, демонстрирующий их интеллектуального помощника, в сочетании с фотореалистичным аватаром, который реагирует в реальном времени, с анимацией лица, сопровождающей звук. Речь по-прежнему звучала немного деревянно, и перед началом ответа были небольшие паузы, но в целом эффект был впечатляющим.
Они также показали видео-демонстрацию Токкио, интеллектуального говорящего киоска-помощника для ресторана.
Я впервые вижу, как интеллектуальный помощник используется таким образом, и вполне вероятно, что в ближайшие 10 лет мы увидим его широкое коммерческое внедрение.
МО физики
Судя по всему, машинное обучение (ML) на основе физики откроет в ближайшем будущем некоторые огромные возможности. Моделирование климата было рассмотрено несколько раз в качестве примера.
Моделирование климата намного сложнее, чем моделирование погоды. Моделирование погоды моделирует атмосферную физику, и его прогнозы можно регулярно проверять — прогнозы изменения климата охватывают десятилетия, что усложняет цикл обратной связи для обучения модели. Кроме того, масштаб моделирования климата в настоящее время находится за пределами нашей досягаемости.
В другом примере физического машинного обучения они показали крутую видео-анимацию, имитирующую химическую реакцию.
Эти возможности, по-видимому, должны помочь ускорить открытие новых лекарств.
Робототехника
Было интересное сравнение между робототехникой и граничными вычислениями. У них очень похожие функции: им обоим обычно требуются датчики, вычисления в автономном режиме или на устройстве, и они часто могут использовать одни и те же технологические конвейеры.
В медицинских инструментах все чаще используется робототехника.
Nvidia запускает свою платформу искусственного интеллекта Clara Holoscan для медицинских устройств. Это одна из многих ситуаций, когда Nvidia продает комбинацию как аппаратных, так и программных услуг поверх них.
У Nvidia есть Isaac SDK:
Создавайте и развертывайте роботов коммерческого класса с искусственным интеллектом. NVIDIA Isaac SDK™ — это набор инструментов, который включает в себя стандартные блоки и инструменты, ускоряющие разработку роботов, требующих расширенных функций восприятия и навигации, обеспечиваемых искусственным интеллектом.
Как и следовало ожидать, в основе этой платформы лежит аппаратное обеспечение Nvidia. :-)
В докладе «Ускорение робототехники с NVIDIA Isaac ROS» рассказали об истории ROS/ROS2
и они объяснили многие из различных функций, таких как библиотеки исправления изображений (мне было неясно, были ли какие-либо из них уникальными для Isaac SDK или для них уже существует другой код с открытым исходным кодом / ROS).
Если вы хотите поэкспериментировать с классным маленьким роботом, вы можете распечатать Нанозавра на 3D-принтере:
🦕 nanosaur — самый маленький робот-динозавр NVIDIA Jetson, полностью пригодный для 3D-печати.
При размерах 10 x 12 x 6 см и весе 500 г используйте только внешний аккумулятор и работает в ROS2, прост в сборке и использовании.
Isaac SDK задуман как открытая платформа, на которой вы можете работать. Как видно из приведенного выше слайда, у Исаака есть слой симуляции, который похож на то, что предоставляет инструмент Omniverse.
Цель состоит в том, чтобы робот не знал, что он находится в симуляции.
Автономные транспортные средства
Каждая конференция по ИИ должна упоминать автономные транспортные средства. :-)
Мне нравится смотреть видео о самоуправляемых автомобилях, особенно с их датчиками и визуализацией данных.
DRIVE Hyperion — еще одна платформа от Nvidia, сочетающая аппаратное и программное обеспечение:
NVIDIA DRIVE Hyperion™ — это комплексная платформа разработки и эталонная архитектура для проектирования автономных транспортных средств (AV). Он включает в себя несколько комплектов разработчика DRIVE AGX Orin™, каждый из которых оснащен однокристальной системой Orin, обеспечивающей до 254 TOPS, различные датчики для обеспечения кругового обзора на 360 градусов и дополнительную вычислительную мощность для разгрузки записи и воспроизведения данных. Система проверена, откалибрована и синхронизирована «из коробки» для поддержки быстрого масштабирования от разработки до производства.
Они также показали, как интеллектуальных помощников можно использовать в качестве консьержа или водителя в автомобиле.
Очень интересно посмотреть, как можно использовать интеллектуальных помощников в таком большом разнообразии продуктов. Несколько лет назад я был на выступлении Google, где говорилось о том, что голос становится универсальным пользовательским интерфейсом, поскольку он работает везде. Мы еще не достигли того момента, когда интеллектуальные помощники могут по-настоящему поддерживать разговор, но они действительно хорошо работают для узких областей применения.
