Опыт Amazon и Annapurna Lab в использовании моделей разработки программного обеспечения, таких как Agile, побудил их перенести эти знания в Silicon Innovation. Эта идея и опыт непрерывной оптимизации программного обеспечения с открытым исходным кодом побудили Amazon приступить к реализации нескольких инициатив по расширению предложений инфраструктуры и платформ с использованием специализированных чипов. Несколько инициатив, в том числе микросхемы системного уровня, процессоры, ускорители машинного обучения и хранилища, были рассмотрены на мероприятии День инноваций AWS Silicon Innovation Day 2022, состоявшемся 3 августа 2022 г. оптимизация в конце этого поста. В этом блоге рассказывается об этих возможностях на уровне микросхем и дополнительных преимуществах внедрения облачных технологий, а также о последствиях для клиентов, инвесторов и конкурентов и кратком изложении.

На ранних этапах облачных вычислений поставщики использовали готовые коммерческие продукты для виртуализированных вычислений, хранения и сетевой инфраструктуры, поставляемые со стандартным доступом через API. Однако коммерческие продукты, предназначенные для традиционных центров обработки данных, оказались неэффективными для крупных облачных центров обработки данных. Поставщики облачных услуг начали использовать модернизированные серверы, в которых объединены избыточные компоненты, чтобы оптимизировать облачную доставку ресурсов инфраструктуры. Amazon начала перепроектировать свои серверы и оборудование, используя KVM вместо Xen в качестве гипервизора. Этот редизайн позволил AWS обеспечить клиентам производительность, близкую к «голому железу», и при этом предложить лучшее соотношение цены и качества.

Оптимизация потребовала значительных изменений в архитектуре для лучшей масштабируемости и производительности. Растущий спрос клиентов на облачные ресурсы требовал более эффективного использования ЦП и производительности процессора. Amazon начала использовать Annapurna Labs (см. примечание о приобретении ниже) для ускорения внедрения кремниевых инноваций для повышения эффективности облака общего назначения и пространства искусственного интеллекта с использованием системы на кристалле (SoC). Совместные усилия привели к внедрению Amazon Nitro System, которая эффективно перенесла некоторые процессы на оборудование и обеспечила более эффективную работу. Платформа Amazon EC2 предоставила клиентам эффективный процесс, гибкие вычисления, лучшую цену и превосходную производительность. Команда Amazon по производству кремниевых микросхем представила чипы, оптимизированные для рабочих нагрузок, чтобы сократить производственные затраты и время на аутсорсинг разработки чипов таким компаниям, как NVIDIA и Intel. В то время как другие поставщики сотрудничают, чтобы предлагать специализированные чипы, разработанные для облачных решений, Amazon, благодаря приобретению Annapurna, уникальна тем, что владеет сквозным процессом разработки специализированных чипов.

Следующие предложения от Amazon повышают эффективность приложений на уровне микросхем (более подробную информацию можно найти по ссылкам, встроенным в заголовок каждого абзаца):

AWS Graviton: впервые анонсированный как Graviton в 2018 году для рабочих нагрузок общего назначения, процессор AWS Graviton теперь эволюционировал благодаря новым версиям, оптимизированным для приложений вычислений, памяти и хранения. Graviton2 был анонсирован в 2019 году и запущен в 2020 году, а Graviton3 был анонсирован в 2021 году и запущен в 2022 году, каждая из которых улучшает предыдущие версии с точки зрения производительности и энергопотребления. Отзывы клиентов Graviton варьируются от различных отраслей, от Cadence в электронном дизайне до DirectTV в сфере развлечений. Ряд партнеров AWS используют процессоры Graviton, повышая эффективность, что позволяет повысить конкурентоспособность или повысить прибыльность при предоставлении услуг клиентам.

AWS Inferentia: в отличие от Graviton, AWS Inferentia представляет собой специализированную интегральную схему (ASIC), созданную для рабочих нагрузок машинного обучения. Объемы рабочих нагрузок машинного обучения оправдывают инвестиции в микросхемы ASIC, аналогичные микросхемам ASIC, используемым в сетевых картах. Примером крупномасштабной потребности в рабочих нагрузках машинного обучения на основе графического процессора является Alexa от Amazon, к которой подключено более 100 миллионов устройств. Для больших рабочих нагрузок, обрабатывающих миллиарды запросов на логические выводы каждую неделю, таких как Alexa, экономия средств и улучшение качества обслуживания клиентов делают использование специализированного чипа оправданным.

Система AWS Nitro: Annapurna Labs помогла перенести все системы виртуализации на выделенные аппаратные и программные системы и использовать все ресурсы сервера для запуска клиентских экземпляров. Nitro System управляет доступом к хранилищу, шифрованием, безопасностью, сетью и мониторингом для повышения производительности. Система Nitro распределяет более значительную вычислительную мощность, больше памяти, лучшую производительность ЦП, большую пропускную способность сети и постоянные диски на определенные карты Nitro. Система Nitro предоставляет легкий гипервизор с Nitro Hypervisor и AWS Nitro Enclaves для изолированных вычислительных сред. Nitro Security Chip и NitroTPM обеспечивают разгрузку функций безопасности и функций Trusted Platform Module.

Nitro SSD: клиентам нужны накопители по более низкой цене, обеспечивающие более высокую пропускную способность и оптимизированную производительность в соответствии с их показателями совокупной стоимости владения. Требования клиентов к задержке, производительности и оптимизации были мотивацией для твердотельных накопителей Nitro. Твердотельные накопители (SSD) позволяют хранить данные большой емкости и с малой задержкой, тем самым обеспечивая высокую производительность для пользователей. Nitro SSD — это устройство хранения, которое может постоянно отображать данные во флэш-память, работая на кремниевых чипах, что обеспечивает низкую задержку и более высокую пропускную способность. Твердотельные накопители Nitro — это возможность повысить безопасность, надежность и пропускную способность в облачном масштабе. Создавая собственные твердотельные накопители Nitro, Amazon может решать любые проблемы клиентов быстрее, чем отдавая твердотельные накопители другим поставщикам.

Последствия для клиентов
Усилия предприятия по цифровому преобразованию порождают множество типов рабочих нагрузок, от тех, которые требуют высокого уровня безопасности, до некоторых приложений, требующих ускорителей искусственного интеллекта/машинного обучения (AI/ML). . Предлагая полный набор микросхем, от базовых процессоров до ускорителей, AWS предлагает инновации на всех уровнях вычислений, предоставляя клиентам больше возможностей. Выбор процессоров, обеспечивающих более высокий уровень безопасности и более низкие затраты, позволяет клиентам экспериментировать с различными экземплярами, а также оценивать и сопоставлять доступные варианты микросхем для оптимизации окупаемости инвестиций в облако. Те розничные клиенты, которые склонны избегать AWS из-за проблем с конкуренцией, должны пересмотреть AWS для конкретных рабочих нагрузок.

Последствия для конкурентов
Доступность кремниевых ускорителей будет определять решения клиентов при выборе наиболее подходящего поставщика облачных услуг. Конкуренты, особенно гиперскейлеры, такие как Google Cloud Platform и Microsoft, должны предлагать дифференциаторы на уровне микросхем для поддержки новых типов приложений. Другие поставщики гипермасштабируемых систем также предлагают альтернативы AMD, Intel и Nvidia. Microsoft создала специальные чипы для повышения безопасности ноутбуков и, как сообщается, внедряет инновации на стороне сервера. Google сотрудничает с SkyWater Technology и Efabless, предоставляя разработчикам предложение с открытым исходным кодом для создания кремниевых конструкций. Oracle заключила партнерское соглашение с Ampere Computing, чтобы предложить 80-ядерный сервер ARM.

По мере того, как инновации в области полупроводниковых микросхем переходят к локальным реализациям, традиционные поставщики локальных решений должны учитывать новые требования клиентов и предлагать соответствующие решения.

Последствия для инвесторов
Поскольку клиенты стремятся ускорить цифровую трансформацию и выбирают облачных провайдеров, которые предоставляют решения с оптимизацией на уровне микросхем, рост доходов будет сбалансирован в пользу новаторов в области микросхем. . Поставщики облачных услуг, пользующиеся поддержкой традиционных производителей микросхем, таких как Intel и Nvidia, и владеющие комплексными предложениями на основе микросхем, будут иметь более широкий доступный рынок и конкурентное преимущество. Инвесторы также должны обратить внимание на поставщиков облачных услуг, которые создают собственные возможности для проектирования микросхем.

Инвесторы должны следить за производителями чипов, такими как AMD, Intel и Nvidia. Их рост доходов может оказаться под угрозой, если поставщики гипермасштабируемых облачных вычислений будут все чаще создавать специализированные чипы и принимать их у клиентов.

Обзор. Оптимизация серверных рабочих нагрузок с помощью аппаратного обеспечения обеспечивает значительное улучшение по всем направлениям. По словам Джеймса Гамильтона, выступавшего на конференции re:Invent в 2016 году, перенос нагрузки на аппаратное обеспечение приводит к увеличению задержки примерно в 10 раз, энергопотребления в 10 раз и стоимости в 10 раз. Когда в Amazon Retail наблюдался высокий рост спроса, Amazon приобрела компанию Kiva, занимающуюся робототехникой, чтобы удовлетворить потребность в автоматизации складов. В связи с возросшим спросом на инфраструктурные ресурсы Amazon приобрела Annapurna Labs для удовлетворения потребностей центров обработки данных. Amazon Web Services извлекла выгоду из использования внутренних возможностей проектирования микросхем для создания уникальных возможностей для клиентов. В заключение следует отметить, что Amazon вышла на новый уровень возможностей центров обработки данных по сравнению с конкурентами, которых будет трудно догнать.

Примечания по оптимизации программного обеспечения инфраструктуры Оптимизация ИТ-ресурсов — это постоянная проблема для приложений с различными требованиями к вычислительным ресурсам, хранилищу и сети. Централизация ИТ-ресурсов у облачных провайдеров позволила поставщикам получить глубокое представление об использовании инфраструктуры и увидеть возможности для улучшения. Стандартизация потребления ресурсов привела к возможности выжать все потери из потребления ресурсов, которое началось с оптимизации программного обеспечения. Когда Amazon анонсировала Lambda в 2014 году, сервис обеспечивал безопасность, изолируя рабочие нагрузки клиентов в выделенных инстансах EC2. . Это требование было менее эффективным и, учитывая очень низкие цены Lambda, возможно, менее выгодным предложением для Amazon. Требование, чтобы каждый клиент находился в выделенных экземплярах, также создало ограничение для очень быстрого масштабирования. По мере улучшения качества обслуживания поставщики предлагали более эффективные решения, ускоряя выполнение на уровне микросхемы для конкретных требований к программному обеспечению.

Примечания о приобретении Annapurna Labs Amazon приобрела Annapurna Labs, израильский стартап, для создания SoC (System-On-Chip) на основе системы без фабрик. SoC обычно представляет собой интегральную схему, которая объединяет различные вычислительные компоненты для включения в одну и ту же платформу, которую можно использовать в нескольких приложениях. SoC обычно используется для дифференциальных характеристик производительности. Приобретение Annapurna Labs дало Amazon преимущество перед основными отраслевыми конкурентами в облачном пространстве и возможность уменьшить любые ограничения производительности EC2, которая работала на Xen, гипервизоре с открытым исходным кодом. Amazon ориентируется на два основных технологических рынка, использующих специализированные чипы — облачные вычисления и вычисления AI/ML, стремясь удовлетворить потребности клиентов с помощью кремния. Пять основных чипов в рамках Annapurna Lab: Amazon Graviton, Amazon Graviton2, Amazon Graviton3, Nitro Chip и Amazon Inferentia. Firecracker, технология виртуализации KVM с открытым исходным кодом, была выпущена в 2018 году и позволила повысить эффективность использования ресурсов. с микровиртуальными машинами и безопасностью за счет изоляции рабочих нагрузок. Способность MicroVM быстро разгоняться также улучшает возможность быстрого масштабирования.

Последнее примечание: Дханьяшри Прем Санкар, студент Purdue, внес свой вклад в эту статью, наблюдая за лабораториями Nitro и Annapurna Labs.

Первоначально опубликовано на https://robustcloud.com 29 августа 2022 г.