Знакомство с Web3 в качестве специалиста по данным и инженера по машинному обучению

После многих недель слухов о Web3, т. е. случайным образом пролистываю свою ленту в Твиттере и везде нахожу этот термин. Я ненавижу модные словечки и модные термины, но это то, что кажется, что оно здесь, чтобы остаться. Итак, я неохотно сделал глубокое погружение в него на выходных. Что привлекло мое внимание, так это идея децентрализации контроля и владения, которая в настоящее время есть только у нескольких компаний.

Я бы не стал утомлять вас длинным определением Web3, если бы я что-то узнал из своих исследований, так это то, что определение Web3 постоянно развивается. Тем не менее, важно знать, что такое Web3, чтобы знать, как вы подходите.

Технология Web 3.0 — это просто честная и прозрачная сеть, в которой люди будут взаимодействовать, не опасаясь потери безопасности или конфиденциальности.

Итак, представьте себе сеть, в которой пользователи контролируют свою собственную информацию и предоставляют токены доступа компаниям, которые хотят использовать эти данные. Это должно быть основано на искусственном интеллекте и одноранговых приложениях, таких как блокчейн. Криптографическая и распределенная технология блокчейна обеспечивает как безопасность, так и конфиденциальность данных. Но чтобы быть Web 3.0, он должен присутствовать для всех пользовательских данных.

Блокчейн заново изобретает способ хранения данных и управления ими. Он предоставляет уникальный набор данных (уровень универсального состояния), которым коллективно управляют. Этот уникальный уровень состояния впервые включает уровень расчета стоимости для Интернета. Это позволяет нам отправлять файлы защищенным от копирования способом, обеспечивая настоящие P2P-транзакции без посредников.

Что это значит для специалистов по данным и инженеров по машинному обучению?

Поскольку Web 3 полностью сосредоточен на автономии пользователя, это достигается за счет распределения пользовательских данных по технологиям хранения с поддержкой блокчейна. Веб-приложения также распространяются на этих же блокчейн-платформах, поэтому пользователи могут разрешить этим приложениям (или, как их называют, dApps) доступ к своим данным, создавая более богатый и актуальный опыт. В отличие от традиционных источников данных (например, корпоративных баз данных с централизованным управлением), пользователям больше не нужно запрашивать данные у предприятий, поскольку они уже контролируют их и хранят в блокчейне.

Поскольку данные теперь хранятся распределенным образом по всему Интернету, ИИ можно развернуть для более полного понимания потребностей пользователей путем разработки языковых моделей, обеспечивающих семантическое понимание, поскольку запросы привязаны к взаимодействиям с пользователем. По своей конструкции блокчейны обеспечивают несколько преимуществ, которые важны для приложений науки о данных:

• Отслеживаемость: протокол консенсуса разработан таким образом, что сеть может коллективно запоминать предшествующие события или взаимодействия с пользователем. Таким образом, Биткойн решил проблему двойных расходов, предоставив единый источник информации о том, кто, что и когда получил. Более того, у большинства публичных блокчейнов есть обозреватели — веб-сайты, на которых каждый может просмотреть любую запись, когда-либо созданную в соответствующем блокчейне (см., например, обозреватели Bitcoin, Ethereum и Ripple).
• Встроенная анонимность: Блокчейны не требуют от своих пользователей предоставления какой-либо личной информации, что важно в мире, где сохранение конфиденциальности стало реальной проблемой. С точки зрения Data Scientist, это помогает преодолеть головную боль, связанную с некоторыми нормативными актами (например, GDPR в Европе), которые требуют анонимизации персональных данных перед их обработкой.
• Высокое качество данных: данные в блокчейне обычно хорошо структурированы, а их схемы хорошо документированы. Все новые записи также проходят строгий процесс проверки, специфичный для блокчейна, на основе одного из многих протоколов консенсуса. После проверки и утверждения эти записи становятся неизменяемыми — никто не может изменить их ни для каких целей, хороших или злонамеренных. Это делает жизнь Data Scientist, работающего с такими данными, намного проще и предсказуемее.
• Большие объемы данных. Многие алгоритмы машинного обучения требуют больших объемов данных для обучения моделей. Это не проблема в зрелых блокчейнах, которые предлагают тонны данных.

Как мы затем собираем данные из блокчейнов для Web3?

Сбор данных — это первое препятствие, с которым большинство специалистов по данным, таких как я, вероятно, столкнутся в своих проектах, связанных с блокчейном или Web3. Несмотря на то, что отдельные записи блокчейна легко проверить с помощью вышеупомянутых веб-сайтов-проводников. Однако автоматизация сбора больших наборов данных, подходящих для целей науки о данных, может оказаться непростой задачей, для решения которой могут потребоваться специальные навыки, программное обеспечение и финансовые ресурсы. Тем не менее, вот четыре основных варианта, которые можно было бы рассмотреть.

1. Рынки данных Web3

С появлением Web3 появились компании, предоставляющие торговые площадки для агрегаторов данных, таких как компании и специалисты по данным, чтобы они могли собираться вместе, чтобы покупать и продавать активы данных в децентрализованной структуре. Одна компания, за которой я слежу и которая делает значительные шаги в этом направлении, — Ocean Protocol.

Ocean Protocol позволяет частным компаниям продавать свои активы данных на рынке без необходимости делиться данными за пределами своих брандмауэров. Ocean Protocol использует оркестровку «Compute-to-Data», которая позволяет моделям ИИ обучаться на частных данных.

Вы знаете, как это захватывающе? Представьте себе возможность обучения модели заболевания с использованием данных из нескольких крупных больничных сетей без доступа к самим данным, а только к метаданным.

Еще одна интересная возможность для специалистов по данным и инженеров по машинному обучению с этим новым протоколом данных – возможность покупать данные, объединять их с другими данными, улучшать их с помощью моделей машинного обучения и продавать обратно в усиленном виде.