Даниэль Ко
Графовые нейронные сети: от CNN к GAT
Высокий уровень понимания перехода к SiGAT.
Обзор
Нейронные сети графов (GNN) позволили моделировать и анализировать сложные отношения из структур данных графа. В этом блоге мы рассмотрим эволюцию GNN, начиная со сверточных нейронных сетей (CNN) до графовых сверточных сетей (GCN), а затем и графовых сетей внимания (GAT). Наконец, мы рассмотрим предложенную сеть внимания со знаком подписанного графа (SiGAT) от 2019 года, которая включает обработку как положительных, так и отрицательных ссылок для захвата популярных теорий, таких как теория баланса.
Сверточные нейронные сети (CNN)
Сверточные нейронные сети позволили добиться больших успехов в таких задачах, как классификация изображений. Из-за сетчатой структуры изображений CNN могут извлекать признаки слой за слоем. Сила CNN заключается в том, что они могут извлекать более сложные функции по мере перехода к более глубоким слоям. Однако CNN в основном используются для компьютерного зрения и с трудом обрабатывают другие типы данных, такие как графики.
Графовые нейронные сети (GNN)
Графовые нейронные сети расширяют возможности глубокого обучения для графоподобных структур. Существуют различные экземпляры, моделируемые графами, такие как социальные сети, где узлы — это пользователи, а ребра — отношения, или карты, где узлы — это места, а ребра — дороги. GNN позволяют нам моделировать сложные отношения в этих графах, которые мы иначе не могли бы найти. Различные задачи, такие как классификация узлов и предсказание ссылок, могут позволить нам определить, как группировать узлы (пользователи/места) или рекомендовать ли узлы другим узлам.
Граф сверточных сетей (GCN)
Графовые сверточные сети были одной из первых архитектур GNN, которые продемонстрировали мощь GNN. GCN используют передачу сообщений, когда узлы могут обмениваться своей информацией (функциями) с соседями, что позволяет собирать информацию вокруг них. Это позволит GCN собирать и распространять информацию по всему графику, позволяя нам получать закономерности в данных.
И CNN, и GCN разделяют концепцию обмена информацией с ближайшими соседями. В CNN скользящее окно извлекает функции, тогда как в GCN передача сообщений происходит от узлов к их соседям.
Графические сети внимания (GAT)
Основное отличие от GCN заключается в том, что сети графового внимания вводят нечто, называемое вниманием. Мы можем думать о внимании как о способе для узлов определить, на какие узлы следует обращать внимание при передаче сообщений. Показатели внимания для каждого узла определяются через определенные особенности узлов и ребер, а также с учетом особенностей его соседей. После этого баллы масштабируются, чтобы их можно было сравнить из разных частей графика. Имея показатель внимания, мы можем определить или указать важность определенных узлов на основе их характеристик. GAT также используют многоголовое внимание, которое использует характеристики своих соседей и оценки внимания в качестве весов, а затем объединяет их, позволяя каждому узлу получать информацию от своих соседей. Затем узел обновляет свои функции, позволяя узлам в графе иметь функции, основанные на оценках внимания его соседей.
Сети внимания к подписанным графам (SiGAT)
Сети внимания со знаковым графом были предложены в 2019 году, расширяя архитектуру GAT для обработки графов со знаком (графов, ребра которых имеют положительные или отрицательные знаки). GAT были разработаны для работы с положительными ссылками. Используя SiGAT, в документе надеялись охватить популярные теории, такие как теория баланса и теория статуса. Теория баланса — это просто общая идея «друг моего друга — мой друг» и «враг моего врага — мой враг», тогда как теория статуса — это идея о том, что положительный знак указывает на присвоение узлу более высокого статуса и отрицательный знак указывает на присвоение узлу более низкого статуса. SiGAT отличается от GAT введением подписанных мотивов. Они предположили, что, поскольку положительные соседи и отрицательные соседи имеют разные эффекты, их следует оценивать отдельно. Сгруппировав узлы в мотивы, они смогли получить разные окрестности для каждого узла. Используя GAT для каждого мотива и объединяя их, они смогли получить представления от каждого из мотивов, что позволило SiGAT получить информацию, которая отличала различные отношения, которые произошли, от подписанных связей. SiGAT предлагает улучшения по сравнению с GAT в прогнозировании ссылок для подписанных графов.
Заключение
В целом, мы исследовали переход от сверточных нейронных сетей (CNN) к сетям внимания графов (GAT) и сетям внимания графов со знаком (SiGAT). Хотя мы рассмотрели только SiGAT из GAT, исследователи постоянно разрабатывают и изучают новые архитектуры и методы для GNN. Графовые нейронные сети стали мощными инструментами для различных областей, таких как социальные сети, рекомендательные системы и даже молекулярная химия. По мере развития этой области мы можем ожидать еще большего прогресса и приложений GNN в будущем.
Читателям
Моя мотивация для написания этого состояла в том, чтобы укрепить собственное понимание графовых нейронных сетей. Я решил сосредоточиться на SiGAT, поскольку один из наборов данных, которые они использовали для тестирования (биткойн-альфа), был мне знаком. Если в моей работе есть какие-либо серьезные недостатки или неточности, пожалуйста, дайте мне знать, чтобы я мог вернуться к ней. Все что угодно помогает!
Спасибо, что прочитали!
