GPU научились быстрее обучать графовые нейросети: как это сделали в ШАДе и Яндексе

В ШАДе и Яндексе нашли способ ускорить работу графовых нейросетей (GNN) на видеокартах. Обычно такие модели применяют для анализа неструктурированных данных — например, в антифроде или рекомендательных системах. Но их ключевая операция — агрегация признаков по соседям в графе — плохо ложится на архитектуру GPU, где данные должны быть строго структурированы для максимальной скорости.

Проблема в том, что вершины графа могут храниться в памяти видеокарты в произвольном порядке, и чтение нужных признаков становится неэффективным. Исследователи подошли к задаче иначе: они собрали набор специализированных GPU-ядер, каждое из которых оптимизировано под определённый класс графовых моделей — сверточные, агрегирующие и attention-based архитектуры. Это позволило снизить издержки на постоянный доступ к памяти и уменьшить объёмы пересылаемых данных между операциями.

В экспериментах на больших графах команда увидела не только ускорение вычислений, но и снижение потребления памяти по сравнению с существующими решениями. Результаты работы были представлены на конференции ICML 2026 и получили признание научного сообщества.

Для тех, кто хочет подробнее изучить подход, исследование опубликовано на Arxiv, а код доступен на GitHub.

Нейро Отличник