Применение графовых нейронных сетей для имитации четырехшаговой транспортной модели
- Авторы: Хабибулин Р.М.1
-
Учреждения:
- Самарский университет
- Выпуск: Том 1 (2024)
- Страницы: 392-394
- Раздел: ЧАСТЬ I. Цифровые технологии: настоящее и будущее
- URL: https://snv63.ru/osnk-sr2024/article/view/632825
- ID: 632825
Цитировать
Полный текст
Аннотация
Обоснование. Широко распространенной моделью для моделирования транспортных потоков является четырехшаговая модель. Существует исследование [1], ставящее своей задачей имитацию четырехшаговой модели графовыми нейронными сетями. Было показано, что за счет применения нейронных сетей можно снизить время моделирования с десятков секунд до сотен миллисекунд. Тем не менее качество моделирования остается недостаточно высоким. Делается предположение, что путем адаптации структуры нейронной сети под особенности входных данных (путем отделения обработки узлов — зон и остановок — и ребер — дорожных участков, которые во входных данных представлены одним и тем же набором признаков) удастся увеличить показатели качества модели.
Цель — построение графовой нейронной сети, аппроксимирующей четырехшаговую транспортную модель.
Методы. В качестве базовых слоев при построении нейронной сети полагаются полносвязные и графовые сверточные (слои GCN [2]). Предлагается два варианта сетей: с дополнительными слоями для узлов и с отдельной обработкой узлов.
Подробная схема нейронной сети с дополнительными слоями представлена на рисунке 1. Она поделена на три части. Первая часть отвечает за преобразование с использованием полносвязного слоя отдельно вершин-ребер и отдельно вершин-узлов. Во второй части вспомогательные слои используются после слоев GCN, используя обновленные признаки для узлов (случай полносвязного слоя) или как признаки для узлов, так и признаки для ребер (случай сверточного слоя). Таким образом, имеется возможность модификации признаков узлов для более удачного их представления в дальнейшем процессе агрегации. Третья часть неизменна и ответственна за формирование ответа в виде one-hot-вектора с дальнейшим выбором элемента с максимальным значением.
Рис. 1. Схема нейронной сети с дополнительными слоями для узлов
Подробная схема нейронной сети с отдельной обработкой узлов представлена на рисунке 2. Синие стрелки характеризуют отличия от предыдущей схемы, подчеркивая, что узлы модифицируются только вспомогательными слоями. Красные стрелки используются только в случае, когда в качестве вспомогательного слоя используется сверточный слой.
Рис. 2. Схема нейронной сети с отдельной обработкой узлов
В данной сети узлы обрабатываются совершенно независимо от основного слоя GCN. Это выражается в том, что на вспомогательных слоях используются узлы с предыдущего вспомогательного слоя (или исходные узлы на начальном этапе), а не результат обработки первым сверточным слоем.
Результаты. Для эксперимента рассматриваются нейронные сети, состоящие из 5 слоев и обучающиеся в течение 100 эпох. В качестве функции потерь использовалось отрицательное логарифмическое правдоподобие. Сравнение ведется со сверточной графовой сетью [2] и сетью внимания на графах (GAT) [3].
На рисунке 3 приведен график функции потерь для различных реализаций графовых нейронных сетей.
Рис. 3. График функции потерь для различных моделей графовых нейронных сетей
Сеть GCN с линейными слоями для узлов показывает лучшую обучаемость на первых двадцати эпохах при сравнении с исходной GCN. Однако после тридцатой эпохи исходная сеть GCN несколько превосходит данную модификацию.
Значительно лучший результат, превосходящий результат базового GCN, удается достичь, используя в качестве вспомогательного слоя сверточный.
Выводы. Модели с применением сверточных слоев в качестве вспомогательных демонстрируют лучшие показатели качества. Вспомогательные сверточные слои позволяют выгодным образом представлять данные об узлах таким образом, что основные слои обучаются лучше и за меньшее количество эпох.
Таким образом, подтвердилось предположение о зависимости качества и скорости обучения графовой нейронной сети от способа обмена сообщений, а именно от индивидуальности подхода к обработке узлов и ребер по отдельности.
Полный текст
Обоснование. Широко распространенной моделью для моделирования транспортных потоков является четырехшаговая модель. Существует исследование [1], ставящее своей задачей имитацию четырехшаговой модели графовыми нейронными сетями. Было показано, что за счет применения нейронных сетей можно снизить время моделирования с десятков секунд до сотен миллисекунд. Тем не менее качество моделирования остается недостаточно высоким. Делается предположение, что путем адаптации структуры нейронной сети под особенности входных данных (путем отделения обработки узлов — зон и остановок — и ребер — дорожных участков, которые во входных данных представлены одним и тем же набором признаков) удастся увеличить показатели качества модели.
Цель — построение графовой нейронной сети, аппроксимирующей четырехшаговую транспортную модель.
Методы. В качестве базовых слоев при построении нейронной сети полагаются полносвязные и графовые сверточные (слои GCN [2]). Предлагается два варианта сетей: с дополнительными слоями для узлов и с отдельной обработкой узлов.
Подробная схема нейронной сети с дополнительными слоями представлена на рисунке 1. Она поделена на три части. Первая часть отвечает за преобразование с использованием полносвязного слоя отдельно вершин-ребер и отдельно вершин-узлов. Во второй части вспомогательные слои используются после слоев GCN, используя обновленные признаки для узлов (случай полносвязного слоя) или как признаки для узлов, так и признаки для ребер (случай сверточного слоя). Таким образом, имеется возможность модификации признаков узлов для более удачного их представления в дальнейшем процессе агрегации. Третья часть неизменна и ответственна за формирование ответа в виде one-hot-вектора с дальнейшим выбором элемента с максимальным значением.
Рис. 1. Схема нейронной сети с дополнительными слоями для узлов
Подробная схема нейронной сети с отдельной обработкой узлов представлена на рисунке 2. Синие стрелки характеризуют отличия от предыдущей схемы, подчеркивая, что узлы модифицируются только вспомогательными слоями. Красные стрелки используются только в случае, когда в качестве вспомогательного слоя используется сверточный слой.
Рис. 2. Схема нейронной сети с отдельной обработкой узлов
В данной сети узлы обрабатываются совершенно независимо от основного слоя GCN. Это выражается в том, что на вспомогательных слоях используются узлы с предыдущего вспомогательного слоя (или исходные узлы на начальном этапе), а не результат обработки первым сверточным слоем.
Результаты. Для эксперимента рассматриваются нейронные сети, состоящие из 5 слоев и обучающиеся в течение 100 эпох. В качестве функции потерь использовалось отрицательное логарифмическое правдоподобие. Сравнение ведется со сверточной графовой сетью [2] и сетью внимания на графах (GAT) [3].
На рисунке 3 приведен график функции потерь для различных реализаций графовых нейронных сетей.
Рис. 3. График функции потерь для различных моделей графовых нейронных сетей
Сеть GCN с линейными слоями для узлов показывает лучшую обучаемость на первых двадцати эпохах при сравнении с исходной GCN. Однако после тридцатой эпохи исходная сеть GCN несколько превосходит данную модификацию.
Значительно лучший результат, превосходящий результат базового GCN, удается достичь, используя в качестве вспомогательного слоя сверточный.
Выводы. Модели с применением сверточных слоев в качестве вспомогательных демонстрируют лучшие показатели качества. Вспомогательные сверточные слои позволяют выгодным образом представлять данные об узлах таким образом, что основные слои обучаются лучше и за меньшее количество эпох.
Таким образом, подтвердилось предположение о зависимости качества и скорости обучения графовой нейронной сети от способа обмена сообщений, а именно от индивидуальности подхода к обработке узлов и ребер по отдельности.
Об авторах
Раис Маратович Хабибулин
Самарский университет
Автор, ответственный за переписку.
Email: raishab@yandex.ru
студент
Россия, СамараСписок литературы
- Makarov N. Development of a deep learning surrogate for the four-step transportation model // Transportation Systems Engineering, Technical University of Munich. 2021.
- Kipf T.N., Welling M. Semi-supervised classification with graph convolutional networks // arXiv. 2016. ID 02907.
- Veličković P., Cucurull G., Casanova A., et al. Graph attention networks // arXiv. 2017. ID 10903.
Дополнительные файлы
