Журнал «Современная Наука»

Перевод нейронной сети в векторное представление

Шаламов Вячеслав Владимирович (аспирант, Университет ИТМО, Россия, г. Санкт-Петербург)

Ефимова Валерия Александровна (аспирант, Университет ИТМО, Россия, г. Санкт-Петербург)

Фильченков Андрей Александрович (к. ф.-м. н., Университет ИТМО, Санкт-Петербург)

В последнее время в мире широко применяются модели глубокого обучения, в частности нейронные сети. Многие архитектуры нейронных сетей создаются человеком вручную, что не позволяет достичь оптимальных результатов. Существуют алгоритмы поиска архитектуры нейронных сетей, которые позволяют автоматизировать процесс поиска и создания архитектуры нейронных сетей. В недавних исследованиях было показано, что если использовать векторное представление нейронной сети, то можно сократить поиск архитектуры нейронной сети. Предложен алгоритм, переводящий нейронную сеть в графовое векторное представление и обратно, который минимизирует потери информации при конвертации. Были рассмотрены три модели для сжатия: автокодировщик, вариационный автокодировщик и последовательность-в-последовательность. Было проведено сравнение вариаций предложенной модели между собой и с известными моделями на основе вариационного автокодировщика: D-VAE и DVAE-EMB по потерям при сжатии и по расхождению Кульбака-Лейблера. Результаты работы сжатых и разжатых с помощью предложенного метода нейронных сетей остаются не хуже чем у существующих методов, при этом предложенное решение позволяет достичь меньшую размерность скрытого пространства, используя структуру графа и кодируя атрибуты отдельно от вершин графа.

Ключевые слова:поиск архитектуры нейронной сети; векторное представление; вариационный автокодировщик; графы с атрибутами

Читать полный текст статьи …

Ссылка для цитирования:
Шаламов В. В., Ефимова В. А., Фильченков А. А. Перевод нейронной сети в векторное представление // Современная наука: актуальные проблемы теории и практики. Серия: Естественные и Технические Науки. -2022. -№10. -С. 159-162 DOI 10.37882/2223-2966.2022.10.38

ПРАВОВАЯ ИНФОРМАЦИЯ:
Перепечатка материалов допускается только в некоммерческих целях со ссылкой на оригинал публикации. Охраняется законами РФ. Любые нарушения закона преследуются в судебном порядке.
© ООО "Научные технологии"