Подробное описание документа

Статья

Сафронов Н. С., Белов Ю. С.
Mamba: эффективная обработка длинных последовательностей в NL2Code / Сафронов Н. С., Белов Ю. С. // Наукоёмкие технологии в приборо- и машиностроении и развитие инновационной деятельности в вузе : материалы Региональной научно-технической конференции, Калуга, 15-17 апреля 2025 года : в 2 т. / МГТУ им. Н. Э. Баумана (национальный исследовательский университет). - 2026. - Т. 2. - С. 93-96.

Аннотация

Задачи генерации программного кода на основе естественного языка (NL2Code) сталкиваются с проблемой обработки длинных и сложных последовательностей, таких как вложенные алгоритмы или многофайловые проекты. Традиционные архитектуры, включая трансформеры, демонстрируют ограниченную эффективность из-за квадратичной вычислительной сложности механизма внимания. Представлен архитектурный подход Mamba, основанный на модифицированных State-Space Models (SSM), который решает эти проблемы за счет линейной сложности, динамического управления контекстом и адаптивного позиционного кодирования.
Ключевые слова: архитектура Mamba, NL2Code, State-Space Models, линейная вычислительная сложность, динамическое управление контекстом, адаптивное позиционное кодирование, генерация программного кода

УДК
004.89 Прикладные системы искусственного интеллекта. Интеллектуальные системы, основанные на использовании знаний

Авторы МГТУ

Белов Юрий Сергеевич

Статья опубликована в следующих изданиях

с. 93-96

Наукоёмкие технологии в приборо- и машиностроении и развитие инновационной деятельности в вузе : материалы Региональной научно-технической конференции, Калуга, 15-17 апреля 2025 года : в 2 т. / МГТУ им. Н. Э. Баумана (национальный исследовательский университет). - М. : Изд-во МГТУ им. Н. Э. Баумана, 2026. - ISBN 978-5-7038-6701-3.
Т. 2. - 2026. - 449 с. : ил. - Библиогр. в конце статей. - ISBN 978-5-7038-6707-5.

подробнее