Подробное описание документа

Мельников К. С., Белов Ю. С.
   Процесс дообучения большой языковой модели на примере задачи генерации заголовков / Мельников К. С., Белов Ю. С. // Наукоёмкие технологии в приборо- и машиностроении и развитие инновационной деятельности в вузе : материалы Региональной научно-технической конференции, Калуга, 15-17 апреля 2025 года : в 2 т. / МГТУ им. Н. Э. Баумана (национальный исследовательский университет). - 2026. - Т. 2. - С. 60-63.

Рассмотрены особенности моделей на архитектуре трансформер в контексте задачи генерации заголовков. Описаны шаги для дообучения большой языковой модели с использованием собственного датасета. Рассмотрены методы оптимизации модели для экономии памяти и ускорения процесса дообучения. Цель доклада — описать основные этапы процесса дообучения больших языковых моделей на примере Llama 2, рассмотреть доступные методы оптимизации модели, сравнить результаты генерации заголовков для разных моделей. Результаты работы могут быть применены для ознакомления с процессом дообучения больших языковых моделей, а также при выборе подхода для оптимизации модели.
Ключевые слова: большие языковые модели, генерация заголовков, квантизация, оп-тимизация модели, архитектура трансформеров, низкоранговая адаптация