Сравнение NLP-моделей на задаче суммаризации академических текстов на русском языке

Аннотация

В данном исследовании сравниваются основные NLP-модели, такие, как mBART, T5 и GPT-3, которые в своей основе имеют архитектуру трансформеров, т. е. механизм «внимания», кодирующий, декодирующий и нормализующий слои. Данные предобученные модели на задаче суммаризации русского текста были использованы для суммаризации научных статей на русском языке. Для выявления лучшей модели на данном классе задач в исследовании был использован набор данных, включающий в себя тексты научных статей и соответствующие им авторские аннотации на русском языке. Далее, стандартными для задачи суммаризации статистическими метриками, такими, как семейство метрик ROUGE (ROUGE-1, ROUGE-2 и ROUGE-L), а также BLEU и Perplexity, находилась наиболее эффективная модель в рамках поставленной задачи, т. е. сравнивались по отдельности сгенерированные варианты аннотаций с авторской. Полученные результаты имеют практическую ценность, так как суммаризация текста является важной задачей в области обработки естественного языка.