Оценка лингвистической компетенции больших языковых моделей на материале корпуса согласовательной вариативности

Аннотация

Данное исследование нацелено на оценку сходства и различия лингвистической компетенции носителей языка и больших языковых моделей (БЯМ). Материалом для сравнения служит созданный нами корпус вариативного согласования (КВаС). Он содержит 6803 предложения с оценками по шкале от 1 до 7, полученными при проведении 20 синтаксических экспериментов по изучению вариативного согласования. Корпус фиксирует средние оценки русских предложений с различными условиями согласования, полученные от носителей языка, и позволяет выяснить, как БЯМ справляются с градуальной оценкой приемлемости. Мы приводим результаты тестирования четырех моделей: преимущественно русскоязычных YandexGPT 5 Pro и GigaChat 2 Max, а также мультиязычных Llama 3.3 70B и Mistral Large. Для каждой модели было опробовано два режима тестирования: zero-shot, содержащий только инструкцию, и few-shot, где добавлены тренировочные предложения и их оценки. Поскольку данные в КВаС демонстрируют различный уровень приемлемости в зависимости от экспериментальных условий, подсчет только средней ошибки для предсказанных моделями оценок будет недостаточно показателен. Нами разработана метрика, позволяющая оценить, какая доля контрастов между экспериментальными условиями, релевантными для людей, выявляется с помощью БЯМ. Результаты показывают, что среднее значение ошибки меньше для предложений без вариативного согласования. Примеры с согласовательной вариативностью оказываются сложнее для БЯМ. Качество моделей проседает для одного и того же типа конструкций — сочинения. Модели значительно лучше определяют контрасты для конструкций с постпозитивными относительными предложениями, количественными конструкциями и управляющими квантификаторами. Наиболее точное совпадение при выделении значимых контрастов по сравнению с носителями языка демонстрирует Mistr