Русские культурные скрипты в теории семантических примитивов А. Вежбицкой и их интерпретация в LLM

Аннотация

Статья посвящена исследованию способности больших языковых моделей (LLM) распознавать и генерировать толкования русских культурных скриптов, написанные на естественном семантическом метаязыке (ЕСМ) А. Вежбицкой. Помимо оценки способности современных LLM оперировать семантическими универсалиями, работа вносит вклад в понимание того, насколько эти модели адаптированы к русской языковой картине мира.
Эмпирической основой исследования стал эксперимент, в рамках которого модели получали два вида запросов: распознать русское лингвоспецифичное слово по его толкованию, написанному на ЕСМ, а также сгенерировать собственное толкование для того же слова. В качестве материала использовались девять русских культурных скриптов, описанных А. Вежбицкой. В эксперимент были включены пять современных LLM, различающихся архитектурой и составом данных, на которых они обучены. Для оценки качества результатов был проведен экспертный опрос, количественная оценка сходства между толкованиями моделей и эталонными толкованиями А. Вежбицкой и статистический анализ полученных данных, который включал сравнение средних экспертных оценок и дисперсионный анализ.
Эксперимент показал, что разные по происхождению LLM приблизительно в равной степени способны использовать ЕСМ для описания русских скриптов, однако качественная и количественная оценки сгенерированных толкований показали не однозначный результат.