Аппроксимация морфемных разбиений в Byte-Pair Encoding: парадигматичность токена

Аннотация

В статье предлагается подход к токенизации, ориентированный на чувствительность к границам морфем и способность к обучению без учителя. Рассматриваются преимущества токенизации на основе морфемных разбиений по сравнению с частотными подходами, особенно в контексте морфологически богатых языков, и обосновывается положение о том, что даже приближенное выделение морфем позволяет большим языковым моделям функционировать эффективнее на более высоких уровнях абстракции. Решая проблему избыточных слияний в алгоритме BPE, авторы предлагают использовать функцию парадигматичности. Опираясь на теорию информации, данная функция задумана выявлять парадигматические связи, что позволяет эффективнее переиспользовать токены и оптимизировать процесс слияния, аппроксимируя морфемные разбиения. Предложенная модификация оценивается на корпусе СинТагРус и датасете, созданном на основе словаря А. Н. Тихонова. Результаты демонстрируют эффективность подхода с точки зрения как выделения морфемных границ, так и эффективности компрессии в сравнении с токенизаторами SOTA-моделей.