"Черные лебеди": извлечение редких событий из текста

Аннотация

Задача поиска аномалий в текстах становится все более востребованной в области анализа клиентского опыта. Это связано как с наработанными за последние годы знаниями об отзывах клиентов, так и со сдвигом интереса от статистически значимого к статистически незначимому в других научных дисциплинах. Статистический анализ частотных и легко прогнозируемых причин обращения клиентов в службу контроля качества и клиентского негативного опыта — задача не новая и до известной степени решенная. Противоположная же ей задача — поиск и идентификация редких и нечастотных аспектов негативного опыта клиента — задача весьма новая и не имеющая на сегодняшний день стандартных подходов к решению. Извлечение аномалий (anomaly detection) существует как самостоятельная задача во многих областях, где применяется машинное обучение и анализ большого объема данных, а также при создании различных систем мониторинга.