Методы устранения неполноты данных при онлайн-мониторинге рынка труда

Аннотация

Проблема неполноты данных весьма характерна при проведении социологических, экономических и статистических исследований с использованием онлайн-данных. Возможными причинами неполноты данных могут быть: ошибки и изменения на площадках-источниках данных, сбои и ошибки в работе инструментов, осуществляющих сбор данных и т.д. Поскольку для осуществления анализа наличие пропусков в данных обычно нежелательно, то предпочтительное решение – заполнить недостающие значения с применением подходящего метода, не приводящего к искажению результатов. В данной статье представлен обзор методов устранения неполноты данных и описано применение метода k-средних для заполнения пропусков в собранных нами онлайн-данных по рынку труда. Сравнение результатов, полученных на основе метода k-средних, с данными, дополнительно обработанными системой, свидетельствуют о том, что эффективность метода не оказалась приемлемой. Для решения проблемы мы рекомендуем использование API-механизмов, предоставляемых онлайн-площадками, которые при своих возможных ограничениях всё же позволяют обеспечить более высокую степень полноты данных.