Методы устранения неполноты данных при онлайн-мониторинге рынка труда

Виктория Сергеевна Гиоргашвили, Максим Александрович Бакаев

Аннотация


Проблема неполноты данных весьма характерна при проведении социологических, экономических и статистических исследований с использованием онлайн-данных. Возможными причинами неполноты данных могут быть: ошибки и изменения на площадках-источниках данных, сбои и ошибки в работе инструментов, осуществляющих сбор данных и т.д. Поскольку для осуществления анализа наличие пропусков в данных обычно нежелательно, то предпочтительное решение – заполнить недостающие значения с применением подходящего метода, не приводящего к искажению результатов. В данной статье представлен обзор методов устранения неполноты данных и описано применение метода k-средних для заполнения пропусков в собранных нами онлайн-данных по рынку труда. Сравнение результатов, полученных на основе метода k-средних, с данными, дополнительно обработанными системой, свидетельствуют о том, что эффективность метода не оказалась приемлемой. Для решения проблемы мы рекомендуем использование API-механизмов, предоставляемых онлайн-площадками, которые при своих возможных ограничениях всё же позволяют обеспечить более высокую степень полноты данных.

Ключевые слова


качество данных; пропуски в данных; веб-майнинг ; рынок труда; k-среднее

Полный текст:

PDF

Ссылки

  • На текущий момент ссылки отсутствуют.