Подготовка и очистка данных

Это самая скучная часть работы и одновременно та, от которой зависит всё остальное. Помощник, обученный на грязных данных, уверенно выдаёт неверные ответы — и это хуже, чем если бы он не отвечал вовсе.

Что делает

Убираем дубли — одна и та же запись в трёх местах с разными названиями. Разбираем противоречия — где два документа говорят разное. Отсекаем устаревшее: прайс двухлетней давности не должен участвовать в ответах. Приводим к одному виду данные из разных источников, где одно и то же поле называется и заполняется по-разному.

Опыт

Для компании Brandquad мы сопоставляли товарный датасет примерно на 50 миллионов позиций. Задача сопоставления — понять, что «Молоко Домик в деревне 3,2% 950мл» и «Молоко ДВД 3.2 0,95 л» это один товар, — как раз про очистку данных, только в большом масштабе.

Кому подходит

Всем, кто собирается что-то внедрять на своих данных. И отдельно — рознице и производству, где каталоги собирались годами разными людьми.

Что нужно от вас

Доступ к источникам и человек, который может подтвердить, какая версия данных верная. Технически мы сведём что угодно, но решение о том, что считать правдой, остаётся за вами.

С чего начать

С оценки состояния: берём выборку и показываем, сколько там дублей и противоречий. Обычно эта цифра сама решает вопрос, нужна работа или нет.