Мэтчинг товаров: сопоставление и дедупликация каталогов

Мэтчинг товаров (пишут и «матчинг») — это когда один и тот же товар из разных источников собирают в одну карточку. У одного продавца товар называется «Кроссовки Nike Air Max 90, белые, 42 размер», у другого — «Air Max 90 White EU42», у третьего — просто артикул поставщика. Для человека это один и тот же товар. Для компьютера — три разных строчки в таблице, пока их не сопоставили вручную или с помощью ИИ. Мы делаем это в масштабе десятков миллионов товаров: свели каталог из ~50 млн позиций для платформы Brandquad.

Пять карточек одного товара превращаются в одну. Руками это месяцы, и всё равно с ошибками.

Почему это больно вручную

Маркетплейс получает товары от тысяч продавцов. У каждого — своё название, своё описание, свои фото, свой артикул. Без сопоставления это превращается в кашу: один товар лежит в каталоге под пятью разными карточками, покупатель не может сравнить цены, а аналитика по остаткам врёт, потому что система считает пять карточек за пять разных товаров. Нанять людей, которые вручную сверяют миллионы строк, — дорого и медленно, а при таком объёме люди всё равно ошибаются.

Что мы делаем

• Сопоставляем карточки одного товара. Разные названия, разное написание, разные артикулы одного и того же товара сводим в одну карточку.
• Убираем дубли из каталога. Находим и объединяем товары, которые случайно попали в каталог несколько раз под разными именами.
• Дополняем неполные карточки. Если у одного источника есть фото, а у другого — точные характеристики, собираем полную карточку из кусков.
• Работаем с любым объёмом. От нескольких тысяч позиций до десятков миллионов — сам метод не меняется, меняется только время работы.
• Отдаём результат в вашем формате. Выгрузка в файл, запись в вашу базу данных или в PIM-систему (систему хранения карточек товаров) — как вам удобно забирать данные.

Кейс: Brandquad — 50 миллионов товаров

Brandquad — платформа для управления товарными данными (PIM). Для неё мы сопоставили каталог примерно из 50 миллионов товаров: свели разные названия и артикулы одного товара в единые карточки. Это один из крупнейших объёмов мэтчинга, с которыми мы работали, — задача была не просто написать алгоритм, а сделать так, чтобы он не терял точность на десятках миллионов строк.

Для кого эта услуга

• Маркетплейсы — сведение карточек от тысяч продавцов в единый каталог.
• Агрегаторы цен — сопоставление одного товара у разных магазинов, чтобы честно сравнивать цены.
• PIM-системы и крупные каталоги — приведение товарных данных к одному стандарту перед тем, как отдать их в продажу.

Сколько стоит

• Экспресс-разбор — бесплатно. Смотрим, из каких источников идут ваши карточки и насколько они расходятся между собой.
• Пробное сведение — бесплатно. Берём небольшую выборку из вашего каталога и показываем, что и с какой точностью сводится.
• Пилот на вашей выборке — от 500 000 ₽. Одна категория целиком, с проверкой спорных случаев руками и отчётом по точности.
• Полный каталог — считаем отдельно. Зависит от объёма, числа источников и того, насколько разнобойно у вас описаны товары.

Смета постатейная. Мы всегда показываем не только процент сведённого, но и то, сколько позиций ушло на ручную проверку — по этой цифре видно настоящее качество работы.

Как проходит внедрение

1. Разбор данных. Смотрим, откуда приходят товарные данные, в каком они

виде и насколько по-разному называются одинаковые товары.

1. Пилот на части каталога. Сопоставляем небольшой срез данных и

показываем точность результата, прежде чем брать весь объём.

1. Настройка правил. Прописываем, по каким признакам считать товары

одинаковыми — название, артикул, штрихкод, характеристики, фото.

1. Обработка полного каталога. Прогоняем весь объём и отдаём результат

в согласованном формате.

1. Обновление. Настраиваем регулярный пересчёт, чтобы новые товары и

изменения в каталоге подхватывались автоматически, а не разово.

Стоимость зависит от объёма каталога, качества исходных данных и того, насколько по-разному источники называют одни и те же товары — считаем после разбора данных. [цена уточняется]

Частые вопросы

Чем мэтчинг отличается от простого поиска дублей? Поиск дублей ищет полностью одинаковые записи. Мэтчинг сопоставляет товары, которые называются и описаны по-разному, но на самом деле один и тот же товар — это сложнее и требует понимания контекста, а не только сравнения текста.

Какая точность у сопоставления? Зависит от качества исходных данных: чем больше у товара признаков — фото, штрихкод, характеристики, а не только название, — тем точнее результат. На пилоте показываем реальную точность на вашем каталоге, прежде чем переходить к полному объёму.

Можно ли сопоставить каталоги на разных языках? Да, метод работает и с разноязычными названиями — актуально для маркетплейсов с зарубежными поставщиками.

Сколько времени занимает мэтчинг каталога в 50 млн товаров? Зависит от качества исходных данных и того, сколько признаков есть у каждого товара. Пилот на части каталога даёт оценку срока для всего объёма ещё до начала полной обработки.

Как часто нужно пересчитывать каталог? Зависит от того, как часто у вас появляются новые товары или меняются описания. Настраиваем регулярный пересчёт — от ежедневного до еженедельного — под ваш темп обновления каталога.

Хотите свести свой каталог в порядок

Покажем на примере среза вашего каталога, сколько дублей и путаницы в нём есть сейчас и сколько товаров получится свести в единые карточки. Запись на демо: +7 383 380-81-89, Telegram @lcstudio, Пн–Вс 8:00–21:00 (Новосибирск).

Смежные услуги: Парсинг данных под ключ — если товарные данные нужно сначала собрать из открытых источников; Мониторинг цен конкурентов — если кроме сопоставления товаров нужно следить за ценами по городам. Категория: Датамайнинг. Отраслевой хаб: ИИ в рознице.

Для технических специалистов

Мэтчинг строим на комбинации точных признаков (штрихкод, артикул поставщика) и нечёткого сопоставления текста и изображений там, где точных признаков нет или они у источников разные. Для текстовых описаний используем сравнение смысла, а не только совпадение слов (в индустрии это называют семантическим сопоставлением через эмбеддинги — числовые «отпечатки» смысла текста). Для фото — сравнение по визуальному сходству. Результат проходит через ручную проверку выборки перед сдачей, чтобы контролировать точность на реальных данных, а не только на тесте. Отдаём данные через выгрузку (CSV, Excel), запись в базу данных клиента или интеграцию с PIM-системой по API.