Мониторинг цен в аптечной рознице: 20 с лишним сайтов, 33 города

Что происходит

Цена на один и тот же препарат в соседних аптеках отличается, и меняется она каждый день. У сети это вопрос выручки: где-то продаём дешевле, чем могли бы, где-то теряем покупателя, который сравнил и ушёл в аптеку через дорогу. У производителя вопрос другой, но не менее денежный: соблюдают ли розничные точки рекомендованную цену и вообще стоит ли его товар на полке.

Проверять это руками невозможно. Один человек не обойдёт двадцать сайтов по тридцати трём городам ни за день, ни за неделю. Значит цену либо держат на глаз, либо не трогают месяцами.

И задача не решается поиском по названию, потому что

один и тот же препарат у всех называется по-разному. «Бальзам д/полости рта Альбадент укрепляющий 400мл» и «Альбадент, бальзам для полости рта укрепляющий, 400 мл» — это одна позиция. Ни один поиск по буквам их не сведёт.

Что сделали

• Собираем карточки и цены больше чем с 20 сайтов аптечных сетей по 33 городам.
• Сопоставляем найденные товары со справочником заказчика по смыслу, а не по буквам — с отдельной проверкой дозировки, количества в упаковке и бренда.
• Складываем всё в одно хранилище, где данные лежат по датам и городам.
• Отдаём два разных отчёта: где расходимся по цене и что машина сопоставить не смогла.

Объём задачи: эталонный справочник — 30 830 позиций по 199 признакам, источников больше двадцати, городов 33. Пул источников мы продолжаем расширять, и каждый новый сайт увеличивает не только объём, но и точность: одна и та же позиция встречается чаще, и разночтения в названиях становится проще разрешать.

Кому это нужно

Аптечным сетям — чтобы видеть свою цену рядом с ценой конкурента в каждом городе, а не в среднем по стране.

Фармпроизводителям — чтобы понимать, где их товар вообще стоит на полке и по какой цене его продают. Это ровно те данные, которых нет в собственной отчётности: она заканчивается на отгрузке дистрибьютору.

Где такие системы обычно ломаются

На ложных совпадениях. Свести «Альбадент 400мл» и «Альбадент, 400 мл» несложно. Проблема в паре, где совпало всё, кроме дозировки: система уверенно скажет «это один товар», отчёт уйдёт наверх, и по нему поменяют цену. На другой товар.

Поэтому отчёта два, а не один: отдельно уверенные совпадения, отдельно то, что должен посмотреть человек. Пропустить позицию дешевле, чем сравнить себя не с тем товаром.

Второе место — сбор данных. Сайт меняет вёрстку, и сбор молча останавливается. При двадцати с лишним источниках это происходит регулярно, поэтому за работоспособностью каждого мы следим отдельно и чиним до того, как заказчик обнаружит, что данных нет уже неделю.

Где данные хранятся

Хранилище разворачивается в контуре заказчика. Мы отдаём схему и доступы. При расставании данные никуда не уезжают — они и так у вас. Это отличает подход от подписных сервисов, где вы платите за доступ к чужой базе и теряете всё в день окончания подписки.

Для технических специалистов

Manticore Search с векторным полем, модель multilingual-e5-base, ClickHouse как источник и приёмник, конвейер по статусам батчей, выгрузка в XLSX и на Яндекс.Диск. Сбор идёт с ротацией адресов и щадящим темпом обхода, каждый источник мониторится отдельно.

Сколько стоит

Отраслевое внедрение — от 1 500 000 ₽, срок от двух месяцев. Сопровождение 150 000–400 000 ₽ в месяц. Перед этим — аудит процессов за 150 000 ₽ с расчётом окупаемости, он засчитывается в стоимость внедрения.

Парсинг данных · Матчинг товаров