Репозиторий данных — это одно место, куда компания складывает данные из разных систем, чтобы их можно было смотреть вместе и получать один ответ, а не три разных.
Звучит скучно, но именно отсутствие такого места — причина, по которой в компании на одно и то же совещание приносят три отчёта о продажах с тремя разными цифрами, и каждый по-своему прав.
Зачем он нужен
В обычной компании данные разбросаны: продажи в CRM, склад в 1С, реклама в рекламных кабинетах, поведение на сайте — в отдельной аналитике. Каждая система знает только свою часть картины.
Пока вопросы простые, хватает ручных выгрузок в таблицы. Проблемы начинаются с вопросов на стыке систем: сколько компания заработала на клиентах, пришедших из рекламы, с учётом возвратов и себестоимости. Ответ требует данных из четырёх систем одновременно, и руками это собирается часами, если не днями.
Репозиторий — то место, где эти данные уже соединены и посчитаны одинаково, и ответ на такой вопрос занимает минуты, а не рабочий день аналитика.
Пример из практики. У нас есть контур для фармацевтических компаний, который каждый день делает ровно это: собирает данные больше чем с 20 сайтов аптечных сетей по 33 городам и складывает их в один общий справочник на 30 830 позиций (наш проект, 2026). Без единого места хранения такой объём просто некуда было бы складывать каждый день. Устройство этого контура и как рос его объём — в кейсе мониторинг цен для аптечной сети.
Три слова, которые путают
Хранилище. Данные разложены по строгой структуре, заранее очищены и приведены к единому виду. Отвечает на заранее известные вопросы быстро — но только на те, что были предусмотрены при его создании.
Озеро. Данные лежат как есть, в исходном виде, без строгой структуры. Годится, когда заранее неизвестно, что именно понадобится в будущем — ничего не приходится выбрасывать заранее.
Витрина. Небольшой срез под конкретный отдел: только то, что нужно продажам, или только то, что нужно маркетингу — без лишних таблиц, которые их не касаются.
На практике в средней компании встречается сочетание всех трёх: озеро для сырых данных, хранилище для посчитанных и проверенных, витрины — для отделов, которым не нужно видеть всё целиком.
Как данные туда попадают
Три шага, которые повторяются регулярно, обычно ночью, когда системы меньше нагружены.
Шаг
Что происходит
Забрать
Данные выгружаются из системы-источника: CRM, 1С, рекламного кабинета, сайта
Привести к единому виду
Даты — в один формат, названия городов — без вариантов написания, справочники — общие для всех систем
Положить в хранилище
Готовые, проверенные данные складываются туда, где их можно объединять и считать
Средний шаг — самый трудоёмкий. Именно на нём выясняется, что один и тот же клиент в CRM и в 1С записан по-разному, а «Москва», «г. Москва» и «МСК» — это для компьютера три разных города, пока кто-то явно не скажет ему, что это одно и то же.
Главная польза, о которой не думают
Не отчёты сами по себе. Единое определение показателей — вот что на самом деле экономит время и нервы.
Частый спор в компаниях. Продажи считают выручку по дате отгрузки, бухгалтерия — по дате оплаты. Спорить об этом можно бесконечно, потому что оба по-своему правы. Репозиторий заставляет один раз договориться, что именно считается продажей, — и дальше все смотрят на одну и ту же цифру.
Это организационный эффект, а не технический, и на практике он обычно стоит компании дороже, чем сама технология хранения данных.
Когда он нужен, а когда нет
Ситуация
Нужен репозиторий?
Систем две-три, вопросы простые
Нет — выгрузка в таблицу дешевле и быстрее
Систем больше четырёх
Да — вручную сводить их становится дорого
На сбор одного отчёта уходят дни
Да — это прямой признак, что пора
Разные отделы приносят разные цифры по одному вопросу
Да — организационная причина важнее технической
Планируете что-то делать с искусственным интеллектом
Обязательно — без приведённых в порядок данных внедрение застревает на старте
Последняя строка — не преувеличение. Предсказывать спрос или отток клиентов можно только на данных, которые уже приведены в порядок: разница между двумя видами искусственного интеллекта и что каждому из них нужно на входе разобрана в статье про предиктивный и генеративный ИИ.
С чего начинать
Не с выбора технологии хранения. С одного вопроса, ответ на который сейчас получить трудно, хотя нужен он регулярно.
Найдите вопрос, который болит.
Не абстрактный «давайте соберём все данные», а конкретный: «сколько мы теряем на возвратах по каждому городу» или похожий.
Соберите данные под этот вопрос.
Не всё, что есть в компании, а ровно то, что нужно для ответа на конкретный вопрос.
Посчитайте и покажите людям.
Если ответом начали реально пользоваться в работе — двигайтесь дальше.
Добавляйте следующий вопрос.
Так репозиторий вырастает под реальные потребности компании, а не по чужому шаблону.
Осторожно. Обратный путь — сначала построить большое хранилище на все случаи жизни, а потом искать, кому оно нужно, — самый частый способ потратить год работы и не получить ни одного постоянного пользователя.
Когда данные уже собраны и приведены в порядок, на них можно строить и более практичные вещи — например, автоматическое сравнение цен и товаров с конкурентами, как в статье про динамическое ценообразование. А если данных под рукой пока мало, стоит для начала понять, на каком железе всё это будет считаться, — в статье про железо для искусственного интеллекта.
Чем репозиторий данных отличается от обычной базы данных?
База данных обычно обслуживает одну систему — например, интернет-магазин или CRM. Репозиторий объединяет данные из нескольких систем сразу и приводит их к единому виду, чтобы на них можно было смотреть вместе, а не по отдельности.
Сколько времени занимает построить репозиторий данных?
Зависит от количества систем-источников и от того, насколько по-разному в них записаны одни и те же вещи. Первый рабочий срез под один конкретный вопрос можно собрать за несколько недель; полный контур строится постепенно, вопрос за вопросом.
Нужен ли репозиторий небольшой компании с двумя системами?
Обычно нет. Если систем всего две-три и вопросы к ним простые, выгрузка в таблицу вручную дешевле и быстрее, чем строить и поддерживать отдельный контур хранения.
Можно ли обойтись без репозитория, если уже есть готовая BI-система для отчётов?
BI-система — это программа, которая рисует графики и таблицы по данным (BI, business intelligence, дословно «бизнес-аналитика»). Она показывает отчёты, но данные для неё всё равно должны откуда-то браться в едином и проверенном виде. Без такого источника она будет красиво показывать те же самые нестыковки, что и ручные таблицы.
Что случится, если построить репозиторий, а потом им не пользоваться?
Он превратится в дорогой архив, который никто не смотрит. Именно поэтому строить его нужно под конкретный рабочий вопрос, а не «на будущее» — тогда пользователи появляются сразу, ещё на этапе первого среза данных.
Мы используем файлы cookie, чтобы сайт работал корректно и чтобы понимать, как им пользуются.
Если не хотите, чтобы мы считали посещения, нажмите «Отказаться». Подробнее — в
Политике обработки персональных данных.
+7 383 380-81-89
2 августа 2023
Назад к блогу
