+7 383 380-81-89
2 августа 2023
Репозиторий данных — это одно место, куда компания складывает данные из разных систем, чтобы их можно было смотреть вместе и получать один ответ, а не три разных.
Звучит скучно, но именно отсутствие такого места — причина, по которой в компании на одно и то же совещание приносят три отчёта о продажах с тремя разными цифрами, и каждый по-своему прав.
Коротко
- Репозиторий нужен, когда вопрос требует данных из нескольких систем сразу: CRM, склад, реклама, сайт.
- Хранилище, озеро и витрина — не синонимы, а три разных слоя одного и того же контура.
- Главная польза не техническая, а организационная: компания один раз договаривается, что считается продажей, и дальше все смотрят на одну цифру.
- Без репозитория внедрение искусственного интеллекта почти всегда упирается в вопрос «а где взять историю данных».
- Строить репозиторий стоит под конкретный вопрос, на который сейчас трудно ответить, а не «про запас».
В этой статье
Зачем он нужен
В обычной компании данные разбросаны: продажи в CRM, склад в 1С, реклама в рекламных кабинетах, поведение на сайте — в отдельной аналитике. Каждая система знает только свою часть картины.
Пока вопросы простые, хватает ручных выгрузок в таблицы. Проблемы начинаются с вопросов на стыке систем: сколько компания заработала на клиентах, пришедших из рекламы, с учётом возвратов и себестоимости. Ответ требует данных из четырёх систем одновременно, и руками это собирается часами, если не днями.
Репозиторий — то место, где эти данные уже соединены и посчитаны одинаково, и ответ на такой вопрос занимает минуты, а не рабочий день аналитика.
Пример из практики. У нас есть контур для фармацевтических компаний, который каждый день делает ровно это: собирает данные больше чем с 20 сайтов аптечных сетей по 33 городам и складывает их в один общий справочник на 30 830 позиций (наш проект, 2026). Без единого места хранения такой объём просто некуда было бы складывать каждый день. Устройство этого контура и как рос его объём — в кейсе мониторинг цен для аптечной сети.
Три слова, которые путают
Хранилище. Данные разложены по строгой структуре, заранее очищены и приведены к единому виду. Отвечает на заранее известные вопросы быстро — но только на те, что были предусмотрены при его создании.
Озеро. Данные лежат как есть, в исходном виде, без строгой структуры. Годится, когда заранее неизвестно, что именно понадобится в будущем — ничего не приходится выбрасывать заранее.
Витрина. Небольшой срез под конкретный отдел: только то, что нужно продажам, или только то, что нужно маркетингу — без лишних таблиц, которые их не касаются.
На практике в средней компании встречается сочетание всех трёх: озеро для сырых данных, хранилище для посчитанных и проверенных, витрины — для отделов, которым не нужно видеть всё целиком.
Как данные туда попадают
Три шага, которые повторяются регулярно, обычно ночью, когда системы меньше нагружены.
| Шаг | Что происходит |
|---|---|
| Забрать | Данные выгружаются из системы-источника: CRM, 1С, рекламного кабинета, сайта |
| Привести к единому виду | Даты — в один формат, названия городов — без вариантов написания, справочники — общие для всех систем |
| Положить в хранилище | Готовые, проверенные данные складываются туда, где их можно объединять и считать |
Средний шаг — самый трудоёмкий. Именно на нём выясняется, что один и тот же клиент в CRM и в 1С записан по-разному, а «Москва», «г. Москва» и «МСК» — это для компьютера три разных города, пока кто-то явно не скажет ему, что это одно и то же.
Главная польза, о которой не думают
Не отчёты сами по себе. Единое определение показателей — вот что на самом деле экономит время и нервы.
Частый спор в компаниях. Продажи считают выручку по дате отгрузки, бухгалтерия — по дате оплаты. Спорить об этом можно бесконечно, потому что оба по-своему правы. Репозиторий заставляет один раз договориться, что именно считается продажей, — и дальше все смотрят на одну и ту же цифру.
Это организационный эффект, а не технический, и на практике он обычно стоит компании дороже, чем сама технология хранения данных.
Когда он нужен, а когда нет
| Ситуация | Нужен репозиторий? |
|---|---|
| Систем две-три, вопросы простые | Нет — выгрузка в таблицу дешевле и быстрее |
| Систем больше четырёх | Да — вручную сводить их становится дорого |
| На сбор одного отчёта уходят дни | Да — это прямой признак, что пора |
| Разные отделы приносят разные цифры по одному вопросу | Да — организационная причина важнее технической |
| Планируете что-то делать с искусственным интеллектом | Обязательно — без приведённых в порядок данных внедрение застревает на старте |
Последняя строка — не преувеличение. Предсказывать спрос или отток клиентов можно только на данных, которые уже приведены в порядок: разница между двумя видами искусственного интеллекта и что каждому из них нужно на входе разобрана в статье про предиктивный и генеративный ИИ.
С чего начинать
Не с выбора технологии хранения. С одного вопроса, ответ на который сейчас получить трудно, хотя нужен он регулярно.
- Найдите вопрос, который болит.
Не абстрактный «давайте соберём все данные», а конкретный: «сколько мы теряем на возвратах по каждому городу» или похожий.
- Соберите данные под этот вопрос.
Не всё, что есть в компании, а ровно то, что нужно для ответа на конкретный вопрос.
- Посчитайте и покажите людям.
Если ответом начали реально пользоваться в работе — двигайтесь дальше.
- Добавляйте следующий вопрос.
Так репозиторий вырастает под реальные потребности компании, а не по чужому шаблону.
Осторожно. Обратный путь — сначала построить большое хранилище на все случаи жизни, а потом искать, кому оно нужно, — самый частый способ потратить год работы и не получить ни одного постоянного пользователя.
Когда данные уже собраны и приведены в порядок, на них можно строить и более практичные вещи — например, автоматическое сравнение цен и товаров с конкурентами, как в статье про динамическое ценообразование. А если данных под рукой пока мало, стоит для начала понять, на каком железе всё это будет считаться, — в статье про железо для искусственного интеллекта.
Частые вопросы
Чем репозиторий данных отличается от обычной базы данных?
База данных обычно обслуживает одну систему — например, интернет-магазин или CRM. Репозиторий объединяет данные из нескольких систем сразу и приводит их к единому виду, чтобы на них можно было смотреть вместе, а не по отдельности.
Сколько времени занимает построить репозиторий данных?
Зависит от количества систем-источников и от того, насколько по-разному в них записаны одни и те же вещи. Первый рабочий срез под один конкретный вопрос можно собрать за несколько недель; полный контур строится постепенно, вопрос за вопросом.
Нужен ли репозиторий небольшой компании с двумя системами?
Обычно нет. Если систем всего две-три и вопросы к ним простые, выгрузка в таблицу вручную дешевле и быстрее, чем строить и поддерживать отдельный контур хранения.
Можно ли обойтись без репозитория, если уже есть готовая BI-система для отчётов?
BI-система — это программа, которая рисует графики и таблицы по данным (BI, business intelligence, дословно «бизнес-аналитика»). Она показывает отчёты, но данные для неё всё равно должны откуда-то браться в едином и проверенном виде. Без такого источника она будет красиво показывать те же самые нестыковки, что и ручные таблицы.
Что случится, если построить репозиторий, а потом им не пользоваться?
Он превратится в дорогой архив, который никто не смотрит. Именно поэтому строить его нужно под конкретный рабочий вопрос, а не «на будущее» — тогда пользователи появляются сразу, ещё на этапе первого среза данных.
Назад к блогу
