Репозиторий данных простыми словами: зачем он нужен компании

Репозиторий данных — это одно место, куда компания складывает данные из разных систем, чтобы их можно было смотреть вместе.

Звучит скучно, но именно отсутствие такого места — причина, по которой в компании три отчёта о продажах с тремя разными цифрами.

Зачем он нужен

В обычной компании данные разбросаны: продажи в CRM, склад в 1С, реклама в кабинетах, сайт в аналитике. Каждая система знает только свою часть.

Пока вопросы простые, хватает выгрузок в таблицы. Проблемы начинаются с вопросов на стыке: сколько мы заработали на клиентах, пришедших из рекламы, с учётом возвратов и себестоимости. Ответ требует данных из четырёх систем сразу.

Репозиторий — место, где они соединены и посчитаны одинаково.

Три слова, которые путают

Хранилище — данные разложены по строгой структуре, заранее очищены и приведены к единому виду. Отвечает на известные вопросы быстро.

Озеро — данные лежат как есть, в исходном виде, без структуры. Годится, когда заранее неизвестно, что понадобится.

Витрина — небольшой срез под конкретный отдел: только то, что нужно продажам или только маркетингу.

На практике в средней компании встречается сочетание: озеро для сырых данных, хранилище для посчитанных, витрины для отделов.

Как данные туда попадают

Три шага, которые повторяются регулярно, обычно по ночам.

Забрать из системы-источника. Привести к единому виду: даты в один формат, названия городов без вариантов написания, одинаковые справочники. Положить в хранилище.

Средний шаг — самый трудоёмкий. Именно на нём выясняется, что один и тот же клиент в CRM и в 1С записан по-разному, и что «Москва», «г. Москва» и «МСК» — это три разных города.

Главная польза, о которой не думают

Не отчёты. Единое определение показателей.

Когда продажи считают выручку по отгрузке, а бухгалтерия по оплате, спорить можно бесконечно. Репозиторий заставляет один раз договориться, что считается продажей, и дальше все смотрят на одну цифру.

Это организационный эффект, а не технический, и он обычно дороже самой технологии.

Когда он нужен, а когда нет

Не нужен, если систем две-три и вопросы простые. Выгрузка в таблицу дешевле и быстрее.

Нужен, когда: систем больше четырёх; на сбор одного отчёта уходят дни; разные отделы приносят разные цифры по одному вопросу; данных стало столько, что выгрузка не открывается.

Обязателен, если планируете что-то делать с искусственным интеллектом. Предсказывать спрос или отток можно только на приведённых в порядок данных. Без репозитория внедрение застревает на этапе «а где взять историю».

С чего начинать

Не с выбора технологии. С одного вопроса, ответ на который сейчас получить трудно, а он нужен регулярно.

Соберите данные под этот вопрос, посчитайте, покажите людям. Если ответом начали пользоваться — добавляйте следующий вопрос. Так репозиторий вырастает под реальные потребности.

Обратный путь — сначала построить большое хранилище, потом искать, кому оно нужно — самый частый способ потратить год и не получить пользователей.

Автор: Рогачев Дмитрий Васильевич, основатель La Chatte. Компания с 2014 года
делает сайты, интеграции и решения на искусственном интеллекте — более 400 проектов.