Хранилище данных (Data Warehouse, DWH) — централизованная система для накопления, объединения, подготовки и длительного хранения данных из разных корпоративных источников с целью последующего анализа. Хранилище используется для аналитики, подготовки отчетности и поддержки бизнес-решений.
В хранилище данных могут поступать сведения из:
систем управления взаимоотношениями с клиентами (CRM);
систем планирования ресурсов предприятия (ERP);
систем «1С»;
банковских систем;
складских и производственных систем;
аналитических систем;
рекламных площадок;
электронных таблиц;
внешних информационных источников.
Данные из этих систем приводятся к единому формату, проверяются, сопоставляются и сохраняются в структуре, удобной для последующего анализа.
Хранилище данных используется для регулярной корпоративной аналитики. Оно позволяет собрать данные из множества систем и превратить их в согласованную управленческую информацию.
Основные задачи хранилища данных:
объединение информации из разрозненных источников;
хранение данных за длительный период;
обеспечение единых правил расчета показателей;
подготовка данных для отчетов и информационных панелей (дашбордов);
формирование витрин данных;
поддержка управленческой и регламентированной отчетности;
снижение нагрузки на учетные системы;
контроль полноты, качества и согласованности информации;
разграничение доступа пользователей;
обеспечение сопоставимости показателей между подразделениями.
Хранилище особенно важно для компаний с большим количеством информационных систем, сложной структурой и регулярной отчетностью. К ним относятся банки, торговые сети, производственные предприятия, страховые организации, телекоммуникационные компании и крупные холдинги.
Предметная направленность. Данные организуются вокруг значимых для организации объектов и процессов: клиентов, договоров, продаж, товаров, платежей, подразделений или производственных операций.
Интегрированность. Сведения из разных систем приводятся к единым обозначениям, форматам и справочникам. Один клиент, товар или филиал должен одинаково определяться во всех аналитических наборах.
Хранение истории. В хранилище сохраняются данные за прошедшие периоды и сведения об изменениях. Это позволяет сравнивать показатели, анализировать динамику и выявлять сезонные закономерности.
Стабильность данных. Загруженная информация обычно не изменяется так же часто, как записи в учетной системе. Новые данные добавляются по установленным правилам, а изменения фиксируются с сохранением истории.
Ориентация на анализ. Структура хранилища создается с учетом отчетности, аналитических запросов и расчета показателей, а не только выполнения текущих операций.
Работа хранилища включает регулярное получение и подготовку информации из корпоративных источников.
Данные проходят несколько основных этапов:
извлечение из исходных систем;
проверка полноты и корректности;
удаление повторяющихся и ошибочных записей;
приведение форматов к единым требованиям;
сопоставление объектов по справочникам;
расчет дополнительных показателей;
загрузка в хранилище;
обновление по установленному расписанию.
Такой процесс называют извлечением, преобразованием и загрузкой данных (Extract, Transform, Load, ETL). В некоторых архитектурах преобразование выполняется уже после загрузки информации в целевую систему. Этот подход называется извлечением, загрузкой и преобразованием данных (Extract, Load, Transform, ELT).
Периодичность обновления зависит от задач организации. Данные могут загружаться один раз в месяц, ежедневно, несколько раз в день или в режиме, близком к реальному времени.
Хранилище включает несколько взаимосвязанных уровней.
Исходный слой содержит данные, полученные из корпоративных систем с минимальными изменениями. Он используется для проверки загрузки и восстановления информации.
Интеграционный слой объединяет сведения из разных источников и приводит их к общей структуре. На этом уровне устраняются расхождения в форматах, обозначениях и справочниках.
Аналитический слой содержит данные, подготовленные для расчета показателей, построения отчетов и проведения исследований.
Витрины данных (Data Marts) формируются для отдельных подразделений, процессов или групп пользователей. Они предоставляют ограниченный набор показателей, необходимый для конкретной аналитической задачи.
Конкретная структура зависит от объема информации, используемых технологий и требований к отчетности.
На основе хранилища создаются:
витрины данных;
управленческие отчеты;
регламентированная отчетность;
информационные панели;
аналитические выборки;
прогнозные и рекомендательные модели.
Система бизнес-аналитики (Business Intelligence, BI) обычно обращается не напрямую к учетным системам, а к подготовленным данным в хранилище или витринах. Это обеспечивает стабильность отчетов и снижает зависимость от изменений в исходных системах.
Хранилище позволяет закрепить единые определения показателей. Например, правила расчета выручки, прибыли, активного клиента или выполненного заказа устанавливаются централизованно. Все отчеты, использующие эти данные, получают согласованные значения.
Доступ может ограничиваться по должности, подразделению, региону и уровню конфиденциальности. Пользователь получает только те данные, которые необходимы ему для выполнения рабочих задач.
Достоверность хранилища зависит не только от его технического устройства, но и от правил управления данными.
Для этого определяются:
официальные источники информации;
единые справочники и классификаторы;
правила расчета показателей;
требования к полноте и актуальности данных;
порядок исправления ошибок;
ответственные за качество информации;
права доступа пользователей;
сроки хранения данных.
Если разные подразделения используют собственные определения показателей, наличие общего хранилища само по себе не устраняет расхождения. Единая аналитика требует согласованной методологии и закрепленной ответственности за данные.
Крупная торговая сеть использует кассовую систему, складскую программу, систему планирования ресурсов предприятия (ERP), систему управления взаимоотношениями с клиентами (CRM), программу лояльности и средства веб-аналитики.
Каждая система содержит отдельную часть информации. Кассовая система фиксирует продажи, складская — остатки и перемещения товаров, программа лояльности — сведения о покупателях, а система веб-аналитики — действия пользователей на сайте.
Отдельные отчеты из этих систем не позволяют получить полное представление о работе сети. Названия товаров, магазинов и клиентов могут различаться, а показатели — рассчитываться по разным правилам.
В хранилище данные сопоставляются по товарам, магазинам, клиентам, периодам и операциям. В нем сохраняются сведения о продажах, остатках, закупках, скидках, клиентах и рекламных мероприятиях.
На основе подготовленных данных рассчитываются:
выручка;
прибыльность;
средняя сумма покупки;
товарные остатки;
оборачиваемость;
выполнение плана;
эффективность скидок и акций;
частота повторных покупок;
показатели по клиентским группам.
Руководитель может увидеть снижение продаж в конкретном регионе и сопоставить его с остатками товаров, изменением спроса, результатами рекламной акции и активностью покупателей. Хранилище предоставляет связанные данные для определения причин отклонения, а не только итоговый показатель.
База данных (Database) обеспечивает хранение информации для работы прикладной системы. Она может использоваться для оформления заказов, ведения клиентских карточек или учета платежей. Хранилище данных предназначено преимущественно для анализа накопленной информации.
Озеро данных (Data Lake) хранит большие объемы структурированных, частично структурированных и неструктурированных данных в исходном или слабо обработанном виде. Хранилище данных использует более строгую структуру и заранее установленные правила подготовки информации.
Озерное хранилище данных (Data Lakehouse) сочетает возможности озера данных и хранилища. Оно предназначено для хранения разных видов информации и одновременно поддерживает управление структурой, качеством и аналитическими запросами.
Витрина данных (Data Mart) — тематический набор подготовленных данных для конкретного подразделения, процесса или группы пользователей. Витрина может формироваться на основе корпоративного хранилища.
Система бизнес-аналитики (Business Intelligence, BI) предоставляет средства для формирования отчетов, информационных панелей и визуального анализа показателей. Хранилище служит одним из основных источников данных для такой системы.
Извлечение, преобразование и загрузка данных (Extract, Transform, Load, ETL) — процесс получения информации из источников, ее подготовки и переноса в хранилище.