Корпоративное хранилище данных (КХД, корпоративный вариант Enterprise Data Warehouse, EDW), — централизованная система для объединения, обработки и хранения данных в масштабе всей организации. КХД формирует единый источник информации для аналитики, отчетности и принятия бизнес-решений.
В корпоративное хранилище поступают данные из информационных систем разных подразделений и направлений: финансов, продаж, маркетинга, производства, логистики, закупок, управления персоналом и клиентского обслуживания. Информация преобразуется к единым форматам и правилам, сопоставляется по справочникам и сохраняется с учетом истории изменений.
Внедрение КХД особенно востребовано в крупных организациях, где данные распределены между множеством информационных систем, филиалов и подразделений. Централизованное хранение позволяет использовать одинаковые определения клиентов, продуктов, договоров, подразделений и показателей во всей корпоративной аналитике.
Основная задача КХД — сформировать единый информационный фундамент для аналитических и отчетных систем организации.
Корпоративное хранилище позволяет:
Использование единых правил особенно важно для показателей, которые одновременно применяются несколькими подразделениями. Например, понятия «выручка», «активный клиент» или «продажа» должны иметь одинаковое содержание во всех отчетах, где они используются.
Корпоративное хранилище может получать данные из внутренних и внешних информационных систем.
Основными источниками являются:
Один объект может присутствовать одновременно в нескольких источниках. Клиент, например, может быть зарегистрирован в CRM, учетной и платежной системах под разными идентификаторами. При загрузке в КХД такие сведения сопоставляются по установленным правилам.
Архитектура КХД зависит от масштаба организации, объема информации, требований к скорости обработки и используемых технологий. В составе системы могут выделяться несколько уровней.
Слой исходных данных содержит сведения из корпоративных систем, сохраненные в первоначальном или близком к первоначальному виде. Он позволяет сохранить исходное состояние данных и использовать его для проверки загрузки.
Интеграционный слой объединяет сведения из разных систем. На этом уровне устраняются различия в форматах и обозначениях, сопоставляются справочники, удаляются повторяющиеся записи и применяются корпоративные правила обработки.
Аналитический слой содержит данные, пригодные для расчета показателей, отчетности и проведения анализа.
Витрины данных (Data Marts) формируются для отдельных направлений и групп пользователей: финансов, продаж, маркетинга, логистики, производства или управления рисками.
Конкретное КХД может иметь другую структуру. Количество и назначение слоев определяются выбранной архитектурой.
Данные из разных систем передаются в корпоративное хранилище двумя основными способами.
ETL (Extract, Transform, Load) — данные сначала извлекают из источников, затем очищают и преобразуют, после чего загружают в хранилище.
ELT (Extract, Load, Transform) — данные сначала загружают в хранилище, а затем обрабатывают и приводят к нужному виду уже внутри него.
При подготовке информации выполняются:
Обновление может выполняться по установленному расписанию или с минимальной задержкой. Частота зависит от требований конкретного процесса. Финансовая отчетность может обновляться раз в сутки, а данные об операциях — значительно чаще.
КХД предназначено не только для отображения текущего состояния организации, но и для анализа изменений во времени.
Хранилище позволяет сохранять сведения о:
История позволяет сравнивать периоды, выявлять сезонность, анализировать динамику и восстанавливать состояние показателей на определенную дату.
Например, если клиент в течение года переходил между сегментами, КХД может сохранять историю этих изменений. Аналитик получает возможность определить не только текущий сегмент, но и состояние клиента в прошлом.
Одна из ключевых функций КХД — согласование информации из разных источников.
В организации могут одновременно использоваться несколько обозначений одного подразделения, товара, клиента или договора. Корпоративное хранилище позволяет привести их к единой системе идентификации.
Для этого устанавливаются:
Такой подход позволяет сформировать единое представление о данных для разных подразделений.
Если финансовая служба и отдел продаж по-разному определяют момент признания продажи, их отчеты могут показывать разные значения выручки. В КХД правила расчета фиксируются централизованно, а при необходимости для разных целей создаются отдельные показатели с однозначными определениями.
Корпоративное хранилище является не только технологической системой. Его эффективная работа требует организации процессов управления данными (Data Governance).
В организации определяются:
Для показателей может вестись каталог с описанием их назначения, источников и алгоритмов расчета. Это позволяет пользователям понимать происхождение данных и одинаково интерпретировать результаты.
Ошибки в исходных системах могут переходить в корпоративную отчетность, поэтому качество данных контролируется при загрузке и дальнейшей обработке.
Проверяются:
При обнаружении нарушения информация может быть отклонена, помещена в отдельную область для проверки или загружена с соответствующим признаком качества.
Контроль позволяет определить не только наличие ошибки, но и ее источник. Если в одном подразделении систематически отсутствует обязательный реквизит, проблему можно устранить на уровне исходной системы или процесса ввода данных.
Корпоративное хранилище располагается между источниками информации и системами ее аналитического использования.
Упрощенная структура может выглядеть следующим образом:
Корпоративные системы → подготовка и интеграция данных → КХД → витрины данных → отчеты и аналитические системы.
На основе КХД создаются:
КХД также служит основой для внедрения BI-аналитики, поскольку предоставляет системам бизнес-аналитики согласованные и подготовленные данные из разных корпоративных источников.
Пользователю не требуется самостоятельно объединять сведения из десятков исходных систем. Он получает подготовленные данные с согласованной структурой и методологией.
Корпоративное хранилище может содержать финансовую, коммерческую, персональную и другую информацию с ограниченным доступом. Права пользователей определяются в соответствии с их должностными обязанностями.
Для защиты применяются:
Руководитель подразделения, например, может получать доступ только к данным своего направления, а руководство организации — к сводным показателям по компании.
Крупный банк использует отдельные системы для обслуживания клиентов, кредитования, вкладов, платежей, бухгалтерского учета, управления рисками и дистанционного обслуживания.
Сведения об одном клиенте находятся сразу в нескольких системах. В одной хранится информация о кредитах, в другой — об операциях по счетам, в третьей — история обращений, в четвертой — данные об использовании мобильного приложения.
Для формирования общей аналитики создается корпоративное хранилище данных. Информация из систем сопоставляется по клиентам, продуктам, договорам, подразделениям и периодам. Для основных показателей устанавливаются единые правила расчета.
На основе КХД формируются витрины для финансов, клиентской аналитики, продаж и рисков.
Если необходимо оценить доходность клиентских групп, аналитическая система объединяет сведения:
Руководитель получает показатели, рассчитанные на основе согласованных данных из разных систем. При изменении исходной информации не требуется вручную собирать новые файлы и повторно сопоставлять сведения между подразделениями.
То же корпоративное хранилище может использоваться для других задач: оценки рисков, анализа использования продуктов, финансовой отчетности и исследования клиентского поведения.