Корпоративное хранилище данных (КХД)

Корпоративное хранилище данных (КХД, корпоративный вариант Enterprise Data Warehouse, EDW), — централизованная система для объединения, обработки и хранения данных в масштабе всей организации. КХД формирует единый источник информации для аналитики, отчетности и принятия бизнес-решений.

В корпоративное хранилище поступают данные из информационных систем разных подразделений и направлений: финансов, продаж, маркетинга, производства, логистики, закупок, управления персоналом и клиентского обслуживания. Информация преобразуется к единым форматам и правилам, сопоставляется по справочникам и сохраняется с учетом истории изменений.

Внедрение КХД особенно востребовано в крупных организациях, где данные распределены между множеством информационных систем, филиалов и подразделений. Централизованное хранение позволяет использовать одинаковые определения клиентов, продуктов, договоров, подразделений и показателей во всей корпоративной аналитике.

Для чего применяется корпоративное хранилище данных

Основная задача КХД — сформировать единый информационный фундамент для аналитических и отчетных систем организации.

Корпоративное хранилище позволяет:

  • объединять данные из разных корпоративных источников;
  • хранить историю показателей за длительный период;
  • использовать единые справочники и классификаторы;
  • закреплять общие правила расчета показателей;
  • поддерживать управленческую, финансовую и операционную отчетность;
  • создавать тематические витрины данных;
  • передавать данные системам бизнес-аналитики;
  • сокращать количество ручных выгрузок и сверок;
  • контролировать качество и полноту информации;
  • разграничивать доступ пользователей к данным;
  • обеспечивать сопоставимость отчетности разных подразделений.

Использование единых правил особенно важно для показателей, которые одновременно применяются несколькими подразделениями. Например, понятия «выручка», «активный клиент» или «продажа» должны иметь одинаковое содержание во всех отчетах, где они используются.

Источники данных для КХД

Корпоративное хранилище может получать данные из внутренних и внешних информационных систем.

Основными источниками являются:

  • системы управления взаимоотношениями с клиентами (Customer Relationship Management, CRM);
  • системы планирования ресурсов предприятия (Enterprise Resource Planning, ERP);
  • системы «1С»;
  • банковские и платежные системы;
  • системы выставления счетов и расчета стоимости услуг;
  • производственные системы;
  • складские и логистические системы;
  • кадровые системы;
  • сайты и средства веб-аналитики;
  • рекламные площадки;
  • электронные таблицы;
  • внешние справочники и информационные сервисы.

Один объект может присутствовать одновременно в нескольких источниках. Клиент, например, может быть зарегистрирован в CRM, учетной и платежной системах под разными идентификаторами. При загрузке в КХД такие сведения сопоставляются по установленным правилам.

Как устроено корпоративное хранилище данных

Архитектура КХД зависит от масштаба организации, объема информации, требований к скорости обработки и используемых технологий. В составе системы могут выделяться несколько уровней.

Слой исходных данных содержит сведения из корпоративных систем, сохраненные в первоначальном или близком к первоначальному виде. Он позволяет сохранить исходное состояние данных и использовать его для проверки загрузки.

Интеграционный слой объединяет сведения из разных систем. На этом уровне устраняются различия в форматах и обозначениях, сопоставляются справочники, удаляются повторяющиеся записи и применяются корпоративные правила обработки.

Аналитический слой содержит данные, пригодные для расчета показателей, отчетности и проведения анализа.

Витрины данных (Data Marts) формируются для отдельных направлений и групп пользователей: финансов, продаж, маркетинга, логистики, производства или управления рисками.

Конкретное КХД может иметь другую структуру. Количество и назначение слоев определяются выбранной архитектурой.

Загрузка и обработка данных

Данные из разных систем передаются в корпоративное хранилище двумя основными способами.

ETL (Extract, Transform, Load) — данные сначала извлекают из источников, затем очищают и преобразуют, после чего загружают в хранилище.

ELT (Extract, Load, Transform) — данные сначала загружают в хранилище, а затем обрабатывают и приводят к нужному виду уже внутри него.

При подготовке информации выполняются:

  • проверка структуры и форматов;
  • очистка ошибочных данных;
  • удаление повторяющихся записей;
  • сопоставление объектов из разных систем;
  • приведение единиц измерения и форматов к общим правилам;
  • обработка пропущенных значений;
  • проверка по справочникам;
  • расчет производных показателей;
  • контроль полноты загрузки.

Обновление может выполняться по установленному расписанию или с минимальной задержкой. Частота зависит от требований конкретного процесса. Финансовая отчетность может обновляться раз в сутки, а данные об операциях — значительно чаще.

Хранение исторических данных

КХД предназначено не только для отображения текущего состояния организации, но и для анализа изменений во времени.

Хранилище позволяет сохранять сведения о:

  • продажах за предыдущие периоды;
  • изменениях клиентской базы;
  • поступлениях и расходах денежных средств;
  • стоимости товаров и услуг;
  • структуре организации;
  • состоянии договоров;
  • остатках;
  • производственных показателях;
  • изменении справочной информации.

История позволяет сравнивать периоды, выявлять сезонность, анализировать динамику и восстанавливать состояние показателей на определенную дату.

Например, если клиент в течение года переходил между сегментами, КХД может сохранять историю этих изменений. Аналитик получает возможность определить не только текущий сегмент, но и состояние клиента в прошлом.

Единые справочники и показатели

Одна из ключевых функций КХД — согласование информации из разных источников.

В организации могут одновременно использоваться несколько обозначений одного подразделения, товара, клиента или договора. Корпоративное хранилище позволяет привести их к единой системе идентификации.

Для этого устанавливаются:

  • корпоративные справочники;
  • классификаторы;
  • правила сопоставления объектов;
  • определения показателей;
  • методики расчета;
  • источники, обладающие приоритетом при расхождении данных.

Такой подход позволяет сформировать единое представление о данных для разных подразделений.

Если финансовая служба и отдел продаж по-разному определяют момент признания продажи, их отчеты могут показывать разные значения выручки. В КХД правила расчета фиксируются централизованно, а при необходимости для разных целей создаются отдельные показатели с однозначными определениями.

КХД и управление данными

Корпоративное хранилище является не только технологической системой. Его эффективная работа требует организации процессов управления данными (Data Governance).

В организации определяются:

  • владельцы данных;
  • ответственные за справочники;
  • правила внесения изменений;
  • критерии качества;
  • порядок исправления ошибок;
  • требования к актуальности;
  • правила доступа;
  • сроки хранения;
  • порядок документирования показателей.

Для показателей может вестись каталог с описанием их назначения, источников и алгоритмов расчета. Это позволяет пользователям понимать происхождение данных и одинаково интерпретировать результаты.

Контроль качества данных

Ошибки в исходных системах могут переходить в корпоративную отчетность, поэтому качество данных контролируется при загрузке и дальнейшей обработке.

Проверяются:

  • полнота;
  • корректность;
  • согласованность;
  • уникальность;
  • актуальность;
  • соответствие установленным форматам;
  • наличие обязательных значений.

При обнаружении нарушения информация может быть отклонена, помещена в отдельную область для проверки или загружена с соответствующим признаком качества.

Контроль позволяет определить не только наличие ошибки, но и ее источник. Если в одном подразделении систематически отсутствует обязательный реквизит, проблему можно устранить на уровне исходной системы или процесса ввода данных.

КХД в аналитической архитектуре

Корпоративное хранилище располагается между источниками информации и системами ее аналитического использования.

Упрощенная структура может выглядеть следующим образом:

Корпоративные системы → подготовка и интеграция данных → КХД → витрины данных → отчеты и аналитические системы.

На основе КХД создаются:

  • управленческие отчеты;
  • регламентированная отчетность;
  • аналитические панели с ключевыми показателями;
  • витрины данных;
  • аналитические выборки;
  • модели прогнозирования;
  • системы оценки рисков;
  • клиентская аналитика;
  • средства планирования.

КХД также служит основой для внедрения BI-аналитики, поскольку предоставляет системам бизнес-аналитики согласованные и подготовленные данные из разных корпоративных источников.

Пользователю не требуется самостоятельно объединять сведения из десятков исходных систем. Он получает подготовленные данные с согласованной структурой и методологией.

Доступ и безопасность

Корпоративное хранилище может содержать финансовую, коммерческую, персональную и другую информацию с ограниченным доступом. Права пользователей определяются в соответствии с их должностными обязанностями.

Для защиты применяются:

  • идентификация и проверка подлинности пользователей;
  • разграничение прав по ролям;
  • ограничение доступа к отдельным наборам и полям;
  • журналирование действий;
  • шифрование;
  • маскирование конфиденциальной информации;
  • резервное копирование;
  • контроль выгрузок.

Руководитель подразделения, например, может получать доступ только к данным своего направления, а руководство организации — к сводным показателям по компании.

Пример

Крупный банк использует отдельные системы для обслуживания клиентов, кредитования, вкладов, платежей, бухгалтерского учета, управления рисками и дистанционного обслуживания.

Сведения об одном клиенте находятся сразу в нескольких системах. В одной хранится информация о кредитах, в другой — об операциях по счетам, в третьей — история обращений, в четвертой — данные об использовании мобильного приложения.

Для формирования общей аналитики создается корпоративное хранилище данных. Информация из систем сопоставляется по клиентам, продуктам, договорам, подразделениям и периодам. Для основных показателей устанавливаются единые правила расчета.

На основе КХД формируются витрины для финансов, клиентской аналитики, продаж и рисков.

Если необходимо оценить доходность клиентских групп, аналитическая система объединяет сведения:

  • об используемых продуктах;
  • остатках на счетах;
  • кредитах;
  • платежах;
  • комиссиях;
  • операционных расходах;
  • активности клиента;
  • каналах обслуживания.

Руководитель получает показатели, рассчитанные на основе согласованных данных из разных систем. При изменении исходной информации не требуется вручную собирать новые файлы и повторно сопоставлять сведения между подразделениями.

То же корпоративное хранилище может использоваться для других задач: оценки рисков, анализа использования продуктов, финансовой отчетности и исследования клиентского поведения.

Связанные термины

Получить консультацию

Мы используем cookie и сервис «Яндекс.Метрика» для улучшения работы сайта. Нажимая на кнопку «Принять» или оставаясь на сайте, вы соглашаетесь на обработку ваших персональных данных, содержащихся в cookie. Вы можете отключить cookie в настройках вашего браузера