Управление данными (Data Management)

Управление данными (Data Management) — совокупность процессов, правил, технологий и организационных мер, обеспечивающих сбор, хранение, обработку, защиту и использование данных на протяжении всего их жизненного цикла.

Управление данными позволяет организации поддерживать качество информации, обеспечивать ее доступность для уполномоченных пользователей и использовать в операционных процессах, аналитике, отчетности и принятии управленческих решений.

Область управления данными охватывает:

  • архитектуру данных;
  • интеграцию информационных систем;
  • хранение и обработку информации;
  • управление качеством данных;
  • ведение основных данных и справочников;
  • управление метаданными;
  • обеспечение безопасности;
  • разграничение доступа;
  • организационные правила и распределение ответственности;
  • архивирование и удаление информации.

Управление данными применяется в организациях с большим количеством информационных систем, подразделений и источников информации. Оно позволяет сократить расхождения между данными, устранить повторяющиеся записи и обеспечить согласованность показателей.

Для чего применяется управление данными

Основная задача управления данными — обеспечить надежность, согласованность и пригодность корпоративной информации для решения бизнес-задач.

Управление данными позволяет:

  • поддерживать полноту, точность и актуальность информации;
  • определять владельцев данных и зоны ответственности;
  • устанавливать единые правила хранения и обработки;
  • согласовывать справочники и основные данные;
  • обеспечивать обмен информацией между системами;
  • контролировать качество данных;
  • защищать конфиденциальную информацию;
  • разграничивать права пользователей;
  • сокращать количество ошибок в отчетности;
  • обеспечивать прослеживаемость происхождения данных;
  • формировать единую основу для корпоративной аналитики.

Согласованность данных особенно важна при использовании одних и тех же показателей несколькими подразделениями.

Если финансовая служба, отдел продаж и руководство применяют разные правила расчета выручки, их отчеты могут содержать несовпадающие значения. Управление данными позволяет закрепить определения показателей, источники информации и правила расчета.

Основные направления управления данными

Архитектура данных (Data Architecture)

Архитектура определяет принципы организации данных, их размещения, хранения и передачи между информационными системами.

Она описывает структуру информационных объектов, взаимосвязи между ними, источники и способы обмена информацией.

Архитектура данных формируется с учетом текущих потребностей организации и планируемого развития информационных систем.

Управление качеством данных (Data Quality Management)

Включает процессы проверки и повышения достоверности корпоративной информации.

Основными характеристиками качества являются:

  • полнота — наличие необходимых сведений;
  • точность — соответствие данных фактическому состоянию объекта;
  • актуальность — соответствие информации установленным требованиям ко времени обновления;
  • согласованность — отсутствие противоречий между связанными наборами;
  • уникальность — отсутствие необоснованного дублирования записей;
  • корректность — соответствие значений установленным форматам и правилам.

Для контроля качества используются автоматические проверки, отчеты об ошибках и процедуры исправления данных.

Управление основными данными (Master Data Management, MDM)

Обеспечивает согласованность сведений о ключевых объектах организации: клиентах, контрагентах, продуктах, сотрудниках, подразделениях и других сущностях.

Основные данные могут использоваться одновременно в нескольких системах. Управление ими позволяет сопоставлять записи, устранять дублирование и поддерживать согласованные характеристики объектов.

Например, сведения об одном клиенте в системе продаж, бухгалтерской программе и сервисной системе должны однозначно связываться между собой.

Управление справочными данными (Reference Data Management)

Предназначено для ведения классификаторов, кодов, категорий, статусов и других значений, используемых в информационных системах.

К справочным данным относятся перечни регионов, валют, категорий товаров, типов договоров и состояний заказов.

Единые справочники обеспечивают сопоставимость информации между подразделениями и системами.

Управление метаданными (Metadata Management)

Метаданные — сведения о составе, структуре, происхождении и правилах использования данных.

Они могут содержать:

  • название набора данных;
  • описание полей;
  • источник информации;
  • владельца данных;
  • дату последнего обновления;
  • правила расчета показателей;
  • сведения о выполненных преобразованиях;
  • ограничения доступа.

Для систематизации метаданных используется каталог данных (Data Catalog). Он помогает пользователям находить необходимые наборы и понимать условия их применения.

Интеграция данных (Data Integration)

Обеспечивает объединение и передачу информации между корпоративными системами.

Для интеграции применяются программные интерфейсы, обмен файлами, потоковая обработка и процессы извлечения, преобразования и загрузки данных (Extract, Transform, Load, ETL).

Интеграция позволяет использовать сведения из нескольких источников в общих деловых процессах и аналитических системах.

Безопасность данных (Data Security)

Направлена на обеспечение конфиденциальности, целостности и доступности информации.

Она включает разграничение прав, проверку подлинности пользователей, шифрование, журналирование действий, резервное копирование и контроль передачи данных.

Меры защиты определяются с учетом категории информации и возможных последствий ее утраты или раскрытия.

Жизненный цикл данных

Управление охватывает все этапы существования информации — от первоначального получения до удаления.

Создание и сбор. Данные формируются в информационных системах, поступают от пользователей, оборудования или внешних источников.

Хранение. Информация размещается в базах данных, корпоративных хранилищах, файловых системах или других средах.

Обработка. Данные проверяются, очищаются, преобразуются и объединяются в соответствии с установленными правилами.

Использование. Информация применяется в операционных процессах, отчетности, аналитике и программных приложениях.

Передача. Данные предоставляются другим системам, подразделениям или внешним участникам с учетом установленных ограничений.

Архивирование. Информация, которая больше не требуется для регулярной работы, сохраняется в соответствии с установленными сроками и правилами.

Удаление. Данные уничтожаются после завершения срока хранения или при наступлении других предусмотренных оснований.

Для каждого этапа определяются требования к качеству, безопасности, доступности и ответственности.

Управление данными в аналитической системе

Корпоративная аналитика использует информацию из различных источников: учетных систем, баз данных, сайтов, производственных платформ и внешних сервисов.

Управление данными обеспечивает согласованность информации, поступающей в корпоративное хранилище данных (Enterprise Data Warehouse, EDW), озеро данных (Data Lake) и тематические витрины (Data Marts).

Для аналитической системы определяются:

  • официальные источники информации;
  • единые определения показателей;
  • правила объединения данных;
  • порядок обновления;
  • требования к качеству;
  • правила хранения истории;
  • права доступа;
  • ответственность за исправление ошибок.

Особое значение имеет прослеживаемость происхождения данных (Data Lineage). Она позволяет установить, из какого источника получен показатель, какие преобразования были выполнены и в каких отчетах он используется.

Если в отчетности обнаружено некорректное значение, сведения о происхождении помогают определить источник ошибки и связанные с ней аналитические представления.

Качественно организованное управление данными снижает зависимость отчетности от ручной обработки и обеспечивает единые правила интерпретации показателей.

Организационное управление данными

Технических средств недостаточно для обеспечения согласованности корпоративной информации. Необходимо определить, кто принимает решения о данных, устанавливает правила и отвечает за их соблюдение.

Эти задачи относятся к организационному управлению данными (Data Governance).

В организации могут выделяться следующие роли.

Владелец данных (Data Owner) — отвечает за определенную область данных, устанавливает требования к их использованию и согласовывает ключевые правила управления.

Ответственный за качество и ведение данных (Data Steward) — обеспечивает соблюдение установленных правил, контролирует качество и участвует в устранении выявленных проблем.

Технический ответственный (Data Custodian) — обеспечивает техническое хранение, обработку, защиту и доступность информации.

Распределение обязанностей зависит от структуры организации. В небольших компаниях несколько функций могут выполняться одним специалистом, а в крупных — распределяться между подразделениями и отдельными командами.

Организационные правила закрепляются в регламентах, политиках, каталогах данных и других внутренних документах.

Контроль качества и актуальности данных

Для поддержания качества информации используются регулярные проверки и измеримые показатели.

Контроль может включать:

  • долю заполненных обязательных полей;
  • количество повторяющихся записей;
  • количество ошибок в справочниках;
  • своевременность обновления;
  • долю записей, прошедших проверку;
  • количество несогласованных значений;
  • время устранения ошибок.

Для критически важных наборов данных могут устанавливаться целевые значения качества и допустимые сроки исправления нарушений.

Например, если сведения о клиенте используются для оформления договоров, обязательные реквизиты должны проходить проверку до завершения операции. Ошибки в аналитических наборах могут выявляться при регулярной загрузке и передаваться ответственным специалистам.

Пример

Крупная компания использует несколько информационных систем для работы с клиентами. В системе управления взаимоотношениями с клиентами (CRM) хранятся сведения о контактах и продажах, в бухгалтерской системе — договоры и платежи, в сервисной системе — обращения и история обслуживания.

Информация об одном клиенте может различаться: в одной системе используется сокращенное название организации, в другой — полное юридическое наименование, а в третьей сохраняется несколько записей для разных подразделений клиента.

Из-за несогласованности данных возникают ошибки в отчетности. Компания не может точно определить количество уникальных клиентов, сопоставить договоры с обращениями и рассчитать совокупную выручку по каждому контрагенту.

Для решения задачи организуется управление клиентскими данными.

Устанавливаются правила идентификации клиентов, определяются источники сведений, назначаются ответственные за качество и создается единая модель клиентских данных.

Основные изменения включают:

  • использование согласованных идентификаторов;
  • проверку и объединение повторяющихся записей;
  • установление обязательных реквизитов;
  • синхронизацию изменений между системами;
  • контроль качества клиентской информации;
  • разграничение прав на просмотр и изменение данных.

Согласованные сведения передаются в корпоративное хранилище и используются для формирования отчетности.

В результате организация получает возможность рассчитывать количество уникальных клиентов, анализировать выручку по контрагентам, сопоставлять историю взаимодействия и получать согласованные показатели в разных подразделениях.

Связанные термины

Получить консультацию

Мы используем cookie и сервис «Яндекс.Метрика» для улучшения работы сайта. Нажимая на кнопку «Принять» или оставаясь на сайте, вы соглашаетесь на обработку ваших персональных данных, содержащихся в cookie. Вы можете отключить cookie в настройках вашего браузера