Управление данными (Data Management) — совокупность процессов, правил, технологий и организационных мер, обеспечивающих сбор, хранение, обработку, защиту и использование данных на протяжении всего их жизненного цикла.
Управление данными позволяет организации поддерживать качество информации, обеспечивать ее доступность для уполномоченных пользователей и использовать в операционных процессах, аналитике, отчетности и принятии управленческих решений.
Область управления данными охватывает:
Управление данными применяется в организациях с большим количеством информационных систем, подразделений и источников информации. Оно позволяет сократить расхождения между данными, устранить повторяющиеся записи и обеспечить согласованность показателей.
Основная задача управления данными — обеспечить надежность, согласованность и пригодность корпоративной информации для решения бизнес-задач.
Управление данными позволяет:
Согласованность данных особенно важна при использовании одних и тех же показателей несколькими подразделениями.
Если финансовая служба, отдел продаж и руководство применяют разные правила расчета выручки, их отчеты могут содержать несовпадающие значения. Управление данными позволяет закрепить определения показателей, источники информации и правила расчета.
Архитектура данных (Data Architecture)
Архитектура определяет принципы организации данных, их размещения, хранения и передачи между информационными системами.
Она описывает структуру информационных объектов, взаимосвязи между ними, источники и способы обмена информацией.
Архитектура данных формируется с учетом текущих потребностей организации и планируемого развития информационных систем.
Управление качеством данных (Data Quality Management)
Включает процессы проверки и повышения достоверности корпоративной информации.
Основными характеристиками качества являются:
Для контроля качества используются автоматические проверки, отчеты об ошибках и процедуры исправления данных.
Управление основными данными (Master Data Management, MDM)
Обеспечивает согласованность сведений о ключевых объектах организации: клиентах, контрагентах, продуктах, сотрудниках, подразделениях и других сущностях.
Основные данные могут использоваться одновременно в нескольких системах. Управление ими позволяет сопоставлять записи, устранять дублирование и поддерживать согласованные характеристики объектов.
Например, сведения об одном клиенте в системе продаж, бухгалтерской программе и сервисной системе должны однозначно связываться между собой.
Управление справочными данными (Reference Data Management)
Предназначено для ведения классификаторов, кодов, категорий, статусов и других значений, используемых в информационных системах.
К справочным данным относятся перечни регионов, валют, категорий товаров, типов договоров и состояний заказов.
Единые справочники обеспечивают сопоставимость информации между подразделениями и системами.
Управление метаданными (Metadata Management)
Метаданные — сведения о составе, структуре, происхождении и правилах использования данных.
Они могут содержать:
Для систематизации метаданных используется каталог данных (Data Catalog). Он помогает пользователям находить необходимые наборы и понимать условия их применения.
Интеграция данных (Data Integration)
Обеспечивает объединение и передачу информации между корпоративными системами.
Для интеграции применяются программные интерфейсы, обмен файлами, потоковая обработка и процессы извлечения, преобразования и загрузки данных (Extract, Transform, Load, ETL).
Интеграция позволяет использовать сведения из нескольких источников в общих деловых процессах и аналитических системах.
Безопасность данных (Data Security)
Направлена на обеспечение конфиденциальности, целостности и доступности информации.
Она включает разграничение прав, проверку подлинности пользователей, шифрование, журналирование действий, резервное копирование и контроль передачи данных.
Меры защиты определяются с учетом категории информации и возможных последствий ее утраты или раскрытия.
Управление охватывает все этапы существования информации — от первоначального получения до удаления.
Создание и сбор. Данные формируются в информационных системах, поступают от пользователей, оборудования или внешних источников.
Хранение. Информация размещается в базах данных, корпоративных хранилищах, файловых системах или других средах.
Обработка. Данные проверяются, очищаются, преобразуются и объединяются в соответствии с установленными правилами.
Использование. Информация применяется в операционных процессах, отчетности, аналитике и программных приложениях.
Передача. Данные предоставляются другим системам, подразделениям или внешним участникам с учетом установленных ограничений.
Архивирование. Информация, которая больше не требуется для регулярной работы, сохраняется в соответствии с установленными сроками и правилами.
Удаление. Данные уничтожаются после завершения срока хранения или при наступлении других предусмотренных оснований.
Для каждого этапа определяются требования к качеству, безопасности, доступности и ответственности.
Корпоративная аналитика использует информацию из различных источников: учетных систем, баз данных, сайтов, производственных платформ и внешних сервисов.
Управление данными обеспечивает согласованность информации, поступающей в корпоративное хранилище данных (Enterprise Data Warehouse, EDW), озеро данных (Data Lake) и тематические витрины (Data Marts).
Для аналитической системы определяются:
Особое значение имеет прослеживаемость происхождения данных (Data Lineage). Она позволяет установить, из какого источника получен показатель, какие преобразования были выполнены и в каких отчетах он используется.
Если в отчетности обнаружено некорректное значение, сведения о происхождении помогают определить источник ошибки и связанные с ней аналитические представления.
Качественно организованное управление данными снижает зависимость отчетности от ручной обработки и обеспечивает единые правила интерпретации показателей.
Технических средств недостаточно для обеспечения согласованности корпоративной информации. Необходимо определить, кто принимает решения о данных, устанавливает правила и отвечает за их соблюдение.
Эти задачи относятся к организационному управлению данными (Data Governance).
В организации могут выделяться следующие роли.
Владелец данных (Data Owner) — отвечает за определенную область данных, устанавливает требования к их использованию и согласовывает ключевые правила управления.
Ответственный за качество и ведение данных (Data Steward) — обеспечивает соблюдение установленных правил, контролирует качество и участвует в устранении выявленных проблем.
Технический ответственный (Data Custodian) — обеспечивает техническое хранение, обработку, защиту и доступность информации.
Распределение обязанностей зависит от структуры организации. В небольших компаниях несколько функций могут выполняться одним специалистом, а в крупных — распределяться между подразделениями и отдельными командами.
Организационные правила закрепляются в регламентах, политиках, каталогах данных и других внутренних документах.
Для поддержания качества информации используются регулярные проверки и измеримые показатели.
Контроль может включать:
Для критически важных наборов данных могут устанавливаться целевые значения качества и допустимые сроки исправления нарушений.
Например, если сведения о клиенте используются для оформления договоров, обязательные реквизиты должны проходить проверку до завершения операции. Ошибки в аналитических наборах могут выявляться при регулярной загрузке и передаваться ответственным специалистам.
Крупная компания использует несколько информационных систем для работы с клиентами. В системе управления взаимоотношениями с клиентами (CRM) хранятся сведения о контактах и продажах, в бухгалтерской системе — договоры и платежи, в сервисной системе — обращения и история обслуживания.
Информация об одном клиенте может различаться: в одной системе используется сокращенное название организации, в другой — полное юридическое наименование, а в третьей сохраняется несколько записей для разных подразделений клиента.
Из-за несогласованности данных возникают ошибки в отчетности. Компания не может точно определить количество уникальных клиентов, сопоставить договоры с обращениями и рассчитать совокупную выручку по каждому контрагенту.
Для решения задачи организуется управление клиентскими данными.
Устанавливаются правила идентификации клиентов, определяются источники сведений, назначаются ответственные за качество и создается единая модель клиентских данных.
Основные изменения включают:
Согласованные сведения передаются в корпоративное хранилище и используются для формирования отчетности.
В результате организация получает возможность рассчитывать количество уникальных клиентов, анализировать выручку по контрагентам, сопоставлять историю взаимодействия и получать согласованные показатели в разных подразделениях.