Озеро данных (Data Lake)

Озеро данных (Data Lake) — централизованная среда для хранения больших объемов структурированных, частично структурированных и неструктурированных данных в исходном или подготовленном виде. Озеро позволяет объединять информацию из разных источников без обязательного предварительного преобразования в единую аналитическую модель.

В отличие от традиционного хранилища данных (Data Warehouse, DWH), ориентированного преимущественно на структурированную информацию и регулярную отчетность, озеро данных поддерживает хранение разнообразных форматов:

  • таблиц и выгрузок из информационных систем;
  • журналов событий и пользовательских действий;
  • текстовых документов;
  • изображений, аудио- и видеозаписей;
  • данных с датчиков и промышленного оборудования;
  • сведений о транзакциях и операциях;
  • потоковых данных;
  • результатов исследований и внешних информационных источников.

Озеро данных позволяет сохранять информацию до определения конкретных способов ее использования. Подготовка, преобразование и построение аналитических моделей могут выполняться позднее, в соответствии с задачами пользователей.

Такой подход применяется в организациях с большим количеством источников информации: банках, торговых сетях, промышленных предприятиях, телекоммуникационных компаниях, логистических операторах и цифровых сервисах.

Для чего применяется озеро данных

Озеро данных формирует единую среду накопления информации для аналитических, исследовательских и прикладных задач.

Основные задачи:

  • централизованное хранение больших объемов разнородной информации;
  • объединение данных из внутренних и внешних источников;
  • сохранение исходных данных для повторной обработки;
  • накопление истории событий и операций;
  • подготовка информации для интеллектуального анализа данных;
  • обеспечение данными моделей машинного обучения;
  • поддержка исследовательской аналитики;
  • создание подготовленных наборов данных и разработка аналитических витрин данных;
  • хранение информации, которая может потребоваться для будущих исследований;
  • сокращение зависимости аналитических задач от структуры исходных систем.

В озере могут одновременно храниться данные, используемые для регулярной отчетности, и информация, назначение которой еще не определено. Исходные сведения сохраняются для последующей обработки по новым правилам без необходимости повторного получения из источников.

Какие данные хранятся в озере

Озеро поддерживает несколько категорий данных, различающихся по степени структурированности.

Структурированные данные (Structured Data) — информация с заранее определенной структурой. К ней относятся таблицы с данными о клиентах, заказах, платежах, товарах и других объектах.

Частично структурированные данные (Semi-Structured Data) — информация с определенными правилами организации, но без обязательной табличной структуры. Примерами являются документы в форматах JSON и XML, журналы событий и сообщения информационных систем.

Неструктурированные данные (Unstructured Data) — информация, не имеющая единой табличной структуры: документы, изображения, аудиозаписи, видеоматериалы и другие файлы.

Возможность совместного хранения этих категорий позволяет анализировать сведения, которые ранее использовались раздельно.

Например, информация о клиенте может включать данные о покупках, историю обращений в службу поддержки, текст переписки и сведения о действиях на сайте.

Как устроено озеро данных

Озеро данных обычно представляет собой отдельный уровень корпоративной аналитической архитектуры. Для хранения больших объемов информации могут использоваться распределенные файловые системы, объектные хранилища и облачная инфраструктура.

Данные поступают из корпоративных систем, баз данных, файловых хранилищ, внешних сервисов и потоков событий.

Архитектура озера может включать несколько зон, различающихся степенью подготовки информации.

Зона исходных данных (Raw Zone)

Содержит информацию в первоначальном или близком к первоначальному виде.

Сохранение исходных данных позволяет повторно обработать их при изменении требований, исправлении алгоритмов или появлении новых аналитических задач.

Зона очищенных данных (Clean Zone)

Содержит сведения, прошедшие проверку и предварительную обработку.

На этом уровне могут выполняться удаление повторяющихся записей, исправление ошибок, приведение форматов и контроль полноты информации.

Зона подготовленных данных (Curated Zone)

Содержит данные, преобразованные в соответствии с определенными аналитическими задачами и правилами.

Такие наборы могут использоваться для отчетности, исследований, построения моделей машинного обучения и создания витрин данных.

Разделение на зоны помогает сохранить исходную информацию и одновременно предоставить пользователям подготовленные наборы с установленными требованиями к качеству.

Конкретное количество зон и их назначение зависят от архитектуры организации.

Загрузка и обработка данных

Информация может поступать в озеро двумя основными способами.

Пакетная загрузка (Batch Processing) предполагает передачу определенного объема данных по установленному расписанию или после наступления события. Такой подход применяется для регулярных выгрузок из учетных систем, архивов и файлов.

Потоковая обработка (Stream Processing) обеспечивает получение и обработку непрерывно поступающих данных. Она используется для событий мобильных приложений, финансовых операций, журналов событий и показаний оборудования.

При работе с озером часто применяется подход «сначала загрузка, затем преобразование» (Extract, Load, Transform, ELT). Данные сохраняются в целевой среде, а необходимые преобразования выполняются средствами аналитической платформы.

Это не исключает предварительной проверки, фильтрации и преобразования информации до загрузки.

Работа с данными в аналитической системе

Озеро данных может использоваться как источник для нескольких аналитических направлений.

Исследовательская аналитика позволяет изучать накопленную информацию, проверять предположения и выявлять закономерности без обязательного предварительного создания постоянной отчетной модели.

Интеллектуальный анализ данных (Data Mining) использует подготовленные наборы для поиска скрытых связей, классификации объектов, выявления аномалий и других исследовательских задач.

Машинное обучение (Machine Learning) использует исторические и текущие данные для обучения, проверки и применения математических моделей.

Бизнес-аналитика (Business Intelligence, BI) получает подготовленные данные для формирования отчетов, информационных панелей и аналитических представлений.

Озеро может также выступать источником для корпоративного хранилища данных (Enterprise Data Warehouse, EDW) и тематических витрин.

При этом исходные данные не всегда подходят для непосредственного использования в отчетности. Перед предоставлением пользователям они должны пройти необходимые проверки и преобразования.

Управление данными в озере

Большой объем информации и разнообразие форматов требуют установленных правил управления данными (Data Governance).

Без описания источников, контроля качества и распределения ответственности поиск и использование накопленной информации затрудняются. Такая среда может превратиться в неуправляемое хранилище данных (Data Swamp).

Для организации работы применяются:

  • каталог данных;
  • описание источников и структуры;
  • назначение ответственных за наборы данных;
  • классификация информации;
  • контроль качества;
  • правила обновления и хранения;
  • разграничение доступа;
  • учет происхождения данных;
  • мониторинг загрузок и обработки.

Каталог данных (Data Catalog) содержит сведения о доступных наборах, их назначении, структуре, источниках и владельцах. Он помогает пользователям находить необходимую информацию и определять возможность ее применения.

Прослеживаемость происхождения данных (Data Lineage) позволяет установить, из каких источников получен набор и какие преобразования были выполнены. Это важно для проверки достоверности результатов и поиска причин ошибок.

Управление качеством данных (Data Quality Management) включает проверку полноты, корректности, согласованности и актуальности информации.

Наличие этих механизмов позволяет использовать озеро как управляемый корпоративный ресурс, а не только как место хранения файлов.

Безопасность данных

Озеро может содержать персональные данные, коммерческую тайну, финансовую информацию и другие сведения с ограниченным доступом.

Для защиты используются:

  • разграничение прав по ролям;
  • проверка подлинности пользователей;
  • шифрование данных при хранении и передаче;
  • журналирование действий;
  • маскирование конфиденциальной информации;
  • контроль выгрузок;
  • резервное копирование;
  • установление сроков хранения и удаления.

Права могут назначаться на уровне отдельных зон, наборов данных и их элементов.

Пользователи аналитической системы должны получать доступ только к информации, необходимой для выполнения своих задач. Использование общего озера не предполагает предоставления всем сотрудникам доступа ко всем накопленным данным.

Пример

Промышленная компания использует оборудование, оснащенное датчиками температуры, вибрации, давления и нагрузки. Сведения о работе производственных линий поступают непрерывно и формируют значительный объем информации.

Дополнительные данные хранятся в системах технического обслуживания: журналы неисправностей, сведения о ремонтах, замене компонентов и продолжительности простоев.

Для совместного анализа создается озеро данных. В нем сохраняются показания датчиков, журналы событий, сведения о техническом обслуживании и производственные показатели.

На основе накопленной информации специалисты исследуют взаимосвязи между режимами эксплуатации и возникновением неисправностей.

Анализ может выявить сочетания признаков, характерные для периодов, предшествовавших сбоям:

  • увеличение уровня вибрации;
  • изменение температуры;
  • отклонение рабочего давления;
  • рост нагрузки;
  • повторяющиеся сообщения об ошибках.

Подготовленные данные используются для построения и проверки модели прогнозирования неисправностей. После подтверждения ее качества результаты могут передаваться в систему предупреждений и информационные панели технических специалистов.

Озеро данных позволяет объединить сведения, которые первоначально находились в разных системах, и использовать их для прогнозного технического обслуживания оборудования (Predictive Maintenance).

Связанные термины

Получить консультацию

Мы используем cookie и сервис «Яндекс.Метрика» для улучшения работы сайта. Нажимая на кнопку «Принять» или оставаясь на сайте, вы соглашаетесь на обработку ваших персональных данных, содержащихся в cookie. Вы можете отключить cookie в настройках вашего браузера