Озеро данных (Data Lake) — централизованная среда для хранения больших объемов структурированных, частично структурированных и неструктурированных данных в исходном или подготовленном виде. Озеро позволяет объединять информацию из разных источников без обязательного предварительного преобразования в единую аналитическую модель.
В отличие от традиционного хранилища данных (Data Warehouse, DWH), ориентированного преимущественно на структурированную информацию и регулярную отчетность, озеро данных поддерживает хранение разнообразных форматов:
Озеро данных позволяет сохранять информацию до определения конкретных способов ее использования. Подготовка, преобразование и построение аналитических моделей могут выполняться позднее, в соответствии с задачами пользователей.
Такой подход применяется в организациях с большим количеством источников информации: банках, торговых сетях, промышленных предприятиях, телекоммуникационных компаниях, логистических операторах и цифровых сервисах.
Озеро данных формирует единую среду накопления информации для аналитических, исследовательских и прикладных задач.
Основные задачи:
В озере могут одновременно храниться данные, используемые для регулярной отчетности, и информация, назначение которой еще не определено. Исходные сведения сохраняются для последующей обработки по новым правилам без необходимости повторного получения из источников.
Озеро поддерживает несколько категорий данных, различающихся по степени структурированности.
Структурированные данные (Structured Data) — информация с заранее определенной структурой. К ней относятся таблицы с данными о клиентах, заказах, платежах, товарах и других объектах.
Частично структурированные данные (Semi-Structured Data) — информация с определенными правилами организации, но без обязательной табличной структуры. Примерами являются документы в форматах JSON и XML, журналы событий и сообщения информационных систем.
Неструктурированные данные (Unstructured Data) — информация, не имеющая единой табличной структуры: документы, изображения, аудиозаписи, видеоматериалы и другие файлы.
Возможность совместного хранения этих категорий позволяет анализировать сведения, которые ранее использовались раздельно.
Например, информация о клиенте может включать данные о покупках, историю обращений в службу поддержки, текст переписки и сведения о действиях на сайте.
Озеро данных обычно представляет собой отдельный уровень корпоративной аналитической архитектуры. Для хранения больших объемов информации могут использоваться распределенные файловые системы, объектные хранилища и облачная инфраструктура.
Данные поступают из корпоративных систем, баз данных, файловых хранилищ, внешних сервисов и потоков событий.
Архитектура озера может включать несколько зон, различающихся степенью подготовки информации.
Зона исходных данных (Raw Zone)
Содержит информацию в первоначальном или близком к первоначальному виде.
Сохранение исходных данных позволяет повторно обработать их при изменении требований, исправлении алгоритмов или появлении новых аналитических задач.
Зона очищенных данных (Clean Zone)
Содержит сведения, прошедшие проверку и предварительную обработку.
На этом уровне могут выполняться удаление повторяющихся записей, исправление ошибок, приведение форматов и контроль полноты информации.
Зона подготовленных данных (Curated Zone)
Содержит данные, преобразованные в соответствии с определенными аналитическими задачами и правилами.
Такие наборы могут использоваться для отчетности, исследований, построения моделей машинного обучения и создания витрин данных.
Разделение на зоны помогает сохранить исходную информацию и одновременно предоставить пользователям подготовленные наборы с установленными требованиями к качеству.
Конкретное количество зон и их назначение зависят от архитектуры организации.
Информация может поступать в озеро двумя основными способами.
Пакетная загрузка (Batch Processing) предполагает передачу определенного объема данных по установленному расписанию или после наступления события. Такой подход применяется для регулярных выгрузок из учетных систем, архивов и файлов.
Потоковая обработка (Stream Processing) обеспечивает получение и обработку непрерывно поступающих данных. Она используется для событий мобильных приложений, финансовых операций, журналов событий и показаний оборудования.
При работе с озером часто применяется подход «сначала загрузка, затем преобразование» (Extract, Load, Transform, ELT). Данные сохраняются в целевой среде, а необходимые преобразования выполняются средствами аналитической платформы.
Это не исключает предварительной проверки, фильтрации и преобразования информации до загрузки.
Озеро данных может использоваться как источник для нескольких аналитических направлений.
Исследовательская аналитика позволяет изучать накопленную информацию, проверять предположения и выявлять закономерности без обязательного предварительного создания постоянной отчетной модели.
Интеллектуальный анализ данных (Data Mining) использует подготовленные наборы для поиска скрытых связей, классификации объектов, выявления аномалий и других исследовательских задач.
Машинное обучение (Machine Learning) использует исторические и текущие данные для обучения, проверки и применения математических моделей.
Бизнес-аналитика (Business Intelligence, BI) получает подготовленные данные для формирования отчетов, информационных панелей и аналитических представлений.
Озеро может также выступать источником для корпоративного хранилища данных (Enterprise Data Warehouse, EDW) и тематических витрин.
При этом исходные данные не всегда подходят для непосредственного использования в отчетности. Перед предоставлением пользователям они должны пройти необходимые проверки и преобразования.
Большой объем информации и разнообразие форматов требуют установленных правил управления данными (Data Governance).
Без описания источников, контроля качества и распределения ответственности поиск и использование накопленной информации затрудняются. Такая среда может превратиться в неуправляемое хранилище данных (Data Swamp).
Для организации работы применяются:
Каталог данных (Data Catalog) содержит сведения о доступных наборах, их назначении, структуре, источниках и владельцах. Он помогает пользователям находить необходимую информацию и определять возможность ее применения.
Прослеживаемость происхождения данных (Data Lineage) позволяет установить, из каких источников получен набор и какие преобразования были выполнены. Это важно для проверки достоверности результатов и поиска причин ошибок.
Управление качеством данных (Data Quality Management) включает проверку полноты, корректности, согласованности и актуальности информации.
Наличие этих механизмов позволяет использовать озеро как управляемый корпоративный ресурс, а не только как место хранения файлов.
Озеро может содержать персональные данные, коммерческую тайну, финансовую информацию и другие сведения с ограниченным доступом.
Для защиты используются:
Права могут назначаться на уровне отдельных зон, наборов данных и их элементов.
Пользователи аналитической системы должны получать доступ только к информации, необходимой для выполнения своих задач. Использование общего озера не предполагает предоставления всем сотрудникам доступа ко всем накопленным данным.
Промышленная компания использует оборудование, оснащенное датчиками температуры, вибрации, давления и нагрузки. Сведения о работе производственных линий поступают непрерывно и формируют значительный объем информации.
Дополнительные данные хранятся в системах технического обслуживания: журналы неисправностей, сведения о ремонтах, замене компонентов и продолжительности простоев.
Для совместного анализа создается озеро данных. В нем сохраняются показания датчиков, журналы событий, сведения о техническом обслуживании и производственные показатели.
На основе накопленной информации специалисты исследуют взаимосвязи между режимами эксплуатации и возникновением неисправностей.
Анализ может выявить сочетания признаков, характерные для периодов, предшествовавших сбоям:
Подготовленные данные используются для построения и проверки модели прогнозирования неисправностей. После подтверждения ее качества результаты могут передаваться в систему предупреждений и информационные панели технических специалистов.
Озеро данных позволяет объединить сведения, которые первоначально находились в разных системах, и использовать их для прогнозного технического обслуживания оборудования (Predictive Maintenance).