Интеллектуальный анализ данных или Data Mining — исследование больших массивов информации с помощью статистических и вычислительных методов для выявления скрытых закономерностей, взаимосвязей, групп, отклонений и повторяющихся моделей поведения.
Такой анализ применяется, когда нужные зависимости заранее не определены или не могут быть обнаружены с помощью стандартных отчетов и сравнений. Его задача состоит не только в расчете известных показателей, но и в извлечении из данных новых знаний, которые можно использовать при принятии решений.
Интеллектуальный анализ данных позволяет:
выделять группы объектов с похожими характеристиками;
определять признаки, связанные с определенным результатом;
находить часто повторяющиеся сочетания;
выявлять нетипичные события и подозрительные операции;
обнаруживать скрытые зависимости между показателями;
оценивать вероятность определенного события;
формировать основу для персональных предложений и рекомендаций.
Интеллектуальный анализ данных тесно связан с машинным обучением (Machine Learning), статистикой и анализом данных (Data Analytics), но не сводится к построению математической модели. Полученная закономерность должна быть проверена, объяснена и оценена с точки зрения практической пользы.
Интеллектуальный анализ данных используется в компаниях и подразделениях, которые накопили значительный объем информации о клиентах, операциях, товарах, производственных процессах или других объектах. Он помогает выявлять связи, которые невозможно установить только с помощью сводных показателей.
Основные задачи:
разделение клиентов на группы по поведению и характеристикам;
выявление факторов, влияющих на продажи, прибыль или отток клиентов;
поиск товаров и услуг, которые часто приобретаются совместно;
определение клиентов с высокой вероятностью отказа от услуги;
обнаружение мошеннических и подозрительных операций;
поиск отклонений в производственных и деловых процессах;
выявление причин возникновения рисков;
формирование персональных предложений;
оценка вероятности наступления определенного события.
Интеллектуальный анализ данных применяется в торговле, банковской деятельности, страховании, промышленности, связи, маркетинге, медицине, логистике и других областях.
Классификация (Classification) — распределение объектов по заранее определенным категориям. Метод может использоваться для оценки вероятности ухода клиента, выявления подозрительной операции или определения категории обращения.
Кластеризация (Clustering) — объединение объектов в группы на основании сходства их характеристик. Состав групп заранее не задается. Кластеризация применяется, например, для сегментации клиентов по поведению, потребностям или структуре покупок.
Поиск ассоциативных правил (Association Rule Mining) — выявление сочетаний событий или объектов, которые часто встречаются совместно. Метод используется для анализа покупательских наборов, последовательности действий и связанных услуг.
Выявление аномалий (Anomaly Detection) — поиск значений, операций или моделей поведения, значительно отличающихся от обычных. Аномалии могут указывать на ошибку, технический сбой, мошенничество или изменение процесса.
Регрессионный анализ (Regression Analysis) — оценка взаимосвязи между показателями и определение влияния отдельных факторов на числовой результат.
Анализ последовательностей (Sequence Analysis) — выявление характерного порядка событий. Метод позволяет изучать, например, действия пользователя перед покупкой, отказом от услуги или обращением в поддержку.
Выбор метода зависит от аналитической задачи, состава данных и вида результата, который необходимо получить.
Применение интеллектуального анализа данных начинается с определения бизнес-задачи.
Источниками данных для анализа могут быть:
системы управления взаимоотношениями с клиентами (CRM);
учетные системы;
системы планирования ресурсов предприятия (ERP);
сайты и мобильные приложения;
системы технической поддержки;
сведения о платежах и операциях;
производственные и складские системы;
базы данных;
электронные таблицы;
результаты опросов и исследований.
Данные проверяются на полноту и достоверность, очищаются от ошибок и повторяющихся записей, приводятся к единому формату и объединяются по общим признакам. При необходимости из исходной информации формируются дополнительные показатели, например продолжительность взаимодействия с клиентом, частота покупок или средний срок выполнения операции.
Подготовленный массив исследуется с помощью выбранного метода. Результатом могут быть группы клиентов, набор значимых признаков, правила совместного появления событий, перечень аномалий или оценка вероятности определенного исхода.
Выявленная закономерность должна пройти проверку. Оцениваются точность результата, устойчивость к изменению данных и практическая значимость для организации. Статистически заметная связь не всегда имеет прикладную ценность и не обязательно указывает на причинно-следственную зависимость.
Результаты интеллектуального анализа данных могут использоваться:
в системах бизнес-аналитики (Business Intelligence, BI);
в системах управления взаимоотношениями с клиентами (CRM);
в рекомендательных системах (Recommendation Systems);
в моделях оценки риска (Scoring Models);
в системах выявления мошенничества (Fraud Detection Systems);
в средствах контроля производственных и деловых процессов.
В информационной панели результаты могут отображаться в виде клиентских сегментов, предупреждений, оценок риска, прогнозных показателей и перечней объектов, требующих внимания.
Компания, работающая по подписной модели, стремится сократить отток клиентов. Для исследования используются сведения о платежах, активности пользователей, обращениях в службу поддержки, продолжительности использования продукта, выбранном тарифе и истории взаимодействия с компанией.
Интеллектуальный анализ данных позволяет сопоставить поведение действующих клиентов с поведением тех, кто ранее отказался от услуги. В результате могут быть выявлены признаки, связанные с повышенной вероятностью ухода:
снижение частоты использования продукта;
прекращение работы с основными функциями;
несколько обращений в поддержку за короткий период;
задержка очередного платежа;
переход на более дешевый тариф;
отсутствие реакции на сообщения компании;
сокращение числа активных пользователей в организации клиента.
На основании сочетания таких признаков формируется группа повышенного риска. Клиент считается относящимся к ней не из-за одного отдельного события, а по совокупности характеристик и изменений в поведении.
Результаты анализа позволяют заблаговременно определить клиентов, которым может потребоваться дополнительная поддержка. Компания может уточнить причины снижения активности, предложить обучение, изменить условия обслуживания или подключить ответственного специалиста.
Стандартный отчет показывает количество клиентов, которые уже отказались от услуги. Интеллектуальный анализ данных помогает выявить признаки возможного ухода до его наступления и определить группу для предупредительных действий.
Анализ данных (Data Analytics) — более широкое понятие, включающее подготовку, исследование и интерпретацию информации. Он часто используется для ответа на заранее сформулированные вопросы, оценки показателей и выявления причин изменений. Интеллектуальный анализ данных сосредоточен на поиске скрытых или заранее неизвестных закономерностей.
Наука о данных (Data Science) объединяет анализ данных, программирование, статистику, машинное обучение и математическое моделирование. Она может включать обработку текстов, изображений и других сложных видов информации, а также разработку прогнозных и рекомендательных систем. Интеллектуальный анализ данных является одним из направлений работы с данными и может входить в проекты в области науки о данных.
Машинное обучение (Machine Learning) — методы построения моделей, которые выявляют зависимости на основе примеров и используют их для классификации, прогнозирования или принятия решений. Алгоритмы машинного обучения могут применяться при интеллектуальном анализе данных, но цель Data Mining шире и включает интерпретацию обнаруженных закономерностей.
Бизнес-аналитика (Business Intelligence, BI) обеспечивает регулярный расчет и представление показателей в отчетах и информационных панелях. Она помогает отслеживать состояние процессов и отклонения от целевых значений. Интеллектуальный анализ данных позволяет глубже исследовать накопленную информацию и обнаруживать связи, которые не представлены в стандартной отчетности.