Инструменты Data Mining. SAS Enterprise Miner

Инструментарий для углубленного интеллектуального анализа данных

Новая версия пакета SAS Enterprise Miner 5.1 спроектирована с использованием архитектуры Java-клиент / SAS-сервер, которая позволяет отделить вычислительный сервер, выполняющий обработку данных, от пользовательского интерфейса. Это обеспечивает гибкость в выборе конфигурации эффективного решения - от однопользовательской системы до крупнейших решений корпоративного масштаба. Обработку данных можно выполнять на мощных серверах, а конечные пользователи могут перемещаться из офиса домой или в отдаленные филиалы, не теряя связи с аналитическими проектами и сервисами. Некоторые серверные задачи, интенсивно использующие ресурсы процессора, например сортировка и агрегация данных, отбор переменных и регрессионный анализ, сделаны многопоточными, что позволяет распределить их выполнение между несколькими процессорами.

Процессы в Enterprise Miner могут работать параллельно и в асинхронном режиме. Масштабные или повторяющиеся процессы обучения модели или скоринга могут быть выполнены в виде пакетного задания, назначенного на наименее загруженные часы работы аналитического сервера.

Набор инструментов для подготовки, агрегации и исследования данных

Пакет SAS Enterprise Miner предлагает различные инструменты для осуществления подготовки данных, которые дают возможность, например, сделать выборку или разбивку данных, осуществить вставку недостающих значений, провести кластеризацию, объединить источники данных, устранить лишние переменные, выполнить обработку на языке SAS посредством специализированного узла SAS code, осуществить преобразование переменных и фильтрацию недостоверных данных. Пакет оснащен функциями описательной статистики, а также расширенными средствами визуализации, которые позволяют исследовать сверхбольшие объемы данных, представленные в виде многомерных графиков, и производить графическое сравнение результатов моделирования.

Платформенно-независимый пользовательский интерфейс пакета SAS Enteprise Miner 5.1 создан на базе Java и предоставляет пользователям широкий набор средств статистической графики с гибкими возможностями настройки и управления. Для создания специальных графиков предусмотрен Java-мастер. Все графики и лежащие в их основе таблицы динамически связаны между собой и поддерживают интерактивные режимы работы.

Интегрированный комплекс разнообразных методов моделирования

Пакет SAS Enterprise Miner предоставляет набор инструментов и алгоритмов прогностического и описательного моделирования, включающий деревья решений, нейронные сети, самоорганизующиеся нейронные сети, методы рассуждения, основанные на механизмах поиска в памяти (memorybased reasoning), линейную и логистическую регрессии, кластеризацию, ассоциации, временные ряды и многое другое.

Интеграция различных моделей и алгоритмов в пакете Enterprise Miner позволяет производить последовательное сравнение моделей, созданных на основе различных методов, и оставаться при этом в рамках единого графического интерфейса. Встроенные средства оценки формируют единую среду для сравнения различных методов моделирования, как с точки зрения статистики, так и с точки зрения бизнеса, позволяя выявить наиболее подходящие методы для имеющихся данных. Результатом является качественный анализ данных, выполненный с учетом специфических проблем конкретного бизнеса.

Интегрированные средства сравнения моделей и пакеты результатов

Пакет SAS Enterprise Miner оснащен рядом встроенных функций контроля, работающих в рамках единой оболочки и обеспечивающих сравнение результатов различных методов моделирования как с точки зрения статистики, так и с точки зрения бизнеса.

Полученные модели можно публиковать для совместного использования в рамках предприятия при помощи репозитария моделей, представляющего собой первую на рынке систему управления моделями. Управление моделями обеспечивает модуль Enterprise Miner Repository. Пакет предоставляет ряд встроенных оценочных функций, позволяющих сравнить результаты различных методов моделирования, как в терминах бизнеса, так и с использованием статистической диагностики. Это дает возможность измерить эффективность модели в терминах ее прибыльности. Аналитики могут наблюдать за обновляемыми моделями и отслеживать улучшение их точности с течением времени. Созданные диаграммы можно сохранять и импортировать в виде XML-файлов, что облегчает процесс их передачи другим аналитикам. SAS Enterprise Miner позволяет создавать сжатые пакеты с результатами моделирования, в которых хранится вся информация о процессе обработки данных, включая предварительную обработку данных, логику моделирования, результаты моделирования и оценочный код. Эти пакеты результатов могут быть зарегистрированы на сервере метаданных (SAS Metadata Server), откуда их потом могут извлекать для изучения специалисты по анализу данных и представители бизнеса. Специальный модуль с Web-интерфейсом предусмотрен для просмотра репозитария моделей.

Скоринг по модели и простота развертывания модели

Итогом работ по интеллектуальному анализу данных является развертывание созданной модели - это заключительная стадия, на которой реализуется экономическая отдача от проведенных исследований. Процесс применения модели к новым данным, известный как скоринг, часто требует ручного написания или преобразования программного кода. Пакет SAS Enterprise Miner автоматизирует процесс подбора коэффициентов и предоставляет готовый программный код для скоринга на всех стадиях создания модели, поддерживает создание различных программных сред для развертывания модели на языках SAS, C, Java и PMML. Этот программный код может использоваться в различных средах (в пакетном режиме или в реальном времени) в системе SAS, в Web или непосредственно в реляционных базах данных. Пакет создает код для аналитических моделей и для предварительной обработки данных.

Когда оценочный код создан, можно проводить скоринг наборов данных как непосредственно в Enterprise Miner, так и экспортировать скоринг-код и выполнить скоринг на другой машине, а также отторгнуть формулу для скоринга для применения в пакетном режиме или в режиме реального времени в Web или непосредственно в реляционных базах данных.

Гибкость благодаря открытости и расширяемости

Пакет Enterprise Miner предоставляет настраиваемую и расширяемую среду интеллектуального анализа данных, позволяющую добавлять инструментальные средства и интегрировать персонифицированный код на языке SAS. Стандартную инструментальную библиотеку, входящую в состав пакета SAS Enterprise Miner 5.1, легко расширить при помощи средств настройки, использующих язык SAS и XML-логику. Кроме того, есть возможность использования экспериментального интерфейса Java API, позволяющего встраивать процессы пакета Enterprise Miner в различные пользовательские приложения. Эта возможность может оказаться особенно плодотворной для компаний, стремящихся создать собственное аналитическое приложение, которое будет сочетать в себе, например, возможности создания OLAP-отчетов и выполнения интеллектуального анализа данных в рамках единого интерфейса.

Встроенная стратегия обнаружения данных

Интеллектуальный анализ данных становится особенно эффективным, если он является составной частью интегрированной стратегии предоставления информации. Пакет Enterprise Miner органично интегрируется с другими предложениями SAS, например, пакетом SAS ETL Studio, средствами аналитической обработки OLAP, прогностическим и другими аналитическими модулями, а также с приложением SAS Text Miner. Подход SAS к созданию информационно-аналитических систем кратко будет изложен в конце лекции.