Проект R50 в газовом концерне AGA

Недавно в шведском газовом концерне AGA бал успешно завершен проект R50 - один из крупнейших OLAP проектов в Европе. Костяк команды, осуществившей этот проект, составили специалисты, проводившие комплексную автоматизацию российских предприятий компании AGA. Истории и анализу этого проекта посвящается данная статья.

Несколько слов о компании AGA. Основной бизнес - производство и продажа промышленных газов. Компания насчитывает около 200 предприятий с 10 000 сотрудников в 36 странах мира. Годовой оборот компании составляет около 2 миллиардов долларов.

ЧТО ТАКОЕ OLAP

В последнее время об OLAP часто говорят как о панацее от всех информационных проблем предприятия, а что же в действительности привело руководство крупной международной компании к необходимости масштабного проекта по созданию OLAP хранилища данных?

Чтобы ответить на этот вопрос вернемся назад к определению понятия OLAP и остановимся на тех особенностях OLAP систем, которые в первую очередь оказались востребованы в данном проекте. OLAP - это особая нереляционная модель хранения данных, которая позволяет с наперед заданной скоростью выполнить любой обобщающий и/или фильтрующий запрос независимо от количества данных. От этой скорости зависит лишь размер OLAP куба, причем обычно этот параметр устанавливается в пределах 5 секунд (!).

OLAP И РЕЛЯЦИОННЫЕ СИСТЕМЫ

Рассмотрим две типовых задачи:

1. Вычисление продаж за год.

2. Анализ продаж в разрезе Бизнес область - Компания.

Чтобы решить первую задачу не избыточная реляционная система должна сложить все записи за год. Можно предположить, что если записей около 100 000 000, то на это уйдет не меньше часа. При этом результат запроса не сохраняется, и другой пользователь будет опять ждать час, чтобы получить тот же результат. Это наблюдение дает первый принцип, заложенный в OLAP системы: сумма должна быть подсчитана заранее и сохраняться.

При решении второй задачи может оказаться, что в реляционной системе помимо всего прочего отсутствует именно такой индекс Бизнес область - Компания. Таким образом, системе для начала придется построить временный индекс. Для 100 000 000 записей на это скорее всего уйдет несколько дней. В OLAP системах поиск предвычисленной промежуточной суммы может проводиться в любой последовательности по всем имеющимся в наличии измерениям (dimensions).

Реально, чтобы ответить на все каверзные вопросы финансовых (и не только) аналитиков потребовалось бы проиндексировать реляционное хранилище N! индексами, где N - число полей в таблице фактов. Плюс к тому создать 2N таблиц с от 1 до N! индексами в каждой для хранения промежуточных сумм. Примерно такие рассуждения приводят к выводу, что реляционное хранилище в принципе не может отвечать требованиям анализа данных, независимо от аппаратной производительности и т.п.

В OLAP хранилище все ответы на все запросы вычислены заранее, таким образом, системе требуется их только найти. А поиск осуществляется в любой последовательности по любым измерениям. Это, конечно, несколько упрощенная формулировка, но она хорошо передает суть вопроса.

Следует отметить и другую особенность OLAP систем. OLAP система не допускает возможности изменения данных без приостановки работы с хранилищем. Когда данные становятся неактуальными, инициируется процесс обновления, близкий к полному уничтожению старого и созданию нового куба (термином куб называют отдельные базы данных или как говорят хранилища данных OLAP). Обычно обновление данных производится автоматически по ночам. Заметим в этой связи, что на текущем уровне развития управления не возникает необходимости в получении аналитических отчетов с частотой больше, чем один раз в сутки, а для крупных компаний - и один раз в месяц.

НЕМНОГО ИСТОРИИ

Что было до OLAP

Данные поступали в головную компанию концерна в виде Excel файлов по электронной почте и автоматически загружались в самостоятельно разработанное реляционное хранилище. Оригиналы Excel отчетов помещались в базу документов в Lotus Notes.

Проблемы

Аналитики высшего звена имели возможность получить небольшой ряд стандартных запросов. Как только какая-то цифра привлекала интерес и требовалась ее анализ, возникали проблемы, например, продажи товара А в Дании в период Н оказались значительно меньше бюджета. Становится интересно сравнить продажи этого товара за последние, скажем, 12 месяцев в разрезе всех Скандинавских стран. Но такого стандартного запроса нет. Есть только за 1 месяц, по 1 стране, по всем товарам. Поэтому приходится распечатывать по 12 отчетов на каждую страну и в Excel'е компоновать их в один лист. Такие вопросы возникают ежедневно десятками и сотнями у каждого аналитика. Именно поэтому многочасовые задержки при ответе на каждый такой вопрос приводили к неэффективности в работе компании. От момента возникновения проблемы до ее осознания руководством и принятия мер по ее решению проходили месяцы, если не годы, несмотря на то, что вся отчетность исправно поставлялась в головную компанию.

Еще хуже обстояли дела "на местах". Отдельные компании концерна не имели доступа к упомянутому выше реляционному хранилищу и довольствовались библиотекой отчетов в Lotus Notes.

ЧТО СТАЛО ПОСЛЕ OLAP

Новое хранилище имеет около 300 пользователей из всех компаний концерна. Конфиденциальность информации достигается путем установки прав доступа на уровне отдельных клеток OLAP куба (cell level security). С хранилищем в основном работают через Интернет, и при этом скорость формирования ответа на запрос не превышает 20 секунд. Любые показатели эффективности можно проанализировать (сравнить с аналогичными, раскрыть более подробно и т.д.) во всех измерениях в любой последовательности. Суммарный размер таблиц фактов составляет около 100 000 000 строк. Обновление происходит ежемесячно в нерабочее время. На перестройку куба уходит 4-8 часов. Размеры кубов не превышают 50Гб. Поддержкой системы занимается всего два администратора.

Рисунок 1. Это отчет, сравнивающий бюджет, факт и прошлый год в разрезе предприятий.

ВНЕДРЕНИЕ

Подход

На ранних стадиях проекта участниками проектной группы был сформулирован принципиальный тезис, который блестяще подтвердился впоследствии: разные данные (бюджет, факт, прошлый год) разных компаний хранятся в абсолютно различных учетных системах (всего в предприятиях концерна используется больше 100 различных КИС). Пытаться унифицировать это многообразие чрезвычайно трудоемко и не нужно (!). Система должна получать данные в простом универсальном формате обмена, например текстовом файле и автоматически консолидировать информацию.

При выборе конкретного программного обеспечения в расчет принималось наличие успешных внедрений, современность используемой информационной платформы, надежность, планы поставщика по развитию программного обеспечения.

В результате были выбраны продукты Hyperion ESSBase и Hyperion Wired for OLAP.

Рисунок 2. Вид типового отчета.

Этапы работ

Собственно внедрение OLAP хранилища в основном сводится к настройке серверной части. В проекте R50 на спецификацию иерархии измерений, разработку процедур и настройку серверного программного обеспечения ушло около четырех месяцев. Все это время будущие пользователи системы кроме небольшого числа участников контактной группы по разработке структуры кубов даже не подозревали о том, что проект идет полным ходом и уже находится в завершающей фазе.

После настройки сервера и бета тестирования, проект перешел в фазу интенсивного обучения. Хорошим административным подспорьем здесь явилось то, что руководители сразу стали требовать от своих подчиненных отчеты именно из R50. Уже через два месяца после начала обучения около 300 пользователей ежедневно использовали систему.

Дешивизна

При таком огромном масштабе стоимость программного обеспечения составила всего несколько сотен тысяч долларов. Еще дешевле оказалось внедрение и обучение.

Простота

Поражает простота обучения работе с клиентскими частями. Многие пользователи осваивали их буквально за 1-2 дня, просто прочитав 20-ти страничное руководство с тестовым примером. Остальным было достаточно одного двухчасового тренинга. Группа преподавателей из двух человек обучила за два месяца около 300 пользователей из 36 стран.

Что касается процедур сбора информации, то участники этого процесса вообще не заметили никаких изменений. Все предприятия как и раньше в назначенный срок отсылают Excel файлы определенного формата по определенному адресу электронной почты.

Рисунок 3. Графическая форма представления данных.

OLAP И ERP

Роль OLAP систем в управлении предприятия очевидна, однако вопреки распространенному мнению OLAP системы нельзя противопоставлять системам сбора и хранения информации. Часто последние называют ERP - системами или КИС, хотя, строго говоря, управление ресурсами компании невозможно, если информация только лишь исправно собирается, но ее невозможно оперативно проанализировать. Таким образом, только комбинация: реляционная система для сбора данных + OLAP система для их анализа дает комплексное решение информационных запросов в области управления (строго говоря, OLAP куб следует анализировать с помощью специальных аналитических программ класса Datamining).

МЕСТО OLAP В СОВРЕМЕННОЙ КОМПАНИИ

Для оптимального построения информационной структуры в современной компании с холдинговой структурой должно быть как минимум два класса OLAP систем. Один - для анализа консолидированных данных по всем предприятиям холдинга. В этих системах уровень детализации обычно сильно укрупнен - Предприятие, Товарная группа, Месяц и т.д. Частота обновления кубов этих систем обычно месяц, квартал или год. Второй - для использования внутри отдельного предприятия для удовлетворения аналитических потребностей, возникающих при оперативном управлении. Уровень детализации в этих системах должен быть максимально высоким: Товар, Торговый представитель, Дата и т.д. Частота обновления - сутки или неделя.

ВЫВОДЫ

Любую информационную задачу предприятия лучше решать по схеме Реляционная система - OLAP система.

Мы надеемся, что эта статься поможет практикам в повышении эффективности, конкурентоспособности и прибыльности своих компаний.

ПОСТСКРИПТУМ

Недавно Совет Директоров компании Linde Technische Gazen, в которую входит AGA, принял решение о масштабировании OLAP хранилища до уровня всей компании.

Федор Петренко - заместитель начальника отдела системного анализа группы компаний НЭКС, автор проекта по комплексной автоматизации российских предприятий шведского газового концерна AGA, ведет активную практику в области управленческого консультирования и внедрения КИС, e-mail fpetrenko@rbcmail.ru.

Матс Хультен (Mats Hulten) - руководитель проектов компании BRUNSWICK DIRECT (Швеция), соруководитель проекта R50 по внедрению OLAP хранилища в концерне AGA.

Оригинал статьи в формате Microsoft Word (115kb)