OLAP в России

Эта статья напечатана в PC Week/RE, №25/2000
от 18 июля и размещена здесь с любезного
разрешения редакции этой газеты. Данный
текст не проходил редактирования в PC Week/RE

В последние годы аналитическая обработка данных постепенно выходит на передний план. Например, аналитические модули появились в составе пакетов финансово-производственных приложений SAP R/3, Oracle Applications и др.; почти одновременно с лидерами мирового рынка включили аналитические модули в свои системы российские фирмы “Парус”, АйТи (система “Босс-Корпорация”) и др. В условиях рыночной экономики качество информационной поддержки деятельности руководителей и аналитиков становится одним из факторов достижения предприятиями конкурентных преимуществ. Осуществить такую поддержку непосредственно на основе данных OLTP-систем, автоматизирующих сбор и первичную обработку данных о деятельности предприятия, невозможно. Именно это и обусловило интерес к системам поддержки принятия решений (СППР или DSS по анг.), которые являются основной сферой применения OLAP (On-Line Analytical Processing, оперативная аналитическая обработка, оперативный анализ данных), превращающей “руду” OLTP-систем в готовое “изделие”, которое руководители и аналитики могут непосредственно использовать.

Сначала кратко об основных классах OLAP-продуктов.
Многомерная модель в OLAP является логической, она может быть реализована как базовая в СУБД (в этом случае говорят о многомерных базах данных (МБД или MDB по анг.) и соответственно о MOLAP) или смоделирована на реляционной базе данных (в этом случае говорят о ROLAP) благодаря применению схемы типа “звезда”. В центре “звезды” находится главная таблица – таблица фактов, запись которой содержит показатель и составной ключ, состоящий из первичных ключей таблиц измерений (лучей, справочных таблиц).

Первоначально мировой рынок OLAP-продуктов развивался как рынок систем, реализующих MOLAP, но с середины 90-х годов основные поставщики реляционных СУБД архитектуры клиент-сервер начинают предлагать ROLAP.

OLAP-продукты, реализующие MOLAP, весьма разнообразны. Хотя статья Кодда привлекла широкое внимание к OLAP в начале 90-х годов, необходимо отметить, что первые MOLAP-системы появились еще в конце 60-х годов. Ряд MOLAP-систем разрабатывался именно как OLAP-продукты, например, семейство Oracle Express, в состав которого входят сервер МБД Express Server, система анализа МБД Express Analyzer, средства разработки OLAP-приложений Express Objects и несколько утилит и готовых приложений. Эти продукты позволяют создавать сложные OLAP-приложения. В других продуктах OLAP реализован как опция, например, как OLAP-модуль в пакете Seagate Info, созданном на основе генератора отчетов Crystal Reports компании Seagate Software.
Естественно, возникает вопрос о том, что предпочтительнее – MOLAP или ROLAP. В самом общем виде ответ звучит так – для больших (десятки гигабайт) баз данных OLAP предпочтительнее ROLAP, для баз данных меньшего размера - MOLAP. Но острота этого вопроса в последнее время снимается благодаря развитию гибридного OLAP – HOLAP: это относится прежде всего к MOLAP-продуктам, которые получают возможность подключения к реляционным базам данных и другим источникам данных и подкачки информации из них (а это особенно важно в российских условиях, но об этом ниже).
Корпорация Oracle помимо развития ROLAP в СУБД ORACLE в 1995 году приобрела семейство MOLAP-продуктов Express.
Корпорации IBM и Microsoft только в прошлом году начали предлагать OLAP в рамках своих серверов баз данных. Подход Microsoft, пожалуй, наиболее оптимален из подходов всех поставщиков OLAP-продуктов с точки зрения реализации HOLAP. Кроме того, предложенный ею протокол доступа к данных OLE DB for OLAP становится таким же стандартом в мире OLAP, каким в мире реляционных СУБД архитектуры клиент-сервер является ODBC. От выхода Microsoft на рынок OLAP ждут многого, но пока еше рано делать выводы о его успешности.

Исходя же из рыночных способов распространения OLAP, можно выделить три класса:
1. готовые тиражируемые OLAP-приложения, распространяемые либо автономно, либо в составе прикладных пакетов;
2. OLAP-приложения, создаваемые в рамках заказных проектов;
3. OLAP-продукты (сервер, средства разработки приложений) для создания OLAP-приложений организацией-покупателем.

Историю OLAP в России следует, наверное, отсчитывать с 1996 года, когда несколько компаний начали заметно продвигать OLAP-продукты. К этому времени относится и разработка первых известных российских OLAP-приложений. Если судить по сайтам компьютерных компаний с описаниями OLAP-продуктов, то в настоящее время OLAP в России и странах СНГ продвигают несколько десятков компаний. Если же принять во внимание другие проявления активности по продвижению OLAP, то придется говорить о гораздо более узком круге компаний.

Компания “Терн” (www.tern.ru) не только продает комплект BusinessObjects компании Business Objects, она успешно использует его при выполнении заказных проектов. OLAP-продукты компаний Cognos и CA/Platinum продвигает фирма Argussoft (www.argussoft.ru). OLAP-продукты от Oracle, Microsoft и Seagate Software распространяет компания Interface (www.interface.ru), которая регулярно проводит семинары по тематике OLAP и СППР. Финансовые приложения и OLAP-сервер корпорации Hyperion, а также приложения собственной разработки предлагает компания Ланит (www.lanit.ru). Поставщики основных реляционных СУБД архитектуры клиент-сервер и их партнеры также действуют с разной степенью активности на российском рынке OLAP. Крупным организациям предлагает свои сложные и дорогие продукты, в т. ч. и OLAP-продукты, компания SAS Institute.

Что сдерживает развитие российского рынка OLAP? Можно указать ряд причин, обусловленных как действиями поставщиков и распространителей, так и отношением потенциальных пользователей.

С одной стороны, что касается поставщиков и распространители OLAP-продуктов, многие из них ведут работу с выделенными по каким-то критериям (или сложившимися стихийно) узкими кругами организаций. Например, Oracle СНГ и ее партнеры, похоже, наиболее активно продвигает OLAP в России, но это продвижение происходит в рамках продвижения всех продуктов Oracle и покупают Oracle Express в основном пользователи СУБД ORACLE. А ведь OLTP-подсистемы информационных систем множества российских предприятий, в т.ч. и весьма крупных, основаны на файл-серверной технологии (или простейшем варианте технологии клиент-сервер на основе Btrieve) и нет оснований ожидать от них в обозримом будущем массового перехода на технологию клиент-сервер (корпорация “Галактика” опубликовала результаты продаж своей одноименной системы, позиционируемой как система автоматизации средних и крупных предприятий, в 1999 году. Продажи по платформам СУБД распределились так: Oracle – 16%, Microsoft – 7%, Btrieve – 77%(!!).). Эти организации могли бы использовать MOLAP-продукты, такие как Oracle Express, или OLAP-приложения на основе MOLAP-продуктов.

В целом же создается впечатление о пассивности большинства поставщиков и распространителей OLAP в России, что проявляется в проблемах с русификацией продуктов и документации, технической поддержкой, отсутствием активного маркетинга.

С другой стороны, в отношении потенциальных пользователей к OLAP-технологии можно отметить несколько моментов, препятствующих ее восприятию.
В потоке переводных западных публикаций OLAP рассматривается почти всегда в контексте тематики хранилищ данных, больших и сверхбольших баз данных OLTP (десятки и сотни гигабайт данных), информация которых, перекачанная в хранилище/витрины данных, и должна анализироваться средствами OLAP. Базы данных OLTP, с которыми имеют дело российские специалисты, как правило, намного меньше – большими у нас называют базы данных, содержащие несколько гигабайт данных, а то и несколько сот мегабайт.
А это приводит к тому, что специалисты российских предприятий часто воспринимают OLAP как нечто, не имеющее к ним в настоящее время отношения. И не только они. Сотрудники московского офиса одной крупной западной компании, выпускающей ряд программных продуктов, на мой вопрос, почему они не уделяют внимания продвижению своего OLAP-продукта, отвечали:”Но ведь OLAP нужен для баз данных размером под 80 и более гигабайт. А таких баз в России единицы.”(Справедливости ради должен отметить, что этот разговор состоялся два года назад. Но активность этой компании в продвижении своего OLAP-продукта за это время не изменилась.).

Так вот, OLAP успешно применяется для анализа баз данных размером в десятки мегабайт (нужно уточнить, это размер баз данных OLAP, т.е. размер исходных баз данных OLTP в 2-10 больше – не все данные OLTP нужны для анализа; здесь имеется в виду размер содержательных данных). В 1997 году Международная группа пользователей Oracle провела опрос пользователей Oracle Express, результаты которого были опубликованы на www.ioug.org. Согласно этому опросу, размеры используемых баз данных варьируют в диапазоне от 10 мегабайт до 4 гигабайт, среднее значение от 100 до 350 мегабайт. Эти данные позволяют сделать вывод, что круг российских организаций – потенциальных пользователей OLAP - очень широк (а ведь многие организации, отработав с данными OLTP, архивируют их, не имея ясных планов по их использованию).

Еще один и, пожалуй, более важный момент заключается в убеждении, также вынесенном из западных публикаций, что аналитика начинается тогда, когда автоматизированы основные бизнес-процессы и информационная система организации построена как совокупность интегрированных подсистем, включая хранилище/витрины данных. На многих же российских предприятиях царит “островковая” автоматизация, т.е. информационная система – это “зоопарк” из слабосвязанных и/или изолированных разнородных (по используемым средствам) подсистем, задач, баз данных … Но российские разработчики успешно использовали OLAP и в таких условиях (в этом случае особенно необходимы OLAP-продукты, реализующие HOLAP), идя от конкретных задач. На Украине фирма UBS (www.ubs-solutions.com) внедряет в одной организации почти полный набор модулей Oracle Applications, причем в первую очередь модули аналитики, используя накопленные данные и не ожидая полного перестроения информационной системы заказчика в результате внедрения других модулей.

Некоторые специалисты высказывают мнение, что основным препятствием для использования OLAP являются даже не те проблемы, относящиеся к специалистам ИТ и компьютерному бизнесу, о которых идет речь в этой статье, а незаинтересованность конечных пользователей в аналитике. Это действительно проблема, и, очевидно, единственный путь ее решения – проcвещение этих пользователей. Но, что внушает оптимизм, приводимые примеры такой незаинтересованности относятся почти исключительно к генералам и чиновникам госучреждений. А вообще-то замечено, что в отраслях, где выше уровень конкуренции, аналитика воспринимается охотнее.

К настоящему времени в России и странах СНГ уже реализовано не менее 100 проектов с применением OLAP (эта минимальная оценка, скорее разработано 200-300 проектов). Отсутствие активного маркетинга OLAP проявляется, в частности, и в том, что информация об этих проектах редко публикуется. Но даже немногие известные описания проектов, общение с разработчиками OLAP-приложений позволяет сделать некоторые выводы. OLAP-продукты как инструмент разработчика значительно проще, чем СУБД архитектуры клиент-сервер. При реализации OLAP решающее значение имеет качество данных, т.е. их верность, полнота, согласованность. Эта проблема подчеркивается западными пользователями OLAP-продуктов, но, похоже, в России решать ее особенно трудно (как обеспечить сопоставимость ценовых данных за 90-е годы, если учет не велся в у.е.?). OLAP, как отмечалось выше, используется прежде всего в СППР руководителей и в случае успешной реализации OLAP отношение руководителей к ИТ значительно улучшается …

Большинство OLAP-продуктов, которые более-менее активно продвигаются в России, относятся к категории “тяжелых”, в том числе и по цене. И до последнего времени OLAP-продукты преимущественно использовали крупные предприятия, банки и государственные структуры. Но выход бесплатного OLAP-сервера Microsoft, который оказывает ценовое давления на других поставщиков, активизация некоторых распространителей других OLAP-продуктов в России создает условия для применения OLAP-технологии средними и малыми организациями.
Если Вы хотите оспорить/уточнить какие-то положения этой статьи, пишите по адресу arezn99@mail.ru.

Алексей Резниченко

ВРЕЗКА1
Аналитическая обработка данных, результаты которой используются конечными пользователями, в СССР ранее реализовывалась на машинах ЕС и СМ ЭВМ. Какие-либо специализированные программные средства для этого не использовались. Как правило, для реализации аналитической обработки применялись те же средства, что и для реализации оперативной обработки транзакций (OLTP) – СУБД и средства разработки приложений, а также генераторы отчетов. Разработчики информационных систем, реализуя как OLTP, так и аналитическую обработку данных, часто сталкивались со следующей проблемой: для оптимальной (в смысле минимизации используемых машинных ресурсов, трудоемкости разработки и т.д. ) реализации OLTP необходима база данных одной структуры, а для оптимальной реализации аналитической обработки необходима база данных другой структуры.
Наиболее важная задача, решаемая с применением OLTP, - это ввод (с контролем) информации в базу данных (технологически, как правило, это множество коротких транзакций к базе данных), который должен быть выполнен в заданный срок. Важность решения этой задачи в рамках любой информационной системы очевидна и если разработчики принимали решение работать с единой базой данных, то выбор этот чаще всего делался в пользу той ее структуры, при которой оптимизировался ввод данных (либо выбиралась структура базы данных не оптимальная ни для ввода данных, ни для аналитической обработки, но позволяющая решать обе задачи удовлетворительно). Но нередко разработчики выбирали работу с двумя базами: ввод данных происходил в одну базу данных, затем после завершения этого процесса прошедшие все необходимые виды контроля данные переносились во вторую базу данных (в первом приближении такую базу можно назвать, используя современную терминологию, хранилищем данных), структура которой выбиралась для оптимизации последующей обработки, в т.ч. и аналитической. Причем необходимость во второй базе данных была тем выше, чем сложнее были запросы к данным при аналитической обработке. Эта схема – с двумя базами данных, для работы с которыми используется одна СУБД, применяется и в настоящее время. Естественным шагом в развитии схемы с двумя базами данных является использование для работы со второй базой специализированной технологии (и продуктов, которые ее реализуют). Наибольшее признание к настоящему времени в качестве такой технологии получила OLAP-технология.
Определение OLAP как аналитической обработки данных на основе применения многомерной модели данных было предложено в начале 90-х годов Э. Коддом в виде знаменитых 12 правил. По основам OLAP в российских компьютерных изданиях и Интернете опубликовано уже немало статей (см., например, www.olap.ru).
КОНЕЦ ВРЕЗКИ1

ВРЕЗКА2
Сайт www.olapreport.com фирмы Business Intelligence является, возможно, самым полным источником информации по OLAP. Здесь подробно изложена история OLAP и многомерных баз данных, рассмотрены их основные понятия, публикуются подробные обзоры продуктов, анализируется динамика рынка и т.д. Ряд статей c этого сайта переведен на русский язык, см. www.socio.newmail.ru. Пожалуй, единственным спорным разделом этого сайта является изложение анализа характеристик мирового рынка OLAP, методика которого (она изложена на сайте) вызывает сомнения (например, при определении доли Oracle в нее не включены результаты продаж Oracle Discoverer, реализующего ROLAP; кроме того, в анализе учитываются качественно разные продукты – приложения (Pillar), серверы баз данных OLAP, средства разработки OLAP-приложений, продукты, которые помимо функций OLAP, реализуют и другие функции (BusinessObjects); строго говоря, для корректного анализа надо сегментировать рынок OLAP …).
Мировой рынок OLAP-продуктов является одним из наиболее динамичных секторов мирового рынка ПО (это вывод всех исследовательских компаний). Его динамика проявляется как в быстром росте продаж ($1 миллиард в 1996, $1.4 миллиард 1997, более $2 миллиардов в 1998 и $2.5 миллиардов 1999), так и в появлении новых фирм-разработчиков и слияниях (приведены цифры Business Intelligence, которые, как и доли отдельных фирм, весьма отличаются от данных других исследовательских компаний).

Таблица 1. Результаты 10 лидеров мирового рынка OLAP в 1999 и 1998 гг. (взято с www.olapreport.com)

1999 1998
(предварительно)
Поставщик Место Доля (%) Место Доля (%)

["Hyperion Solutions 1 28.4% 1 34.0%
total market]
Hyperion Solutions (Essbase,
Enterprise/Pillar, Wired) 1 23.0% 1 28.7%
Oracle 2 11.4% 2 17.0%
Cognos 3 11.1% 3 9.6%
MicroStrategy 4 7.9% 4 6.5%
Microsoft 5 7.6% - -
Business Objects 6 5.3% 6 4.4%
Comshare 7 3.2% 5 4.8%
Applix 8 3.1% 10 2.5%
IBM 9 3.0% 13 1.9%
(включая продажи DB2 OLAP Server и перепродажи Essbase)
Sterling Software 10 2.8% 9 2.9%

Учитывая эти моменты, а также динамичность мирового рынка OLAP, не стоит придавать данным таблицы 1 чрезмерного значения. К тому же эти данные (финансовые результаты) не отражают распространенности (числа используемых копий) OLAP-продуктов.
КОНЕЦ ВРЕЗКИ2

Врезка3
Автор обратился к компаниям, действующим на российском рынке OLAP, с просьбой вкратце его охарактеризовать. Были получены следующие ответы.
Дмитрий Загороднийчук, менеджер по маркетингу компании Avicomp Services AG:

По нашему мнению, только около 50% организаций, для которых актуальны задачи, решаемые с использованием OLAP-систем, в полной мере осознают это и принимают меры для внедрения у себя соответствующих средств автоматизации. В подавляющем большинстве их интересуют приложения, а не средства разработки.
На многих предприятиях внедрение OLAP-систем не является первоочередной задачей. Не все руководители предприятий понимают выгоду от использования средств анализа. А многие из тех руководителей, которые видят, как использовать OLAP-системы в управлении предприятием, не имеют возможности выделить ресурсы для их внедрения.
Специальной оценки конкурентов на рынке OLAP мы не проводили, это относится и к выходу Microsoft на этот рынок.

Александр Пелагейкин, менеджер по маркетингу компании РДТЕХ:

Компания РДТЕХ с 1998 года начала разработку отчетно-аналитических систем и продажу продуктов Oracle Express. Российский рынок OLAP пока не развит, но тем не менее, видится нам перспективным. Мешает его развитию отсутствие усилий по его формированию. В случае ИТ не спрос рождает предложение, а предложение формирует рынок и спрос.
В данный момент многие компании в России занимаются тематикой OLAP, поэтому кого-то выделять я не буду
Если говорить о выходе Microsoft на рынок OLAP, то еще рано говорить о каких-либо оценках, так как не слышно что-то о реализации проектов на российском рынке с использованием продуктов Microsoft. В компьютерной прессе (включая Интернет) неоднократно появлялись обзоры продуктов OLAP, в которых обсуждались и продукты Microsoft. Если судить по этим публикациям, то продукт Microsoft пока "сыроват" и тягаться с лидерами ему тяжело.

Сергей Шургин, менеджер по маркетингу компании Терн:

Компания Терн действует на рынке OLAP с 1996 года. С 1997 г. мы являемся региональным партнером компании Business Objects в России и странах СНГ. Рынок OLAP в России до конца не сформирован, но в ближайшем будущем преобразуется в важный отдельный сегмент рынка ИТ. Мешает слабая развитость информационных систем на российских предприятиях и недостаточноеосмысление необходимости их использования. Под слабым развитием в первую очередь понимается невостребованность информ. систем руководством и персоналом компаний, плохая постановка учета и управления. Не хотелось бы выделять какие-либо компании среди конкурентов, т.к. на самом деле их очень много. Выход Microsoft на рынок OLAP мы оцениваем положительно, так как эта компания будет популяризовывать OLAP вообще, но пока не в состоянии предложить заказчикам корпоративных решений. Помимо этого, Microsoft - партнер Business Objects, в состав продуктов которой входят инструменты доступа к MS SQL Server OLAP Services.