Некоторые соображения о роли и месте технологии OLAP

1.1 От переработки данных к анализу

Стабилизация экономики, снижение инфляционных сверхприбылей и спекулятивных доходов лишают возможности делать "легкие" деньги практически без риска и ведут к обострению конкуренции. Чтобы устоять в новых условиях от бизнесменов требуется умение принимать максимально взвешенные решения и определять оптимальную финансовую стратегию. Эффективное управление крупным и средним бизнесом сегодня не мыслимо без применения передовых информационных технологий - систем поддержки принятия решений (СППР).

В самом общем виде процесс управления можно свести к решению трех задач:

• где мы находимся?
• куда мы хотим придти?
• как мы туда попадем?

Для сложных систем характерно то, что управлять ими приходится, как правило, в условиях не полной информации, незнания закономерностей функционирования и постоянного изменения внешних факторов. Поэтому процесс управления имеет итерационный характер. После принятия решения и применения управляющего воздействия необходимо вновь оценить состояние, в котором находится система, и решить вопрос, о том правильно ли мы движемся по намеченному пути. Если отклонения нас не удовлетворяют, то необходимо переопределить процесс управления.

Современные информационные технологии при поиске ответов на поставленные вопросы позволяют аналитику формулировать и решать следующие классы задач:

Аналитические - вычисление заданных показателей и статистических характеристик бизнес деятельности на основе ретроспективной информации из баз данных.

Визуализация данных - наглядное графическое и табличное представление имеющейся информации.

Добыча знаний (data mining) - определение взаимосвязей и взаимозависимостей бизнес процессов на основе существующей информации. К данному классу можно отнести задачи: проверки статистических гипотез, кластеризации, нахождения ассоциаций и временных шаблонов. Например, путем анализа экономических и финансовых показателей деятельности компаний, которые затем обанкротились, банк может выявить некоторые стереотипы, которые можно будет учесть при оценке степени риска кредитования.

Имитационные - проведение на ЭВМ экспериментов с математическими моделями, описывающими поведение сложных систем в течение заданного или формируемого интервала времени. Задачи этого класса применяются для анализа возможных последствий принятия того или иного управленческого решения (анализ "Что, если?...").

Синтез управления - используется для определения допустимых управляющих воздействий, обеспечивающих достижение заданной цели. Задачи этого типа применяются для оценки достижимости намеченных целей, определения множества возможных управляющих воздействий, приводящих к заданной цели.

Оптимизационные - основаны на интеграции имитационных, управленческих, оптимизационных и статистических методов моделирования и прогнозирования. Задачи данного класса позволяют выбрать на множестве возможных управлений те из них, которые обеспечивают наиболее эффективное (с точки зрения определенного критерия) продвижение к поставленной цели.

Вряд ли следует надеяться, что когда-либо будет создано комплексное программное обеспечение (ПО) СППР, которое будет реализовывать все, или хотя бы относительно большую часть алгоритмов, применяемых при решении перечисленных классов задач. Не стоит также полагать, что в ближайшие годы могут появиться на рынке программного обеспечения универсальные имитационные модели функционирования коммерческого предприятия, которые можно бы было адаптировать и использовать в СППР конкретной фирмы. Однако весьма вероятно, что ряд фирм для того, чтобы добиться преимущества в конкурентной борьбе, сделает ставку на разработку собственных имитационных моделей. Исходя из личного опыта участия в создании моделей сложных систем, могу утверждать, что даже при наличие квалифицированной команды из бизнес аналитиков, математиков и программистов срок реализации подобного проекта составит не менее чем полтора-два года. До тех пор о реальном использовании информационных технологий при решении задач пятого и шестого классов говорить, на мой взгляд, преждевременно, поскольку существующие в этих областях алгоритмы подразумевают наличие адекватной модели управляемой системы.

Модели [1] позволяют нам отображать явления и объекты реального мира на множество абстрактных символов и понятий, а связи между ними - на связи между соответствующими абстракциями (рис.5). Модель дает нам возможность, например, забыть о диаметре, длине и материале, из которого сделан проводник, и описать его некоторой абстракцией - сопротивлением R. А затем, измерив величину сопротивления (получив данные), мы можем воспользоваться моделью, которая называется "Закон Ома", и предсказать, что сила тока в проводнике будет I=U/R, если мы приложим к его концам напряжение U.
Рис.5. Соотношение объекта познания и модели. S - множество определяющих явлений, P - множество определяемых явлений

Бизнес представляет собой сложный объект, который строится из множества различных по свойствам подсистем, между которыми действует большое число разнородных связей. Предпринимательская деятельность состоит из целого ряда бизнес - процессов, которые существенно зависят от множества внешних факторов: законодательных, экономических, социальных, политических. В кибернетике такие объекты получили название сложные системы, а методы их изучения - системный анализ. Хотя эта наука развивается с начала 40-х годов[2], с тех пор, когда в армиях США и Великобритании стали привлекать ученых к разработке рекомендаций по проведению боевых операций в ходе Второй мировой войны, существенные практические результаты получены лишь в исследовании операций - применении количественных математических методов для обоснования решений. Но математика начинает работать лишь тогда, когда исследователь имеет модель системы. Математиков, как правило, мало интересует откуда берется формальная модель. Они справедливо считают, что построение модели относится к компетенции специалистов в конкретной прикладной области.

Откуда же берутся модели и почему их практически нет в системах управления бизнесом?

Общая с точки зрения теории познания триада имеет вид: Гипотеза - Модель - Решение. Появлению любой модели предшествует гипотеза о взаимосвязях явлений и объектов реального мира. Гипотеза является открытием, принципиально новым знанием. Открытие не может быть вычислено, или получено путем логического вывода из уже существующих знаний, поскольку в этом случае оно будет лишь тавтологией, повторением уже пройденного. С точки зрения современной психологии открытие совершается при помощи интуиции, которая уходит корнями в область человеческого подсознания и опирается на огромный личный опыт. Георг Ом, прежде чем открыл свой закон, несколько лет проводил эксперименты с проводниками разного диаметра, разной длины, изготовленными из разных металлов, анализировал и накапливал результаты опытов. Открытию, как правило, предшествует не одна, а множество гипотез. По каждой гипотезе строится модель - формальное математическое описание - и находится решение. Полученное решение проверяется затем в эксперименте и отвергается, если не находит подтверждения. Так происходит до тех пор, пока исследователь не сможет опровергнуть на опыте очередную гипотезу (рис.6). В результате мы получаем знание, которым можем руководствоваться в нашей практической деятельности.
Рис.6. Процесс познавательной деятельности

В бизнесе процесс создания адекватных моделей осложняется двумя объективно существующими проблемами.

Первая из них состоит в том, что накоплению у бизнесменов личного опыта в ходе повседневной деятельности препятствует динамичное изменение экономической ситуации, которое особенно характерно для современной России. Интуиция, необходимая для выдвижения бизнес гипотезы, просто не успевает вырабатываться у предпринимателя.

Вторая проблема заключается в том, что в предпринимательской деятельности да еще в условиях свободного рынка отсутствует возможность проведения целенаправленных экспериментов, которые предшествуют открытию гипотезы и позволяют проверять ее на практике.

Следовательно, применительно к бизнес деятельности процесс познания, изображенный на рис.6, претерпевает разрыв как минимум в двух точках: на этапе выдвижения гипотез и на этапе экспериментальной верификации моделей.

В настоящее время в бизнесе реально следует рассчитывать лишь на использование комплексного ПО, реализующего алгоритмы решения задач первого, второго и частично третьего из перечисленных классов. Сегодня мы являемся свидетелями стремительного прогресса в создании подобного ПО под общим названием OLAP (On-line Analytical Processing). Предназначение новых технологий хранилищ данных и OLAP - заполнить объективно существующие разрывы познавательной деятельности. Более100 крупнейших производителей программ включились в конкуренцию на данном секторе рынка.

1.2 Искусственный интеллект на столе руководителя

Хранилища данных по своей сути больше идея, чем технология. Идея заключается в том, чтобы собрать в едином , по крайней мере с точки зрения пользователя, месте - супербазе всю информацию, которая может понадобиться управляющему при принятии решения. Источниками данных для информационного хранилища служат в первую очередь данные из разрозненных транзактных информационных систем, основанных на различных реляционных СУБД, которые обслуживают повседневную бизнес-деятельность. Следует особо подчеркнуть, что хранилище данных не предназначается для замены существующих систем, а является как бы надстройкой над ними. В хранилище данных могут быть включены сведения о клиентах, о штатном персонале, о конкурентах, о демографической ситуации, о показателях экономики и проч. Источниками необходимой информации могут быть газеты, радио, телевидение, Интернет и любые другие. При этом предполагается, что данные предварительно должны быть приведены к единым стандартам, очищены от противоречий, структурированы и обобщены с требуемым уровнем детализации. Прогнозируемый объем хранилищ данных оценивается в десятки терабайт (1терабайт примерно равен 10¹² байт, для наглядности можете представить себе стопку книг, энциклопедического формата высотой порядка километра). Сама идея хранилищ данных, не является новой. Отличительной особенностью хранилищ являются лишь прогнозируемые объемы хранимой информации, которые позволяют надеяться получить качественно новое свойство БД - восполнить описанные в предыдущем разделе разрывы познавательной деятельности аналитика, которые состоят в ограниченности личного опыта и невозможности проводить целенаправленные эксперименты. Не без основания предполагается, что в процессе анализа показателей собственной коммерческой деятельности и деятельности конкурентов в их взаимосвязи с внутренними и внешними факторами аналитик выработает интуицию, необходимую для выдвижения гипотез, а затем сумеет проверить справедливость найденных закономерностей, но не в ходе проведения целенаправленного эксперимента, а опять же при помощи информации из хранилища, которая уже содержит результаты требуемых опытов, поставленных самой жизнью.

Программные средства OLAP это инструмент оперативного анализа данных, содержащихся в хранилище. Главной особенностью, на мой взгляд, является то, что эти средства ориентированы на использование не специалистом в области информационных технологий, не экспертом-статистиком, а профессионалом в прикладной области - менеджером кредитного отдела, менеджером бюджетного отдела, наконец, директором. Они предназначены для общения аналитика с проблемой, а не с компьютером.

Имея гибкие механизмы манипулирования данными и визуального отображения, исследователь, как правило, сначала рассматривает с разных сторон данные, которые могут быть (а могут и не быть) связаны с решаемой проблемой, не имея при этом в голове никаких идей, просто пытаясь заметить какие-либо особенности. Сопоставляет различные показатели бизнеса между собой, стараясь выявить скрытые взаимосвязи. Заинтересовавшись какой либо позицией, он может рассмотреть данные боле пристально, детализировав их, например, разложив на составляющие по времени, по регионам или по клиентам, или наоборот еще более обобщить представление информации, чтобы убрать отвлекающие подробности. У него , например, может зародиться гипотеза о том, что разброс роста активов в различных филиалах банка, зависит от соотношения в них специалистов с техническим и гуманитарным образованием. Тогда аналитик может запросить из хранилища (а не у отдела информатизации!) и отобразить на одном графике интересующее его соотношение для тех филиалов, у которых за текущий квартал рост активов снизился, по сравнению с прошлым годом, более чем на 10% и для тех, у которых повысился боле чем на 25%. Для этого исследователь должен иметь возможность использовать не изощренный SQL-запрос, а простой выбор из предлагаемого меню. Если полученные результаты ощутимо распадутся на две соответствующие группы, то это должно стать стимулом для дальнейшей проверки выдвинутой гипотезы. А может быть полученные результаты извлекут из подсознания какие-то новые ассоциации и поиск начнет продвигаться в другом направлении. Возьму на себя смелость утверждать, что сегодня мы являемся свидетелями достаточно редкого явления - широкого внедрения элементов искусственного интеллекта в практическую деятельность, да еще в такой заповедной области как бизнес. В отличие от традиционных систем искусственного интеллекта технология OLAP, не пытается моделировать естественный интеллект, а усиливает его возможности мощностью современных вычислительных серверов и хранилищ данных.

Универсальность законов психологии, положенных в основу OLAP, позволяет разработчику приложений мало заботиться о характере возможных запросов данных конечным пользователем. Законы человеческого мышления мало изучены. Вместе с тем, вряд ли кто-нибудь сомневается в том, что общие законы мышления существуют и действуют. Можно сколько угодно критиковать 12 признаков OLAP систем, декларированных Коддом (Codd) [3], но основная их часть сформировалась под влиянием каких-то, пока не познанных, законов человеческого мышления. К признакам OLAP, основанным на законах психологии, по моему мнению, следует отнести:

• Разделение данных на показатели (переменные) и измерения, определяющие соответственно состояние и пространство бизнеса.
• Логическое представление значений показателей в виде многомерных кубов, упорядоченных по равноправным измерениям.
• Неограниченное число и количество уровней иерархических связей между значениями измерениями.
• Гибкое манипулирование данными. Возможность построение подмножества значений показателя по любому дискриминирующему правилу, определенному на множестве значений его измерений. Возможность построения подмножества значений измерения по любому дискриминирующему правилу, определенному на множестве значений любой из переменных, связанной с ней. Логические операции над полученными множествами.
• Неограниченные возможности агрегирования заданного подмножества значений показателя. При этом должна предоставляться возможность вычислять не только сумму значений, но и любой другой определенный пользователем функционал, например, минимум, максимум, среднее, медиану и проч.
• Возможность обработки запросов в "реальном времени" - в темпе процесса аналитического осмысления данных пользователем.
• Развитые средства табличного и, главное, графического представления данных конечному пользователю.

Важность гибкого графического представления, хотелось бы подчеркнуть особо. Такие выдающиеся ученые, как Жак Адамар и Жуль Пуанкаре, которые пытались при помощи самоанализа изучить творческий процесс математического открытия, сошлись во мнении, что мыслят при решении сложной задачи не словами, не математическими знаками а некоторыми геометрическими образами и, когда воображаемые образы соединяются в решение, то остается только формализовать его в символьном виде, чтобы донести это решение до остальных. Современная психология так же утверждает, что творческое мышление - образное. Она называет его правополушарным. Не углубляясь в психологические аспекты проблемы, приведем известный факт, что человеческий мозг способен воспринимать и анализировать информацию, которая представлена в виде геометрических образов, в объеме на несколько порядков большем, чем информацию, представленную в алфавитно-цифровом виде.

Можно привести много примеров, в подтверждение этого факта. Например, представьте себе, что Вам необходимо проанализировать позицию, записанную в шахматной нотации. Если количество фигур больше десяти, а Вы - не большой профессионал, то Вы потратите на несколько порядков больше времени чем при анализе на шахматной доске. Даже в том случае, если позиция проста. Или другой пример. Пусть Вам требуется найти знакомое лицо на одной из ста фотографий. Я полагаю, что этот процесс займет у Вас не более минуты. А теперь представьте себе, что вместо фотографий Вам предложат сто словесных описаний тех же лиц. Думаю, что Вам вообще не удастся решить предложенную задачу.

Наглядные геометрические образы, связанные с решаемой проблемой, колоссально стимулируют творческое мышление и приводят к открытиям даже в такой формальной области, как теория чисел [4]. Один из ведущих российский специалистов в области искусственного интеллекта, профессор Д. Поспелов назвал системы подобные OLAP новым окном в мир познания. Важность развитого графического представления информации и его влияние на интуицию исследователя, подчеркивают и зарубежные специалисты [5,6].

Технология OLAP призвана повысить эффективность информационно-аналитической и управленческой деятельности руководящего персонала. Используя эти средства, можно быстрее и более обоснованно принимать оперативные и стратегические решения. Открытые при помощи OLAP закономерности реализуются затем в экономические модели, позволяющие заглянуть в будущее, которое, по словам Нейла Рейдена (Neil Raden) президента Archer Decision Sciences Inc., "принадлежит тому, кто сможет его предвидеть и первым к нему приблизится".

Оригинал статьи в формате Microsoft Word