Использование хранилища данных в банковской системе финансового управления

РУССКОЕ ИЗДАНИЕ ORACLE MAGAZINE - №4 1997г.

АБС + Data Warehousing + OLAP = Полная система финансового управления для банков

Автоматизированные банковские системы (АБС) представляют собой системы оперативной обработки транзакций (OLTP - on-line transaction processing), оптимизированные под выполнение банковских операций, и включают некоторые средства анализа и получения отчетов для руководства. Функции же анализа и управления высокого уровня, такие как анализ прибыльности, обычно реализуются вне АБС.

Зачастую используются средства и системы, разработанные третьей фирмой и выполненные в другой программной технологии и на другой СУБД. Естественно, что в такой ситуации возникает множество проблем, связанных с обеспечением прозрачной и удобной для пользователя процедуры обмена данными, что не позволяет эффективно использовать обе системы. Сложность обеспечения эффективного взаимодействия обусловлена, в частности, тем, что банки начали процесс автоматизации с установки АБС, а в дальнейшем наращивали ее средствами анализа и управления. Спектр продуктов, предлагаемый в настоящее время фирмами - лидерами компьютерного рынка, представляет прекрасную базу для создания интегрированного решения для банков, от АБС (OLTP-систем) до средств поддержки принятия решений. А используя средства OLAP, позволяющие эффективно решать задачи анализа, прогнозирования и планирования, можно разработать полную и законченную систему банковского анализа и управления.

В данной статье описывается законченная система управления банком, базирующаяся на интегрированном подходе с использованием концепции хранилища данных (Data Warehouse) и оперативной аналитической обработки (OLAP) и реализованная на основе продуктов фирмы Oracle.

Описание подхода

АБС - это система OLTP, автоматизирующая ежедневные рутинные банковские операции. Структура данных АБС спроектирована для быстрого и эффективного выполнения элементарных действий, из которых и складываются банковские операции (ввести проводку, заключить сделку, начислить проценты и т. п.). Она отражает структуру бизнес-процессов банка и обеспечивает эффективные методы ввода, изменения и доступа к данным. Большинство данных, с которыми работает АБС, - это текущие, "сегодняшние" данные: для выполнения операций обычно требуются только эти значения параметров, и лишь к ним обеспечивается быстрый и удобный доступ. Имеющие отношение к прошлому, "исторические" значения обычно хранятся в АБС исключительно в целях архивирования и чрезвычайно редко используются в операциях, поэтому структура данных АБС, как правило, не имеет очень важной для анализа размерности - времени.

Модель данных АБС поддерживает операционные процессы в банке и представляет сущности бизнес-процессов; их атрибуты удобно вводить и модифицировать, но не анализировать. Набор атрибутов множественный, но не многомерный: атрибуты, имеющие один и тот же смысл для аналитиков, могут быть представлены различными полями в таблицах, описывающих сущности. Более того, иногда для их получения оказывается необходимо провести вычисления. Например, для банковских операций на валютном либо фондовом рынках или же на рынке межбанковских кредитов используются различные формулы вычисления прибыльности сделки. В полнофункциональных АБС эти операции проводятся, как правило, в различных модулях. Поэтому получение аналитической характеристики "прибыльность по типам инструментов" потребует дополнительных усилий.

С другой стороны, для аналитической обработки необходимы регулярные многомерные структуры, а стандартные математические методы (и пакеты) используют многомерные матрицы. Проведение статистического анализа требует доступа к большому объему данных. Время - наиболее существенное измерение, и обычно анализ проводится с целью выявления определенных тенденций: сначала анализируются данные о прошлом и настоящем, а затем выявленная тенденция экстраполируется на будущий период времени. Таким образом, два типа деятельности - повседневные операции банка и аналитическая обработка - требуют как различных структур данных, так и разных процедур доступа и обработки информации. Обычно операции банка и аналитическая обработка оказываются реализованы в двух отдельных системах (пакетах), и для обеспечения взаимодействия между ними требуется интерфейсный модуль. Чаще всего это программа, осуществляющая однонаправленное (от АБС к аналитической системе) преобразование и интеграцию данных. Однако такой интерфейсный модуль можно рассматривать как необходимый "интеллектуальный" промежуточный слой (middleware) между АБС и системой OLAP, обладающий несколькими важными свойствами систем поддержки хранилища данных. Именно этот слой, гораздо более мощный, чем просто преобразователь данных, способен существенно расширить возможности всей системы, а также обеспечить пользователю дополнительные удобства. Этот "интеллектуальный" промежуточный слой необходим, в частности, из-за различия в природе объектов: простые в системе OLTP (АБС) и сложные (составные, агрегированные) в системе OLAP. Для проведения высокоуровневого предметно-ориентированного анализа нужно построить на основе элементарных понятий АБС (счета, проводки и т. п.) сложные предметно-ориентированные объекты, необходимые для последующей обработки в системе OLAP. При отсутствии такого слоя средства OLAP будут во многом работать вхолостую, поскольку аналитику придется оперировать не финансово-экономическими, а учетно-бухгалтерскими категориями.

Приведем перечень стандартных для хранилищ данных операций преобразования и интеграции данных:

• Загрузка данных из разных источников: АБС, внешних систем и т. п., в частности консолидация данных из филиалов;
• Проверка и фильтрация данных (к счастью, эти процедуры относительно просты, так как все данные принадлежат одной и той же предметной области с ограниченным множеством понятий и типов объектов);
• Определение метаданных (предметно-ориентированных объектов);
• Агрегация данных.

Однако кроме стандартных операций в "интеллектуальном" слое желательно иметь:

• Интерактивное определение метаданных (объектов).
• Интерактивный анализ и контроль, мониторинг параметров АБС и определяемых пользователем показателей.
• Определение объектов, зависящих от времени.
• Изменение данных в хранилище.

Таким образом, в полной системе управления можно выделить три уровня; различие между ними заключается в объектах, с которыми эти уровни работают, и выполняемых над ними функциях (см. рис. 1):

• АБС (система OLTP)
• Промежуточный уровень
• Система OLAP

Схема финансового анализа и управления

Первый уровень (АБС) оперирует элементарными понятиями, такими как счет, проводка, сделка и т. п. Этого понятийного аппарата достаточно для выполнения функций бухгалтерского учета и повседневных банковских операций. Понятия высшего уровня, такие как прибыльность по продукту или прибыльность подразделения, достаточность капитала банка и т. п., определяются на втором уровне. Этот уровень является критически важным для успешной реализации всей системы управления банком. Объекты, определяемые на этом уровне, могут либо обеспечивать консолидированное представление элементарных данных, либо представлять собой новые, "неоперационные" понятия, которые доступны для анализа на этом и следующем уровнях. Третий уровень (аналитический инструментарий OLAP) включает мощные средства просмотра данных, а также средства моделирования и статистической обработки. Для простых аналитических запросов обычно достаточно средств просмотра, таких как многоуровневая детализация, нахождение наибольших и наименьших значений и т. п.; в более сложных случаях можно использовать средства моделирования и проведения анализа "что - если".

Описание компонентов

АБС

Хотя изложенный подход может быть применен к любой АБС, для систем с развитой структурой данных он предоставляет исключительные возможности для анализа. (Заметим в скобках, что этот факт очень часто упускают из виду: мощные аналитические системы типа SAS запускают работать над АБС, не имеющей таких понятий как сделка, центр прибыли, банковские продукты и т. п. Объектами анализа становятся все те же проводки да остатки на счетах. А от аналитика требуют ответа на вопросы относительно прибыльности того или иного финансового инструмента...)

Компоненты решения

Наш проект полной системы управления банком был выполнен для АБС "Ва-Банк" и "Ва-Банк ПЛЮС" компании ФОРС и SYMBOLS-R фирмы System Access. В этих системах поддерживается работа именно в перечисленных терминах банковских понятий высокого уровня.

Средства OLAP

Oracle Express представляет собой одну из самых развитых технологий анализа, имеет функционально полную архитектуру, специально предназначенную для построения интеллектуальных систем поддержки принятия решений. Oracle Express использует многомерную реляционную модель базы данных с интегрированным словарем данных и содержит удобные для конечного пользователя средства представления и анализа данных на основе многомерной базы данных (МБД). Эти средства обеспечивают наглядное представление данных в виде таблиц и графиков, построение и модификация которых не требует ни значительного времени на обучение, ни знания каких-либо языков программирования. В Express входят и средства доступа к реляционным базам данных. Реализован прекрасный инструмент для отбора данных из МБД - Selector, дающий пользователю возможность быстро и наглядно делать различные выборки из МБД, сохранять необходимые множества выбранных значений для последующего использования. Oracle Express предоставляет также объектно-ориентированную среду для быстрой разработки аналитических приложений - Oracle Express Objects.

Промежуточный уровень (middleware)

Излагаемые ниже общие принципы организации этого слоя применимы, вообще говоря, к любой АБС.

Middleware - это средство поддержки хранилища финансовых данных (ХФД). Помимо стандартных функций преобразования и интеграции данных, оно реализует перечисленные выше свойства "интеллектуального" слоя, которые не просто полезны, но и необходимы:

• интерактивное определение объектов;
• интерактивный анализ и контроль;
• определение зависимых от времени объектов;
• возможность вносить изменения в хранящиеся данные.

Первое и второе свойства обеспечивают интерактивное задание объектов, анализ и мониторинг. Почему они так важны? Дело в том, что многие показатели имеют сложную структуру (формулу вычисления), но в то же время исключительно важно контролировать их значения в течение операционного дня. Основные показатели такого рода обычно вычисляются в АБС и могут быть проконтролированы. Однако, чтобы наиболее эффективно управлять банком, необходимо расширить перечень таких показателей. Используя первое свойство, пользователь может в любой момент определить новый показатель, а с помощью второго - осуществлять мониторинг значений и предпринимать корректирующие действия.

Третье свойство обеспечивает поддержку показателей, которые описываются формулами, изменяющимися во времени. В российской практике часто встречается ситуация, когда коэффициенты формул и даже сами формулы расчета многих обязательных показателей изменяются. Поэтому для обеспечения корректности отчетов и результатов анализа за длительный промежуток времени необходимо иметь средство описания зависимости формулы от времени (историю изменения формулы). С теоретической точки зрения нужна еще одна размерность: "временная версия" объекта. Наличие таких средств обеспечивает дополнительную гибкость при проведении анализа.

Четвертое свойство, которое важно само по себе для многих реализаций хранилищ данных, оказывается абсолютно необходимым в российской практике. Оно позволяет решить проблемы заключительных оборотов, исправления ошибок (любой природы) и обеспечения правильного функционирования аналитических пакетов при введении законов и правил учета, действующих "задним числом", что, к сожалению, в России уже стало печальным правилом.

В нашей реализации middleware включает две системы: "Про-филиал" (ПФ) и "Финансовый калькулятор" (ФК), портированные к базовым АБС Ва-Банк и Ва-Банк ПЛЮС/SYMBOLS-R.

"Про-филиал" в основном предназначен для выполнения функций преобразования и интеграции данных, получаемых от удаленных филиалов, если оперативная (on-line) связь невозможна или нецелесообразна. Формат данных, обрабатываемых ПФ, базируется на стандартной структуре финансовых отчетов. Пользователь может определить типы отчетов и соответствующую им структуру файла с информацией. Элементы отчета адресуются парой строка, столбец. Такая обобщенная структура позволяет обрабатывать произвольные отчеты, создаваемые АБС филиалов.

Основная функция "Финансового калькулятора" - создание и поддержка специального ХФД. Объекты, которыми оперирует ФК, - это показатели, имеющие определенное экономическое и/или логическое содержание. Показатели описываются формулами с параметрами. Компонентами формулы являются элементарные объекты АБС, базовые функции над ними, показатели, математические функции. Значения параметров по умолчанию могут быть заданы во время определения показателя. С каждой формулой связана дата, определяющая начало действия формулы. Последняя продолжает действовать до даты ввода в действие новой формулы того же показателя, если последняя существует. Такой механизм обеспечивает выполнение третьего свойства промежуточного слоя.

Значение показателя представляет собой элемент ХФД, оно хранится вместе со значениями параметров, при которых проводилось вычисление. Существует два режима вычисления: автоматический и ручной. Первый режим - основной и используется для наполнения ХФД. Для задания значений параметров, а также периодичности вычисления используется специальный язык. Ручной режим применяется для интерактивного анализа (пример использования режима при анализе будет представлен ниже) и, конечно, для отладочных целей.

ФК состоит из четырех модулей: "Ядро", "Связь с АБС", "Определение показателя" и "Обработка событий". Все зависящие от АБС процедуры ФК сосредоточены в модуле "Связь с АБС", остальные модули ФК абсолютно не зависят от конкретной АБС. Следовательно, ФК легко может быть настроен на другую АБС. Модуль "Ядро" содержит процедуры обработки формул (разбор, хранение, вычисление) и доступа к значениям показателя. Модуль "Обработка событий" оперативно реагирует на все возможные ситуации, возникающие во время разбора и вычисления формулы.

Модуль "Определение показателя" позволяет вводить и модифицировать определение показателя: формулу, перечень параметров и их значения. Поддерживается два вида представления формул: текстовый и графический. В первом случае формула записывается на специальном языке, а во втором - представляется в виде дерева. Последний случай удобен для работы с комплексными показателями, поскольку предоставляет возможность раскрывать и скрывать поддеревья. Язык определения показателей полностью реализован на справочниках и легко может быть изменен и дополнен пользователем.

Примеры использования системы финансового управления

Примеры размерностей и измерений, использующихся в OLAP

Для того чтобы дать читателю представление о типах данных, с которыми работает система и которые доступны для анализа, опишем наиболее важные размерности и измерения. Для каждой размерности поддерживается соответствующая иерархическая структура, например, для размерности "валюта" можно задать уровни: "Все валюты", "Все иностранные валюты", "Конкретная валюта". Тип сделки может иметь в качестве подуровней детализации "Банковские продукты" и "Подпродукты". Размерности определяют многомерное пространство, в котором определены значения показателей. Именно в этом многомерном пространстве можно проводить анализ.

Размерности: "Время", "Клиент", "Валюта", "Филиал", "Центр прибыли", "План счетов", подраздел Главной книги, "Тип сделки", "Класс показателя".

Измерения: "Остатки", "Обороты", "Суммы сделки", "Детали сделки", "Значения показателей".

Пример показателя - норматив Н2

Рассмотрим в качестве примера норматив текущей ликвидности Н2, который равен отношению ликвидных активов к обязательствам до востребования. Этот показатель один из самых важных и должен постоянно контролироваться. Для непосредственного операционного анализа и контроля есть возможность использовать средства АБС: регламентированные запросы (отчеты) показывают значения норматива и его частей (числителя, знаменателя, их составных частей и т. д.), лимиты могут быть установлены для обеспечения "безопасного" значения норматива. Для интерактивного анализа компонентов ликвидных активов, если, например, значение Н2 близко к предписанному лимиту, пользователь может добавить в ФК дополнительный показатель и сразу же вычислить его значения в ручном режиме. Для нашего примера норматива Н2 можно определить показатель "Ссуды со сроком погашения до 30 дней" (составная часть ликвидных активов), вычислить и проанализировать его значения. Для непосредственной проверки какой-либо гипотезы могут быть определены более сложные показатели, отражающие, например, взаимозависимость других показателей.

Для проведения ретроспективного анализа используются автоматически вычисленные средствами ФК и сохраненные в ХФД значения показателей. Должна быть описана специальная многомерная база данных и создано представление (briefing). Используя средство многоуровневого просмотра OLAP (drill down), можно проанализировать зависимость показателя, например, от филиальной структуры банка. Для более сложного анализа есть возможность задействовать программы финансового анализа, поставляемые с OLAP или создать свои с помощью Express Objects. В любой момент можно определить новые показатели, вычислить их значения и загрузить в ХФД для анализа.

На основе проведенного анализа можно определить дополнительные показатели в слое middleware и задать их автоматическое вычисление во время повседневных операций в момент наступления определенного события (по умолчанию - конец дня). Таким образом, во-первых, существенно расширяется набор параметров АБС, которые могут использоваться для оперативного мониторинга и контроля в целях достижения лучшей управляемости в течение операционного дня, и, кроме того, определяются предметно-ориентированные понятия более высокого уровня как объекты последующего многокритериального анализа.

Леонид Викторов,
Председатель правления НПВП "ФОРС" (Москва)