Реализация хранилища данных для территориального управления Центрального Банка Российской Федерации

1 сентября 2000 г.
(По материалам доклада на конференции EOUG-2000, Мадрид, Испания)
А.Кудряшов, А.Игошин, В.Колчин, А.Пономарев, Т.Драгунов
(ГУ ЦБ РФ по Нижегородской области)

Абстракт

В статье описано применение современных информационных технологий и инструментальных средств Oracle при создании системы поддержки принятия решений в Главном управлении Центрального Банка России по Нижегородской области. Представлено полное решение хранилища данных вместе с аналитическими приложениями для получения финансовых отчетов и проведения анализа данных. Особое внимание уделяется перемещению информации из OLTP-систем обработки данных в информационное хранилище, включая проблемы планирования работы для его начальной загрузки и пополнения. Предложенная архитектура была выполнена с использованием Oracle Designer на всех стадиях проекта.

Введение

Территориальное управление (ТУ) Банка России выполняет проведение единой федеральной политики в области денежного обращения, кредитного и валютного регулирования, использования кредитных ресурсов и осуществляет надзор за деятельностью банков в своем регионе. В ведении территориального управления находится также обеспечение функционирования платежной системы. Важными задачами ТУ являются анализ состояния экономики региона, сбор, систематизация, обработка и хранение статистической информации, необходимой для экономического анализа, а также данных по статьям сводного территориального баланса. Территориальное управление аккумулирует данные экономического анализа, использует их для выполнения своих функций и поставляет информацию для Центрального Аппарата Банка России. Для повышения эффективности работы ТУ ЦБ РФ необходимо расширить возможности руководителей по принятию решений. Все более актуальной в этом направлении становится проблема обеспечения руководства и аналитических служб достоверной и полной информацией по основным направлениям деятельности организации. Для работы с этой информацией работники управленческого звена и сотрудники аналитических отделов должны получить в свое распоряжение мощные средства визуализации данных, делового анализа, прогнозирования и моделирования экономических процессов. В ТУ ЦБ РФ в настоящий момент функционирует большое количество различных баз данных и прикладных систем, в которых в том или ином виде содержится большая часть необходимой информации. Однако составить на основе этих данных общую картину состояния дел крайне сложно, поскольку существующие базы данных служат различным целям и не предназначены для комплексного анализа. Проблемы, осложняющие аналитическую деятельность в целом сводятся к следующим:

• Данные разрознены как на физическом так и на логическом уровне, так как они распределены между различными автономными автоматизированными системами.
• Данные труднодоступны для анализа, так как они хранятся в структурах, не предназначенных для нестандартных запросов или аналитических отчетов.
• Данные не согласованы: информация с тем же самым значением хранится по-разному в различных транзакционных базах данных, различные коды идентификации часто используются для тех же самых объектов, справочные данные могут изменяться во времени, но эти изменения обычно не фиксируются в транзакционных системах.

Для устранения этих проблем было принято решение о создании информационно-аналитической системы, основанной на современных информационных технологиях хранилищ данных и интерактивной аналитической обработки.

Информационно-аналитическая система

Основная цель информационно-аналитической системы (ИАС) состоит в том, чтобы обеспечить интегрированное хранение исторической непротиворечивой и полной информации, крайне необходимой для анализа и поддержки принятия решений на различных уровнях банковского управления, а также обеспечить возможность полноценного использования этой информации руководством и сотрудниками аналитических отделов. Для разработки и внедрения такой информационно-аналитической системы необходимо решение следующего ряда задач:

• Создание централизованного хранилища для информационного обеспечения различных аналитических служб и лиц, принимающих решения;
• Разработка технологии и автоматизация процесса сбора, очистки, согласования и проверки информации, поступающей из различных источников – систем оперативного уровня;
• Разработка технологии и реализации процедур доставки аналитической информации Руководству ТУ ЦБ РФ в оперативном режиме и в форме, удобной для восприятия;
• Реализация оперативных процедур подготовки статистических и аналитических отчетов в соответствии с принятыми стандартами, для направления как руководству ТУ ЦБ РФ так и в вышестоящие организации;
• Разработка рабочих мест для поддержки различных технологий анализа данных, включая нерегламентированные отчеты и запросы, многомерный динамический анализ.

При проектировании и разработке ИАС ГУ ЦБ РФ по Нижегородской области были использованы следующие принципы построения:

• Инкрементальная разработка и поэтапное внедрение с целью минимизации риска и управления сложностью системы.
• Модульная структура программного обеспечения, включающая основной модуль, который содержит все обязательные компоненты, и реализующие дополнительные функциональные возможности - факультативные модули.
• Открытость решения, необходимая для добавления, как новых структур данных, так и новых функций.
• Максимальная независимость от действующих внутренних систем с особым вниманием к стандарту интерфейса обмена и автоматизацией процесса извлечения данных и загрузки их в хранилище.
• Переносимость системы в рамках фиксированного набора платформ.

Архитектура Информационного Хранилища

В базе данных Информационного Хранилища находятся основные данные, то есть данные предметной области, нормативно-справочная информация и служебная информация, необходимая для функционирования приложений Информационного Хранилища (Рис. 1).

К служебной информации относятся:

• Метаданные, то есть описание наличия и полноты основных данных,
• Календарь банковских операционных периодов,
• Административные данные, необходимые для работы внутренних задач хранилища.

Рис. 1. Информационная модель ИХ

Метаданные содержат спецификации и описания структуры предметной области, данные для администрирования и сопровождения. Специальное внимание уделяется информации относительно загруженных предметных данных, то есть данных для уровня администрирования и разработки.

Нормативно-справочная информация включает в себя общероссийские классификаторы, справочники, централизованно распространяемые в системе ЦБ РФ, и региональные.

Основными разделами информации предметной области являются:

• Информация учетно-операционной системы о деятельности подразделений ЦБ региона,
• Отчетность, предоставляемая кредитными организациями региона и аналитическая информация на ее основе,
• Информация о курсах валют и валютном регулировании, проводимом ТУ.

Банковская информация организована в виде наборов данных по банковским учреждениям за операционные периоды. Агрегированная информация включает в себя наборы данных, полученные из детальных данных с помощью заданных алгоритмов суммирования, а также отчеты, формируемые на регулярной основе и предназначенные для хранения. Объем базы данных ИХ составляет около 25 Гб. Накоплена информация за три года. Модель БД ИХ разрабатывалась с помощью Oracle Designer/2000. В качестве серверной платформы ИХ в настоящее время используется Oracle Enterprise Server 7.3.3.4.1 под управлением ОС HP-UX 10.20. Для эффективности работы хранилища целесообразно выносить исторические детальные данные в архив после окончания срока их активного использования. Чаще всего бывают востребованы детальные данные за последние два-три года. При необходимости обращения к детальным данным архив должен обеспечивать их восстановление в приемлемые сроки.

Работа хранилища данных невозможна без автоматизированной системы выполнения стандартных внутренних задач: загрузки информации, выверки (дополнительной проверки целостности), агрегирования и так далее. Схема взаимодействия серверных и прикладных задач хранилища представлена на рисунке 2. Для стандартных задач хранилища характерно то, что их выполнение задается как по времени (например, каждый день), так и по наличию данных. Кроме того, выполнение одних задач зависит от успешности выполнения других.

Рис. 2. Архитектура Информационного Хранилища

Основой системы управления задачами ИХ является ПО “Планировщик заданий ИХ”. Его назначение – формирование расписания задач на каждый календарный день (по заданным условиям старта) и их запуск на выполнение. Большинство задач связано с появлением тех или иных данных в хранилище. В случае успешного завершения задачи Планировщик заполняет метаданные о наличии и полноте определенного раздела информации хранилища. Привязка каждой задачи к конкретному разделу данных осуществляется администратором ИХ. Администратор также задает периодичность и дополнительные условия старта задачи.

Инструментальные средства анализа и приложения

Наличие ИАС позволяет дать возможность аналитикам, экономистам, администраторам использовать информацию, вникать в данные, делать лучшее решение и осуществлять то, что они никогда не были способны делать прежде. Конечные пользователи ИАС разделены в четыре группы:

• Получатели отчетов
• Аналитики
• Группа сопровождения справочных данных
• Разработчики новых отчетов и приложений

Были использованы следующие технологии анализа для информационной поддержки первых двух групп пользователей:

• Динамическая генерация отчетов и их поставка конечным пользователям по WEB технологи. Как Web - сервер в настоящее время используется Microsoft Internet Information Server, под управлением Windows NT4,в качестве клиента - стандартный Web Browser. Разработано более 50 Web-приложений для обеспечения информацией экономистов Территориального управления. Эти приложения построены с помощью Borland Delphi (CGI), MS ASP.
• Витрины данных для многомерного анализа. Разработаны аналитические приложения, основанные на OLAP технологии Oracle. Как OLAP сервер используется Oracle Express Server 6.2 работающий под управлением HP-UX 11.0. Клиентские приложения разработаны с помощью Oracle Express Analyser и Oracle Express Objects. Создано несколько многомерных витрин данных, для анализа деятельности кредитных организаций и платежного документооборота Нижегородской Области.

Для сопровождения справочников используются как автоматизированная загрузка данных (централизованно распространяемая информация), так и "ручная" обработка с помощью приложений, разработанных по технологии "толстого" клиента.

Заключение

Была построена пилотная версия ИАС, проверена и одобрена для промышленного использования. Система эксплуатировалась в течение нескольких лет, показывая хорошую эффективность и полезные функциональные возможности. В настоящее время наработанные схемы и решения по проблемам ИАС ТУ Банка России могут быть предложены как основа стандартной аналитической системы для всех Территориальных управлений Центрального Банка России.

Cтатья первоначально опубликована в Russian Oracle Internet Magazine (ROIM) и появилась здесь с любезного разрешения редакции ROIM.