Технология Хранилищ данных: последние 10 лет, несомненно, были впечатляющими

Майкл Дж. Шрек, перевод: Intersoft Lab, http://www.iso.ru

Когда я думаю об этих последних десяти годах, на память мне приходит история моего первого знакомства с технологией хранилищ данных. Это произошло в начале 1990-х, когда я был сотрудником Price Waterhouse (PW; теперь PricewaterhouseCoopers, PwC). Компания приняла решение начать разработку хранилищ данных и меня попросили создать и взять на себя руководство этой программой. Я был еще слишком молод и не нашел ничего лучше, как с легкостью принять это предложение, хотя мой опыт в области хранилищ был несколько ограниченным.

Очень скоро мы провели наше первое официальное совещание по хранилищам данных, объединившее около 20 коллег и других служащих. Для презентации хранилищ был приглашен Билл Инмон (Bill Inmon); и с помощью своих рисунков и диапозитивов он укрепил нашу уверенность в том, что эта технология будет исключительно важной для наших клиентов и нашей компании.

Рассматривая значение и развитие всей области создания хранилищ данных, я сегодня с гордостью могу сказать, что PricewaterhouseCoopers ведет программу реализации хранилищ данных с помощью более чем 1 600 консультантов, представляющих все крупнейшие страны мира.

За последние десять лет мы пережили ряд важных событий в области бизнеса и технологий, имевших определенное влияние на технологию хранилищ. А в заключении этой статьи я коснусь нескольких более существенных тенденций.

Бизнес-тенденции

Бизнес-среда буквально для всех производств и компаний в течение 90х годов подверглась разительным изменениям. Ниже я приведу хронологию бизнес-тенденций, имевших ощутимое влияние на технологию хранилищ данных. В то же время, именно хранилища данных способствовали появлению этих тенденций.

Динамическая бизнес-среда

Этот термин характеризует 1990-е годы. Стратегии компаний были и остаются сосредоточенными на таких понятиях, как: опережение в выходе на рынок, предложение большего количества настраиваемых продуктов для большего числа потребителей по большему числу каналов, появление новых виртуальных бизнес-моделей, снижение государственного регулирования, ужесточение конкуренции, изменение движущих сил и др. Сталкиваясь с мириадами изменений, компании были вынуждены приходить к пониманию важности обладания верной информацией для поддержки своих бизнес-стратегий и рыночных сил.

Проходя путь от построения хранилищ данных до извлечения и консолидации данных из унаследованных систем, базирующихся на мейнфреймах, до анализа данных непосредственно с сайта компании, значение технологии хранилищ и поддержки принятия решений возрастало необычайно на протяжении этих десяти лет.

Консолидация и глобализация производства

Для соответствия динамичной бизнес-среде 1990-х, многие фирмы объединялись с другими организациями или приобретали их. Обычно основной целью этих действий (mergers and acquisitions, M&As) было либо расширение линейки выпускаемых компанией продуктов или занимаемого сектора рынка, как это было у компаний Citigroup, Cisco и др., либо географическое расширение (Ford, GM и BP Amoco).

Процесс планирования и реализации процедур M&A требовал своевременной и точной информации. Поскольку эти поглощения и слияния происходили в 1990-х годах, возможности информации начали расширяться за пределы традиционного финансового анализа. Компании начинали осознавать, что их бизнес-анализ (business intelligence) становился стратегическим активом непреходящей важности. Поэтому банки-инвесторы стали требовать у компаний сведения о наличии у них хранилища данных, содержащего информацию о потребителях, которая могла бы использоваться объединенными организациями для извлечения выгоды из таких областей, как перекрестные продажи (cross-selling) и определение количественных показателей для оценки этой информации.

Реинжиниринг бизнес-процессов (Business Process Reengineering, BPR) и ERP

Как мы определили в середине 1990-х, многие компании трансформировали свои устаревшие бизнес-процессы и организационные модели с целью более эффективного управления ценами и использования преимуществ новой клиент-серверной технологии. Для достижения этих целей и предвидя необходимость приведения унаследованных приложений в соответствие с требованиями защиты от "Проблемы 2000 года", многие компании приобретали новые ERP-приложения. Эти приложения позволяли компаниям улучшать как выполнение отдельных функций (например, финансов), так и обеспечивали интегрированную обработку по множеству функций (например, управление заказами, выписками по счетам, дебиторской задолженностью и др.). Кроме того, такие инвестиции в ERP способствовали решению компаниями проблем, связанных с 2000 годом.

С точки зрения перспектив развития технологии хранилищ данных, эта тенденция имела как позитивные, так и негативные аспекты. С позитивной точки зрения изменение процессов помогло многим компаниям расширить штат квалифицированных сотрудников "на передовой" для непосредственного обслуживания клиентов. В то же время новые ERP-решения способствовали упрощению работы таких специалистов путем автоматизации большинства транзакционных процессов (то есть ввода данных) и предоставления компаниям возможности собирать и хранить больший объем первичных данных.

С другой стороны, в большинстве случаев значение BPR и ERP осознавалось не полностью. Компании были не в состоянии обеспечить средства и информацию, требующуюся специалистам, работающим со знаниями для эффективного выполнения ими своих новых задач. Например, в результате отсутствия важной информации о потребителях сотрудник кредитного отдела банка мог отказать в получении кредита тинейджеру, не догадываясь, что его отец является председателем крупнейшего корпоративного клиента этого банка.

Тогда как многие компании получали огромное преимущество от своих инвестиций в ERP, среди менеджеров среднего и высшего звена имело место некоторое разочарование ввиду отсутствия в этих приложениях возможностей для проведения необходимого им анализа. Дело в том, что эти приложения никогда не проектировались для обеспечения оперативной аналитической обработки (OLAP). В результате решения в области хранилищ данных успешно реализовывались в качестве средства расширения возможностей ERP и других исходных систем, поставляя необходимый специалистам уровень информации и анализа как им самим, так и - в той же форме - руководству предприятий.

Концентрация вокруг потребителя (Customer Centricity)

За последние несколько лет мы наблюдали, как компании различной формы и размера двигались от продукт-ориентированного подхода ("мы делаем это, и вы это берете") к клиент-ориентированному (пониманию потребителя и предпочтительного для него стиля обслуживания).

По моему мнению, чтобы стать клиент-ориентированными и успешно достичь своих целей в области управления отношениями с клиентами (customer relationship management, CRM), для начала вы должны обзавестись хранилищем данных, содержащим информацию о клиентах. Более того, такое хранилище должно содержать всю основную информацию о клиентах компании наряду с необходимой аналитикой для выполнения выделения потребительских сегментов, анализа воздействий, предпочтений в покупках, индивидуального маркетинга и других программ, являющихся ключевыми в вопросе успешного воплощения CRM.

Множество компаний вложили свои средства в супер-CRM-приложения 1990-х, в частности, в автоматизацию продаж, технологии центров обработки заказов и автоматизацию маркетинга (включая и управление кампаниями). Очень немногие из этих предприятий смогли успешно объединять информацию из этих приложений для составления "единого представления" о потребителе.

Для реализации этих связанных с потребителем стратегических целей, в качестве "клея" для интегрированного CRM компания должна иметь интегрированное хранилище данных, содержащее информацию о клиенте. Следовательно, за последние два года мы наблюдаем, как CRM вызвал ошеломительный спрос на хранилища данных. Фактически, я бы даже сказал, что требование ориентации на потребителя породило больший спрос на хранилища, чем любая другая бизнес-тенденция за последние десять лет.

Электронный бизнес

Не следует забывать, что Интернет, учитывая его воздействие на ведение бизнеса, представляет собой самую влиятельную технологию из всех, появившихся с момента начала индустриальной революции. Начав с модели B2C, популяризированной предприятиями розничной электронной торговли, (например, Amazon.com) через модели B2B (например, электронные рынки) к технологиям B2E (business-to-employee), которую многие фирмы сейчас используют для обеспечения более персонализированной информации сотрудникам компании с помощью порталов, Интернет меняет всю нашу жизнь.

Я рассказывал о важности технологии хранилищ данных в контексте каждой из этих моделей электронного бизнеса в статье "Электронная аналитика (E-Analytics) - новое поколение хранилищ данных", опубликованной в августовском номере DM Review за 2000 год. Вкратце, статья описывала новую экономику как экономику, управляемую информацией. В этой новой экономике компании рассматривают свою информацию как стратегический актив, обладающий потенциалом, необходимым для обеспечения реального преимущества в конкурентной борьбе при условии агрегации и последующего полного использования данных вкупе с мощной аналитикой.

С моей точки зрения, для повышения эффективности и прибыльности своей реализации вышеупомянутые модели электронного бизнеса должны использовать решения в области хранилищ данных. Значение хранилищ для электронного бизнеса было обозначено возникновением B2C и развитием CRM в 1998, и сегодня оно продолжает увеличиваться с ростом ценности постоянно развивающегося Интернет как одного из важнейших потребительских каналов для большинства компаний. В то же время, мы сейчас входим в период поразительного роста популярности модели B2B, которая будет экспоненциально развиваться согласно наличию и спросу на информацию, хранилища данных таким образом выходят на необычайно высокий уровень. Компании понимают это, и развитие их бизнеса в направлении сбора и использования этой информации будет серьезным вкладом в дело превращения B2B в прибыльную бизнес-модель. Это аналогично тому, что мы наблюдали в случае с B2C, когда множество розничных электронных торговцев на ранней стадии не получали преимуществ от своих информационных активов. В результате, многие из этих компаний больше не занимаются бизнесом.

Эти и другие существенные бизнес-тенденции помогли популяризировать технологию хранилищ данных. Интересно отметить, что в продолжение рассматриваемых десяти лет эта технология прошла путь от программы, обычно принадлежавшей и оплачиваемой IT-подразделением до стратегического императива для бизнес-руководства всех подразделений предприятия (включив в себя такие области, как финансы, маркетинг, дистрибуцию/логистику, человеческие ресурсы, продажи, обслуживание клиентов, производство и др.).

Технологические тенденции

Кроме уже упомянутых бизнес-тенденций, последние десять лет были наполнены впечатляющими достижениями в области технологий. Эти успехи имели громадное влияние на технологию хранилищ данных. В начале 1990-х более крупные компании запускали подавляющее число своих приложений на мейнфреймах. Существенный процент этих приложений был сделан на заказ и не включал финансовую часть, объединившую в 1980-х годах пакетные приложения (в частности, главную бухгалтерскую книгу, кредиторскую задолженность, выписку счетов и др.).

Многим из этих компаний технология хранилищ данных была представлена как решение для получения и интеграции данных из нескольких унаследованных систем мейнфрейма, позволяющее формировать агрегированную отчетность и осуществлять некоторый уровень анализа. В начале 1990-х появился ряд настольных OLAP-инструментов. Эти инструменты обеспечили пользователей более удобным способом взаимодействия с сегментом данных в хранилище.

Вскоре после этого, на сцену в качестве новой информационной технологии вышла технология клиент/сервер. Помимо описанной выше тенденции развития ERP, эта технология была инструментом развития архитектур хранилищ данных, поскольку она предоставляла возможность осуществлять распределенные вычисления. Множество хранилищ и витрин данных использовали эту технологию в качестве способа переноса большего объема данных ближе к рабочему столу.

В 1990-х распределенные вычисления стали доминирующей архитектурой; большая часть производителей аппаратного и программного обеспечения сосредоточили свои исследования и разработку вокруг новых продуктов, обладающих расширенной функциональностью и совместимых с этой новой технологией. Применительно к хранилищам данных мы наблюдали небывалый прогресс одновременно в области функциональности и масштабируемости продуктов, созданных по технологиям извлечение/трансформация/загрузка (extract/transform/load, ETL), репозиториев данных/баз данных, OLAP, data mining и других связанных с ними технологий поддержки принятия решений.

За последние несколько лет мы увидели, как развивается Интернет. Его влияние на технологию хранилищ данных будет необычайно велико, поскольку он подразумевает обеспечение доступа для большего числа потребителей и увеличивает отдачу от существующих хранилищ, используя как внутренние сети предприятия, так и, в последнее время, предоставляя информацию торговым партнерам по внешним сетям. В то же время, Интернет несет ценную информацию о потребителях, поставщиках и конкурентах, которая нельзя было так просто получить из традиционных источников.

хранилище данных - интегральная составляющая Интернет-архитектур. Для успешного ведения электронного бизнеса компании реализуют архитектуры данных, использующие технологию хранилищ данных в пределах технической архитектуры, использующей преимущества каждой из трех технологических сред, появившихся за последние десять лет: мейнфреймов, технологии клиент/сервер и Интернет.

Вклад специалистов

Хотя эта статья сконцентрирована вокруг технологических и бизнес-тенденций, свидетелями которых мы были на продолжение этих десяти лет, однако данный материал будет неполон без краткого упоминания людей, явившихся движущей силой этих достижений. Начиная с "отцов-основателей" в лице Билла Инмона и Ральфа Кимболла (а также его группы в Metaphor) и до современных энтузиастов технологии хранилищ данных, мы наблюдаем выдающуюся группу профессионалов, способствовавших развитию этой технологии далеко за пределы того, что было трудно даже представить десять лет назад.

Наиболее важным представляется то, что тысячи специалистов по всему миру посвятили этой технологии свою академическую и профессиональную карьеру и потратили бесчисленное количество часов на проектирование и разработку решений в области хранилищ данных, внесших огромный вклад в работу множества компаний различных форм и размеров. Их работа была феноменальной и внесла небывалый вклад в развитие всей индустрии хранилищ данных.

Предположения о будущем

Нетрудно оглядываться на прошедшие в области хранилищ данных десять лет с чувством исполненного долга и гордостью. Однако если мы переключимся от прошлого к настоящему, мы увидим, что все больше компаний начинают использовать технологию хранилищ данных так широко, как никогда ранее. Если мы заглянем в будущее, мы увидим ускоренное развитие этой технологии по мере того, как компании буду стремиться к агрегированию и анализу данных, объем которых, как ожидается, будет увеличиваться с каждым годом вдвое.

Итак, хотя прошедшие десять лет были достаточно впечатляющими для индустрии хранилищ данных, не расслабляйтесь, так как предстоящие десять лет обещают быть еще лучше.