В последние годы для рынка СУБД для построения хранилищ данных (data warehouse database management system, DW DBMS) характерна жесткая конкуренция. Расширяя функциональность своих продуктов и увеличивая их продажи, компании Teradata, IBM и Oracle прилагают немало усилий, чтобы отвоевать наибольшую его долю. В прошлом году к тройке лидеров присоединилась и Microsoft со своим решением, возможности которого высоко оцениваются средним бизнесом.

По сравнению с классическими СУБД системам управления хранилищами данных (СУХД) в гораздо большей степени присущи следующие особенности: поддержка доступности данных для front-end ПО, развитые технологии параметризации рабочей нагрузки, а также возможности указания различных характеристик доступа конечных пользователей к одним и тем же сведениям.

Под корпоративными информационными хранилищами данных при этом понимают предметно-ориентированный, интегрированный, поддерживающий хронологию набор данных (репозиторий), организованный для целей поддержки управления предприятием. По версии Gartner, различают малые по объему хранилища данных (менее 5 ТБ), средние (5–20 ТБ) и большие (свыше 20 ТБ). При этом в расчет берется лишь фактическое количество информации, полученное из источника. Структуры, создаваемые при построении хранилища, не учитываются.

Современные СУХД подвергаются следующим видам рабочей нагрузки:

1. Непрерывная загрузка данных (с пренебрежимо малой задержкой) – обеспечивает работу приборных панелей (dashboard) и формирование промежуточных отчетов;
2. Потоковая загрузка – необходима, так как менее изменчивая информация не требует столь частого обновления, как более динамичная;
3. Обработка проходящих ежедневно тысячами стандартных отчетов, влекущая применение оптимизационных структур;
4. Обеспечение поддержки тактического бизнес-анализа, при которой участники тех или иных бизнес-процессов с ограниченным опытом применения языка запросов используют разработанные BI-архитектором кубы и таблицы;
5. Обработка постоянно увеличивающегося числа уникальных запросов от пользователей-«горняков» (data miners) со случайными непредсказуемыми способами применения данных, без какой-либо возможности в приспособлении под них;
6. Функционирование аналитических OLTP-приложений (в реальном масштабе времени), требующее высокой доступности хранилища данных и скорости обработки запросов.

Из них четыре (1, 3, 5 и 6) Gartner выделяла в своем отчете за 2006 г. В 2007 г. прибавились еще две, следовательно, задачи, возлагаемые на СУХД, растут. Подобные решения все дальше отходят от средств обеспечения работы инструментов бизнес-анализа в направлении систем поддержки всей аналитической инфраструктуры корпорации.

С 2006 г. популярность начали приобретать распределенные хранилища данных, где информация логически делится на домены и размещается без дублирования на различных площадках (нередко – из соображений безопасности). Другая наблюдаемая сегодня тенденция состоит в предоставлении хранилищ данных в виде управляемых сервисов (managed service). Эта концепция, предложенная Kognitio, заключается в том, что поставщик решения по соответствующему контракту обслуживает СУХД заказчиков через своих партнеров. В прошлом году ее взяла на вооружение компания Greenplum. Да и по мнению аналитиков, в ближайшее время использование данной модели должно существенно увеличиться. В недалеком будущем идея, по всей видимости, воплотится в отдельный вид услуг (Software as a Service) и будет востребована малым и средним бизнесом из-за недостатка ресурсов для содержания собственных хранилищ данных. И, наконец, третья тенденция заключается в том, что повышается спрос на витрины данных (data mart), подмножества хранилищ данных, организованные для решения аналитических задач конкретных пользователей (групп) и применяемые вместе с корпоративными приложениями

Кто есть кто

Лидерами рынка СУХД сегодня являются четыре компании: Teradata, IBM, Oracle и Microsoft.

Teradata продолжает лидировать на рынке СУХД. Oracle опередила IBM. Прогресс Microsoft несомненен. Но «героем года» все же нужно признать Sybase, сделавшую необычный для данного консервативного сегмента рывок

Teradata занимается сугубо «хранилищным» бизнесом уже чуть ли не три десятилетия. У компании более тысячи клиентов, которые в прошлом году принесли ей 1,7 млрд долл., что на 10% выше аналогичного показателя 2006 г. Она поставляет функционально развитые программно-аппаратные комплексы (appliance), ориентированные на большие и сложные среды с поддержкой смешанных рабочих нагрузок и имеет прочные позиции на таких вертикальных рынках, как розничная торговля, финансовый сектор, телекоммуникации и производство. Наконец, уже больше года компания наряду с основанными на ОС MP-RAS (собственная закрытая UNIX-подобная система поставщика) небезуспешно предлагает и решения на платформе SUSE Linux

Тем не менее в сегменте SMB Teradata постепенно начинают теснить компании с развитыми СУБД – IBM, Microsoft и Oracle, неплохо справляющиеся с задачами построения хранилищ данных вместимостью до 10 ТБ. Кроме того, ощущается ценовое давление со стороны нишевых игроков (DATAllegro, Greenplum и Netezza) с более доступными решениями. В сложившейся ситуации компания вынуждена будет создавать предложения для малых БД, а также расширять продуктовую линейку менее дорогостоящими системами. К тому же, Teradata в глазах потенциальных клиентов еще не до конца «оправилась» от разделения с NCR, поэтому ей еще предстоит поработать над своим образом.

Oracle отличается широтой географии присутствия и значительной клиентской базой. Ее решение Real Application Clusters со средством Automatic Storage Management, характеризующееся довольно высокими параметрами доступности, способно обслуживать, в том числе, и большие хранилища. Благодаря выпуску Database 11g в августе 2007 г., оснащенной, как говорится, по последнему слову техники, поставщик существенно упрочил свои позиции на рынке СУХД. Oracle сотрудничает с производителями оборудования, реализуя программные комплексы на заказ, а также приспособленные под серверы (например, Dell, EMC) конфигурации СУБД. Немаловажно и то, что ПО от корпорации может исполняться на базе разных операционных систем (Linux, UNIX и Windows), а также включает бесплатный ETL-инструмент Oracle Warehouse Builder.

К недостаткам программных средств для построения хранилищ данных от Oracle специалисты относят существенный объем ручной работы для их обслуживания и избыточную емкость накопителей для целей оптимизации.

IBM располагает и appliance-решением, и сугубо программным. В первом случае заказчикам предлагается комплекс Balanced Warehouse, который составляют сервер и система хранения (либо System p с ОС AIX, либо System x – под управлением Linux), ПО DB2 Warehouse (с применением СУБД DB2 9-й версии), а также услуги поддержки (Balanced Configuration Units).

Второй вариант предполагает использование только DB2 Warehouse, включающей довольно мощные инструменты настройки рабочей нагрузки, средства преобразования данных, возможности интеграции с решениями SAS и SPSS с поддержкой технологий извлечения информации и визуализации и пр. Количество клиентов, эксплуатирующих хранилища данных на базе решений IBM, исчисляется сотнями.

Однако, как и в решениях Oracle, недостатком IBM DB2 Warehouse признают достаточно внушительный полный объем хранилища (превышение емкости исходных данных достигает от 1,3 до 5 крат).

В прошлом году к тройке лидеров присоединилась Microsoft (в 2006 г. она находилась на границе между ними и претендентами). Сегодня темпы потребления ее продукта SQL Server 2005 для построения хранилищ данных, особенно небольших по объему, весьма высоки.

Очевидно, немаловажную роль в этом играет вспомогательное предложение корпорации – при покупке SQL Server 2005 Enterprise Edition, заказчик дополнительно получает еще такие программные средства, как SQL Server Analysis Server, SQL Server Reporting Services и SQL Server Integration Services, обеспечивающие функции OLAP, отчетности и интеграции данных для механизмов ETL. И все это по конкурентоспособной цене. Масштабируемость СУБД от корпорации находится на должном уровне, как результат – решение может «расти» вместе с бизнесом. Благодаря обширной экосистеме Microsoft проблем с поддержкой ПО у клиента, как правило, не возникает. Наконец, в III квартале должен выйти SQL Server 2008, в котором заявлено множество усовершенствований, касающихся организации хранилищ данных, что указывает на серьезные намерения поставщика относительно рынка СУХД.

Между тем, у Microsoft весьма скромный опыт в применении SQL Server для построения больших хранилищ данных. Хотя подобные внедрения время от времени и имеют место, на рынке все еще ощущается дефицит лучших практик и соответствующих специалистов.

Согласно прогнозу Gartner, пройдет два, а то и три года, преж-де чем организации будут рассматривать СУБД SQL Server наравне с другими решениями. Еще один минус платформы от Microsoft состоит в том, что использование кубов SQL Server Analysis Server часто ведет к значительному повышению избыточной емкости хранилищ (в 2–6 раз по отношению к исходным данным). Ну и, разумеется, SQL Server исполняется только на платформе Windows Server, значит не может похвастаться такими возможностями совместимости с другими ОС, как конкуренты.

Попасть в зону лидеров настойчиво стремится Sybase. Благодаря использованию столбцовых таблиц ее IQ analytic server (на основе СУБД Sybase IQ) отличается более чем приличными показателями сжатия информации, высокой производительностью работы, обладает поддержкой ETL, что делает решение превосходной платформой для аналитических применений (например, для организации витрин данных). Этот факт выражается в финансовой стабильности компании и быстром росте ее доходов, составляющем ежеквартально порядка 40%. Недавний альянс с подразделением IBM System p открыл для Sybase новый и очень желанный новый канал продаж. В планах компаний разработка комплекса Analytic Data Warehouse Appliance (на базе той же IBM System p).

Тем не менее Sybase по-прежнему пытается освободиться от ярлыка поставщика традиционных СУБД. Несмотря на довольно успешные шаги на рынке систем управления хранилищами данных, компании все еще необходимо серьезно поработать над тем, чтобы избавиться от статуса малого бизнеса и потенциальной мишени для поглощения.

Наконец, MySQL в последние несколько лет существенно укрепила свои позиции на рынке СУХД: увеличила клиентскую базу, расширила функциональность своей продукции, провела работы по развитию профессиональных сервисов, заключила партнерские соглашения со сторонними разработчиками. Благодаря сравнительно низкой стоимости, MySQL Enterprise пользуется популярностью у малых фирм с небольшими БД (200–500 ГБ). Впрочем, случаются и внедрения для построения терабайтовых хранилищ с применением технологии под названием sharding, состоящей в разбиении БД на части меньше терабайта. Хотя это и влечет рост ресурсозатрат, как шаг в направлении больших хранилищ данных, такие действия вполне целесообразны.

Чтобы выйти из тени лидеров и достойно конкурировать с новыми Open Source-участниками рынка, такими как EnterpriseDB, ParAccel и Vertica (использующих СУБД PostgeSQL), компании предстоит увеличить клиентскую базу с хранилищами объемом свыше 1 ТБ, а также осуществить внедрения для средних хранилищ, продемонстрировав уровень масштабируемости своего ПО. СУХД MySQL недостает ряда специальных возможностей и действенных средств управления. В общем, Sun Microsystems теперь есть над чем поработать.