Эволюция сетевой инфраструктуры хранения

Безудержный рост объема цифрового контента, передаваемого по каналам связи, распространение виртуализации серверов, принятие рынком технологий Web 2.0 — все эти факторы становятся причиной для пересмотра существующей инфраструктуры хранения данных в сторону повышения ее производительности и надежности, улучшения сетевых сервисов.

Память цивилизации

В истории развития информационных технологий, наверное, не было таких периодов, когда бы потребности в хранении данных и управлении ими сокращались. Однако, как свидетельствуют результаты авторитетных аналитических исследований, количество накопленных и продолжающих расти цифровых данных на планете трансформировалось в новое качество. Сегодня аналитики IDC говорят о возникновении нового понятия — "цифровой Вселенной", размер которой в 2007 году достиг 281 млрд гигабайт, или 281 экзабайт (исследование IDC по заказу EMC "The Diverse and Exploding Digital Universe: An Updated Forecast of Worldwide Information Growth Through 2011"). К 2011 году общий ее объем увеличится до 1,8 зетабайт (1 800 экзабайт), что в 10 раз больше показателя 2006-го. Эта информация будет храниться в 20 квадриллионах (20 миллионов миллиардов) контейнеров, что потребует гигантских усилий по управлению ими.

Росту "цифровых складов" в немалой степени способствует распространение цифровых устройств — фотоаппаратов, телевизоров, камер внешнего наблюдения, систем съема показаний с датчиков, социальных сетей с цифровым контентом миллионов пользователей Интернета. Большую роль в достижении этих рекордов играют принятые во многих странах законы и подзаконные акты, регламентирующие хранение персональных данных различных категорий.

В начале нынешнего февраля компания Cisco опубликовала исследование "Visual Networking Index [VNI]: Global Mobile Traffic Forecast" ("Индекс развития визуальных сетевых технологий: будущее глобального мобильного трафика"), согласно которому объем глобального мобильного трафика за период с 2008 по 2023 год увеличится в 66 раз, а его среднегодовые темпы роста за этот период составят 131%. Такие показатели обусловлены переходом на технологии 4G и развитием мобильного Интернета, который позволяет абонентам просматривать видеоматериалы в мобильном режиме и получать доступ к разнообразным мобильным широкополосным услугам. На взятие рубежа в один экзабайт глобальному мобильному трафику понадобится в два раза меньше времени, чем трафику фиксированных сетей. К 2013 году объем мобильного трафика во всем мире превысит два экзабайта в месяц, из которых 64% придется на видео.

Еще одно новое понятие, введенное в обиход специалистами рынка хранения данных, — "цифровая тень"». За этим образом скрывается создаваемая в автоматическом режиме информация о людях. Характерно, что впервые в истории человеческой цивилизации размер "цифровой тени" уже превысил общий объем данных, создаваемых людьми самостоятельно. Впервые объем информации, составляющей "след в цифровой Вселенной" (данные в финансовых отчетах, имена в списках рассылки, хронология посещения сайтов в Интернете, запись в видеокамерах внешнего наблюдения в аэропортах и городских центрах и многое другое), превысил размер данных, являющихся плодом активных действий человека (фотографии, рисунки, отчеты, отправка сообщений по e-mail, звонки по телефону). Очевидно, что "путешествие" по сети такого объема цифровой информации создает огромную нагрузку на транспортную инфраструктуру, в том числе и на ее корпоративный сегмент.

Нагрузка виртуальной среды

В последние годы требования к инфраструктуре хранения данных изменились также в связи с массовым внедрением виртуализации серверов. Эта технология принесла реальную выгоду заказчикам, оптимизировав их инфраструктуру путем повышения уровня утилизации вычислительных ресурсов и снижения стоимости эксплуатации серверного парка. В исследовании компании ESG «The Impact Server Virtualization on Storage» приводятся сведения о том, что 81% пользователей в настоящее время уже развернули виртуализацию серверов в продуктивной среде. У 46% из них на виртуальных серверах работают критически важные приложения.

Однако вместе с преимуществами, которые несет эта технология, она предъявляет специфические требования к инфраструктуре сетевого хранения. Перемещать виртуальные машины между физическими серверами для балансировки нагрузки и более эффективного использования физических ресурсов не всегда возможно на унаследованной инфраструктуре хранения данных. Виртуализация серверов предполагает увеличение числа приложений, работающих на одном физическом сервере, и, как следствие, возрастание нагрузки на каналы ввода-вывода. "В настоящее время одной из ключевых задач технологии 8 Гбит/с FC как раз и является обеспечение виртуализации серверов, — говорит Николай Умнов, глава представительства компании Brocade в России и странах СНГ. — Мы ожидаем, что в ближайшие два года FC 8 Гбит/с будет оставаться основной технологией для сетевой инфраструктуры хранения".

Олег Коверзнев, менеджер по развитию бизнеса компании Cisco, отмечает, что массовое распространение технологии виртуализации серверных ресурсов значительно повысило требования к сетевой среде хранения данных. "Дисковые образы виртуальных машин по соображениям автоматизации и отказоустойчивости хранятся, как правило, на сетевых хранилищах, — говорит он. — Прямым следствием такой реализации стали повышенные объемы хранимой информации и значительная нагрузка сервера на интерфейсы подключения к системе хранения данных (СХД)".

Василий Кострюков, технический консультант компании EMC в России и странах СНГ, считает, что на выбор типа системы хранения данных прежде всего влияют приложения, с точки зрения их требовательности к размеру дискового пространства и производительности. "Что же касается виртуализации, — говорит он, — то из-за увеличения плотности приложений на сервер обычно возрастают требования к пропускной способности и изолированию влияния ввода-вывода одних серверов на другие. Это проще реализуется на протоколе Fibre Channel, поэтому в виртуальных средах чаще всего используется вариант SAN на Fibre Channel, который в перспективе будет постепенно заменен технологией FCoE".

Алексей Никифоров, старший системный консультант компании HDS, обращает внимание на то, что при виртуализации серверов зачастую возрастают требования к хранению данных. При объединении большого количества приложений возникает необходимость в выделенных устройствах хранения данных, которые бы обеспечивали большую емкость и производительность. "Одна из основных задач, которую призвана решить виртуализация вычислительных ресурсов, — повышение утилизации, — поясняет Никифоров. — Естественно, при этом повышается плотность задач, и это выдвигает новые требования к системам хранения данных. С другой стороны, это оптимизирует вычислительные ресурсы — ведь в результате консолидации достигается гибкость в отношении быстрого перераспределении дискового пространства, выделения большого объема, повышения производительности. Консолидация также предоставляет больше возможностей по переконфигурации системы и адаптации под бизнес-задачи. Если задачу решить правильно, то и в теории, и на практике удается снизить издержки и получить сетевую инфраструктуру хранения, поддерживающую работоспособность виртуальной среды серверов".

Выбор среды хранения

Выбор технологии для создания инфраструктуры хранения во многом зависит от специфики работающих в ней приложений. Для одних приложений более эффективен блочный принцип обмена данными, другие лучше работают на файловом уровне.

Для первого типа (транзакционные приложения, связанные с обращением к базам данных) более удобна выделенная сеть хранения данных SAN (Storage Area Network), функционирующая на базе протокола Fibre Channel (FC). Ключевой принцип работы SAN подразумевает высокую производительность, надежность и разгрузку корпоративной сети LAN: протоколы передачи данных, такие как IP/Ethernet, вызывают значительные накладные расходы, в то время как FC справляется с большим объемом трафика значительно эффективнее.

Приложения, работающие на файловом уровне (системы документооборота, почтовые приложения, потоковое видео, передача данных от систем видеонаблюдения, приложения коллективной работы), более эффективно работают с системами NAS (Network Attached Storage), в основе которых лежит файловый доступ, осуществляемый через IP-протокол. NAS (Network Attached Storage) — решение, обладающее многими характеристиками классического файлового сервера, где для внешней связи используется протокол IP. "Частым заблуждением является то, что технология NAS воспринимается как простой и дешевой способ реализации корпоративного хранилища файлов, — говорит Валерий Тимошин, эксперт по технологиям отдела маркетинга компании NVision Group. — Технически система NAS может быть реализована в виде отказоустойчивого шлюза между IP-сетью и масштабируемой системой хранения на основе модульных массивов. Обычно такая система использует FC для внутренней связи между своими интегрированными устройствами, а для внешней связи с клиентами используется Ethernet".

Помимо протокола Fibre Channel, выделенная сеть хранения на нижнем уровне может использовать также протокол SCSI over IP (iSCSI) либо Fibre Channel over Ethernet. Технология iSCSI, требующая основательной кабельной инфраструктуры, получила широкое распространение в США, где многие небольшие компании располагают такой унаследованной инфраструктурой. В России iSCSI применяется в основном для репликации между системами хранения, работающими на Fibre Channel.

В инфраструктуре хранения данных на российском рынке доминирует технология SAN. По данным IDC, объем продаж дисковых систем хранения, подключаемых по технологии SAN, на 2007–2009 годы оценивался в России на уровне 75% общего объема продаж дисковых СХД (оставшуюся четверть занимают DAS, NAS, iSCSI). "По нашим ощущениям, спрос на решения SAN растет колоссально, а вот в отношении NAS и iSCSI он невелик", — отмечает Николай Умнов. За три года прямого присутствия Brocade в регионе бизнес-продажи коммутаторов сегмент SAN вырос более чем в три раза — на 243% (сравнение 2008 года с 2005 финансовым, оборот в долларовом выражении). Продажи решений SAN компании Brocade в России и СНГ в 2008 финансовом году по сравнению с 2007-м выросли рекордно, более чем в два раза (на 113%). "В линейке Brocade, — сообщает Умнов, — есть пара продуктов iSCSI начального (легкий шлюз BiG) и корпоративного (лезвие в директор 48000) уровня. Запросов по ним очень мало, а покупок было всего несколько за три года. Решения SAN приобретают в основном крупные и средние организации, которым важна высокая надежность, скорость, масштабируемость и предсказуемость инфраструктуры хранения. Скорее всего, еще многие годы таким решением будет оставаться технология FC-коммутации".

Стремление к унификации сред передачи данных положило начало разработкам в области инфраструктуры хранения на базе протокола Fibre Channel over Ethernet (FCoE). Стандартизованная среда передачи позволила бы избежать проблемы поддержки множества разнородных протоколов, определив для Ethernet объединяющую роль. Правда, следует учитывать, что FC инкапсулируется непосредственно в CEE/DCE — протокол уровня ниже IP. А кроме того, существующая кабельная инфраструктура обычно не может поддерживать CEE/DCE: для нее потребуется прокладка новых физических кабелей.

"В настоящее время мы являемся свидетелями попытки унифицировать среду передачи данных путем конвергенции различных протоколов, таких как FC и Ethernet для одного порта и транспорта, — говорит Валерий Тимошин. — Оба эти протокола имеют плюсы и минусы и требуют различного набора оборудования и кабельных систем. Унификация позволит в одной сети передавать трафик принципиально разного типа и использовать единое аппаратное обеспечение — только благодаря этому может быть достигнута колоссальная экономия".

В основе конвергенции протоколов лежит реализованный на 10 Гбит/c Ethernet-протокол CEE (другое название — Data Center Ethernet). Поверх CEE используются стеки протоколов IP, Fibre Channel over Ethernet (FCoE), а также другие протоколы передачи данных. FCoE — это инкапсуляция FC в транспорте канала CEE, обеспечивающая такой же уровень надежности и эффективности, который FC гарантирует для всех приложений ЦОД.

Ведущие разработчики оборудования уже выпустили свои первые продукты, реализующие новую концепцию. У Cisco это линейка продуктов Nexus с поддержкой протокола Data Сenter Ethernet, на рынок она поставляется уже более полугода. У компании Brocade эта концепция реализуется на платформе DCX.

С приходом 10 GigE открывается перспектива стандартизации на едином протоколе всей инфраструктуры хранения. "Если раньше системы коммутации на 100 Мбит/c с трудом поддерживали передачу больших объемов информации, и этому сопутствовали большие накладные расходы, то на текущий момент уже ратифицированный стандарт 10GigE обеспечивает достаточную пропускную способность, для которой имеется необходимая кабельная инфраструктура", — подчеркивает Алексей Никифоров. Против FCoE пока то обстоятельство, что решения 10 GigE еще недешевы, и к тому же в России сети SAN на FC широко распространились и хорошо работают. Применение FCoE сейчас оправдано там, где невозможно использовать FC, и там, где уже создана качественная инфраструктура Ethernet.

Скоростной режим

За последнее десятилетие инфраструктура сетей хранения дважды переключала скорости Fibre Channel — с 1 Гбит/с на 2 Гбит/с, затем — на 4 Гбит/c. И вот теперь производители готовы перейти на четвертую скорость — 8 Гбит/с. "В самом начале, когда только появился интерфейс 4 Гбит/с, он требовался далеко не везде, — вспоминает Алексей Никифоров. — Как правило, его ставили под предполагаемое развитие, благодаря обратной совместимости с технологией 2 Гбит/с". В то время, чтобы обеспечить проникновение 4 Гбит/с, просто снимали с производства адаптеры, коммутаторы, и использовать архитектуру 2 Гбит/с уже не имело смысла. Тем более что себестоимость была та же самая. Проще было купить систему с интерфейсом 4 Гбит/с и использовать ее на 10–20%. То же самое сейчас происходит и с интерфейсами 8 Гбит/с.

На рынке появились полноценные хостовые и дисковые адаптеры, коммутирующее оборудование с поддержкой 8 Гбит/с. Что же касается дисковых массивов — пока 8 Гбит/с обеспечивается на уровне внешних портов, но внутренние интерфейсы еще не готовы поддерживать соответствующую пропускную способность. Однако производители коммутирующего оборудования уже сейчас смотрят в будущее. Например, в настоящее время Brocade активно ведет работы в области не только FCoE, но и 16 Гбит/с FC.

"При возникновении потребности в каналах передачи на большие расстояния инфраструктура 8 Гбит/с открывает новые возможности по передачи данных", — считает Алексей Никифоров. — И пропускную способность можно сделать больше, и сэкономить при этом». Он убежден, что на текущий момент в дисковых массивах, оснащенных большим количеством портов, острой потребности в портах 8 Гбит/с нет.

Не слишком широкое распространение систем хранения с поддержкой скорости 8 Гбит/сек Алексей Никифоров объясняет тем, что протокол FC 8 Гбит/сек только-только вышел в свет, и производители еще не успели изменить свои системы. В ближайшем будущем, скорее всего, появятся и системы с интерфейсами 8 Гбит/сек, ведь многие производители уже объявили о поддержке быстрых SSD-дисков.

Управление в сетях хранения

Управление в сетях Fibre Channel может выполняться средствами специализированного ПО. Например, для управления сетями хранения Brocade предлагает ПО Data Center Fabric Manager (DCFM), а Cisco — MDS Fabric Manager. В целом управление инфраструктурой сети хранения складывается из управления отдельными устройствами (дисковыми массивами, ленточными библиотеками, FC-коммутаторами), сетевой инфраструктурой (маршрутизация, полоса пропускания, безопасность, QoS), ресурсами хранения (диски, дисковые пулы).

"Задача управления сетью хранения обычно также включает в себя управление настройками, исправление ошибок, мониторинг работоспособности и производительности, — объясняет Олег Коверзнев. — Права управления могут быть делегированы в соответствии с полномочиями администраторов сети (RBAC — role-based access control), что дает возможность создавать иерархическую модель управления. Существует стандартизованный интерфейс управления — SMI-S (Storage Management Initiative — Specification), который определяет среду управления в сетях хранения и позволяет решить задачи управления мультивендорными сетями посредством стандартизации протокола связи между системой управления и устройством. Наряду со стандартом SMI-S, производители используют SNMP (Simple Network Management Protocol), CLI (Command Line Interface) и графические средства управления".

"Управление трафиком сети Fibre Channel и управление нагрузкой на сеть хранения данных и на дисковые массивы, — это две разные области", — подчеркивает Алексей Никифоров. Программное обеспечение, работающее на дисковом массиве старшего уровня, помимо функции управления, выполняет также задачи приоритизации трафика на этом дисковом массиве. Как и в сетевых технологиях Ethernet, оно обеспечивает QoS — "позволяет отдать" каждому приложению специальную полосу, задать ему необходимую производительность. В нем предусмотрены довольно гибкие настройки по количеству операций ввода-вывода, по максимальной пропускной способности и т. д.

Как отмечает Николай Умнов, задачи приоритизации трафика и обеспечения QoS решаются правильным дизайном SAN и использованием оборудования без переподписки: при таких условиях пропускной способности каналов обычно хватает для всех видов трафика. Помимо этого, можно использовать различные средства приоритизации трафика (QoS, Ingress Port Rate Limiting, Top Talkers, Port Fencing), присутствующие в платформах Brocade с интерфейсом 8 Гбит/с. Для расширенной диагностики предусмотрен ряд инструментов — от бесплатного SAN Health до Brocade Advanced Performance Monitor.

На инфраструктуру сети хранения частично ложится и решение вопроса безопасности в части разделения доступа (для защиты от случайной ошибки). Этот сервис позволяет изолировать группы пользователей либо один сервер от другого и выделять часть ресурсов системы хранения именно тому пользователю (серверу), которому это необходимо. Раньше изоляцию использовали для того, чтобы не распространять логические ошибки по всей сети: например, резервное копирование старались изолировать от доступа к данным. Сейчас это используется реже, но тем не менее рекомендуется.

В сложных корпоративных сетях стоит задача обеспечения возможности дифференцированно настраивать разнообразные аспекты безопасности сети — зонирование, аутентификацию, RBAC, шифрование трафика, VSAN. "Помимо стандартного функционала командной строки, наличие интерфейсов настройки этих функций и мониторинга работоспособности интегрировано в графический интерфейс системы управления Cisco MDS Fabric Manager", — рассказывает Олег Коверзнев. Кроме того, при наличии лицензии на Fabric Manager Server это ПО дополнительно обеспечивает централизованное управление несколькими физическими фабриками, позволяет выполнять автоматическое отслеживание жизнеспособности СХД (health/event monitoring), представлять разнообразные отчеты по производительности, анализировать трафик, прогнозировать рост нагрузки на СХД и много прочего, что может значительно облегчить задачи администрирования в сложных гетерогенных сетях СХД.

Собственный механизм изоляции в коммутаторах сети хранения Cisco реализован на уровне виртуальных сетей VSAN (Virtual Storage Areа Network). VSAN — механизм разделения единой фабрики SAN на множество логических (виртуальных) сетей. Принадлежность к VSAN определяется на уровне физического порта устройства. Каждый порт может находиться только в одном VSAN. В отличие от стандартного механизма зонирования, механизм VSAN реализован при помощи, во-первых, полной изоляции трафика (весь трафик, включая широковещательные многопользовательские рассылки, заключен в границах отдельного VSAN), во-вторых — независимого функционирования сервисов SAN (каждый VSAN содержит свой собственный сервер имен, таблицу маршрутизации, настройки зон и проч.). Каждый сервис запущен как отдельный процесс в памяти коммутатора.

Изоляция посредством VSAN решает задачи безопасности, отказоустойчивости, гибкости настройки и мастшабируемости в сетях операторов связи, предоставляющих услуги СХД различным клиентам; в корпоративных СХД с множеством разнообразных систем, включая тестовые платформы, которые необходимо изолировать друг от друга; в сетях, где необходимо обеспечить дифференцированные настройки безопасности и качества обслуживания (QoS) разным сегментам сети.

"Наиболее полно механизмы VSAN востребованы в крупных сетях, где применяются коммутаторы директорского класса с большим количеством портов, — говорит Олег Коверзнев. — Именно в таких сетях наиболее остро стоит задача экономного использования ресурсов за счет технологий виртуализации и консолидации систем хранения данных, обеспечения отказоустойчивости и сегментированного управления сетью СХД".

Вопрос доверия

Концепция виртуальных "вычислительных облаков", столь популярная в западном мире, не обошла стороной и сети хранения данных. Услуга Storage-as-a-Service сегодня рекламируется не менее широко, чем Sofware-as-a-Service. Плюсы очевидны: непрофильные задачи выводятся во внешнее управление, оптимизируются затраты, высвобождается персонал, при достаточном предложении на рынке можно найти потом более выгодное решение и пр. В свете ситуации в экономике преимущество внешних услуг заключается в том, что их объем можно варьировать в зависимости от ситуации, которая быстро меняется: в любой момент можно вообще отказаться от этих услуг, а при нормализации ситуации — вновь нарастить их. Однако пока реальный спрос на такие услуги специалисты видят в основном в размещении процедуры резервного копирования настольных корпоративных систем и лэптопов на стороне провайдера.

Как считает Николай Умнов, подобные услуги могут быть привлекательны прежде всего для средних и небольших компаний. "Однако практически все известные мне крупные заказчики предпочитают хранить данные на своих собственных СХД", — резюмирует он.

Существует три аспекта организации подобных услуг — технологический, коммерческий и юридический. Если говорить о технологиях, то они уже позволяют организовать такие централизованные услуги, как Storage on Demand (дословно — хранение по запросу) в условиях коммерческих ЦОД. "Далее стоит вопрос правильной модели продаж этой услуги и разделения правовой ответственности между стороной, предлагающей услугу, и стороной, ее потребляющей, — отмечает Олег Коверзнев. — Эти два вопроса пока тормозят развитие данной услуги на отечественном рынке". С одной стороны, операторы пока массово не предоставляют такие услуги широкому кругу клиентов (не видя широкого спроса или из-за технологических сложностей), а с другой — заказчики все еще недоверчивы к такого рода сервису в силу отсутствия отработанной правовой практики в этом вопросе. Но, как считает Коверзнев, несмотря на существующие сложности, постепенно операторы связи освоят новые услуги, поскольку спрос на них уже начинает формироваться, особенно в нынешних макроэкономических условиях. «В течение следующих нескольких лет стоит ожидать значительного роста в сегменте дополнительных услуг в ЦОД в России», — говорит он.

Василий Кострюков отмечает минусы услуг Storage-as-a-Service. «При размещении данных на стороне провайдера необходимо обеспечить надежные и широкие каналы связи. Иначе придется переносить вовне серверы приложений и сами приложения», — говорит он, подчеркивая, что цены на такие услуги (если это не департамент ИТ, выведенный в отдельную компанию) могут оказаться выше, чем на развитие собственной инфраструктуры. Кроме того, возможны внутренние проблемы с отделами, которые выводятся из офиса. "Вопрос безопасности данных с технической точки зрения не представляет проблем, — говорит Кострюков. — Весь вопрос — в доверии к внешней компании".

Предыдущая новость:
Комплексный подход к построению центров обработки данных Следующая новость:
Как сэкономить на эксплуатации серверов