Инженерная инфраструктура ЦОД

Требования по надежности и непрерывности работы, предъявляемые к современным вычислительным центрам, с каждым годом становятся все выше. Уже недостаточно использования высоконадежных серверных комплексов и активного оборудования ЦОД для обеспечения необходимого уровня надежности. На сегодняшний день не менее жесткие требования предъявляются к помещению современного ЦОД, к обеспечению стабильных условий эксплуатации оборудования, а также к обеспечению физической безопасности оборудования и данных.

Современный ЦОД представляет собой комплексный инженерный объект, оснащенный автономными системами обеспечения функционирования. Совокупность инженерных сооружений, предназначенных для обеспечения непрерывности электроснабжения, постоянства параметров микроклимата, физической защиты оборудования ЦОД, называется инженерной инфраструктурой ЦОД.

Современный ЦОД состоит из следующих типов помещений:

• серверные помещения;
• коммутационные помещения;
• вспомогательные помещения для размещения инженерных систем (аккумуляторные, помещения для баллонов АГПТ);
• помещения для дежурной смены системных администраторов.

В рамках комплексных проектов по проектированию, построению и модернизации инженерной инфраструктуры ЦОД специалисты компании Открытые Технологии зачастую рассматривают вопросы модернизации электроснабжения и организации комплексной системы безопасности здания.

Особое внимание при создании ЦОД необходимо уделять не только серверным комплексам и активному оборудованию, но и построению его качественной инженерной инфраструктуры. Надежность инженерных систем напрямую влияет на степень доступности сервисов ЦОД и должна быть выше надежности остальных его элементов. В рамках проектирования должны использоваться схемы резервирования, обеспечивающие не меньшую отказоустойчивость, чем схемы резервирования, используемые при проектировании технической архитектуры ЦОД.

ЦОД без автоматизированной системы управления инженерной инфраструктурой не может обеспечивать уровень надежности сервисов, требуемый современному бизнесу. Наличие единой автоматизированной системы мониторинга и управления инженерной инфраструктурой ЦОД рекомендовано для любого уровня его эксплуатационной надежности и обязательно для достижения надежности выше 99,98% (согласно исследованиям The Uptime Institute и стандарта ANSI-TIA-942/2005).

Квалифицированные консультанты и инженеры компании Открытые Технологии осуществляют полный цикл работ по проектированию и внедрению инженерной инфраструктуры ЦОД с учетом масштаба и инфраструктуры организации, поставленных целей и задач заказчика.

• Общее, бесперебойное и гарантированное электроснабжение:

Система бесперебойного электроснабжения (СБЭ). Обеспечение электропитанием в случае отключения основных источников электроснабжения на время, необходимое для восстановления внешнего электроснабжения или переключения на резервные (аварийные) источники гарантированного электроснабжения. Применяются источники бесперебойного питания, системы постоянного тока и аккумуляторы.

Система гарантированного электроснабжения (СГЭ). Обеспечение вычислительного и инженерного комплекса ЦОД электропитанием в течение длительных перебоев в электроснабжении. Используется дублирование внешних питающих вводов, устройств автоматического включения резерва и дизель-генераторных установок.

Система общего электроснабжения. Обеспечение электрической энергией непосредственно потребителей групп В, С и системы бесперебойного электроснабжения. Основными составляющими элементами являются: групповые сети, розетки электроснабжения.

• Прецизионное кондиционирование и приточная вентиляция

Обеспечение поддержания микроклимата в помещениях ЦОД с заданными параметрами температуры и влажности для обеспечения надежного функционирования оборудования. Обеспечение кондиционирования, вентиляции и воздушного отопления помещений. Обеспечение подпора воздуха в целях создания избыточного давления в помещениях ЦОД, оборудованных системой газового пожаротушения.

• Монтажные конструктивы

Предназначены для размещения и фиксации оборудования оптимальным образом с точки зрения плотности, доступности, обеспечения оптимальной среды. Используемое оборудование - стойки монтажные, шкафы напольные, рамы настенные, шкафы настенные.

• Фальшполы. Потолочные и напольные плинтусы

Предназначены для организации подвода кабель-каналов, системы закладных, воздуховодов приточно-вытяжной вентиляции в ЦОД и зданиях. Обеспечивает механическую защиту кабелей, сохранение дизайна помещений и облегчение доступа для обслуживания и модернизации кабельной системы.

• Комплексная система физической безопасности:

Система контроля и управления доступом (СКУД). Система предназначена для контроля путей перемещения людей по помещениям ЦОД. Обеспечивает селективный допуск людей на прилегающую территорию ЦОД, осуществляя регистрацию факта прохода.

Система видеонаблюдения (CCTV). Система обеспечивает круглосуточное наблюдение за помещениями ЦОД и регистрирует перемещения на их территории, оповещает оператора и производит видеозапись событий.

Охранная сигнализация. Система предназначена для контроля состояния периметра / отдельных зон доступа за счет установки датчиков движения, датчиков открытия, датчиков удара, датчиков разрушения поверхностей. Служит для оповещения службы безопасности о внеплановом проникновении на территорию ЦОД.

• Пожарная сигнализация. Система предназначена для обеспечения обнаружения задымления или возгорания на всей контролируемой площади помещений. Данная система способна инициировать процессы оповещения о пожаре, эвакуации персонала, запуска системы автоматического пожаротушения, прекращения подачи воздуха, аварийного отключения электроснабжения и включения системы дымоудаления.
• Система аварийного обесточивания. Система обеспечивает отключение подачи электропитания в случае тушения пожара водой с целью исключения короткого замыкания электрических цепей.
• Газовое пожаротушение и система дымоудаления. Обеспечивает автоматическое пожаротушение в помещениях ЦОД путем подачи газов, ингибирующих горение (хладон, углекислота, инерген), и прекращает подачу воздуха в загоревшееся помещение. После срабатывания системы газового пожаротушения система дымо-удаления выводит продукты горения и тушащего газа из помещения.
• Аварийное освещение. Обеспечивает освещение путей эвакуации в здании ЦОД в случае наступления внештатной ситуации. Характеризуется наличием автономных источников электроэнергии как в самих источниках света, так и в качестве отдельных ИБП.
• Обеспечение эвакуации. Система предназначена для звуковой трансляции сообщений и информирования сотрудников, находящихся на территории помещений ЦОД. Также включает в себя комплекс организационных мер, направленных на управление эвакуацией персонала.
• Структурированная кабельная система (СКС). Используется для построения коммуникационной инфраструктуры систем управления технологическим оборудованием, внутренней телефонной сети, охранной сигнализации, систем видеосвязи, охранного и промышленного телевидения. СКС предназначена для передачи по кабелю всех основных типов сигналов низких токов, используемых предприятиями, независимо от приложений и оборудования.
• Мониторинг и управление. Инженерная инфраструктура современного ЦОД состоит из десятков устройств, многие из которых имеют встроенные микропроцессорные системы управления. Количество параметров, которые необходимо контролировать в современном ЦОД, может исчисляться тысячами (климатические параметры в отдельных стойках, токи потребления серверов, состояние охранных датчиков и т.д.). Все параметры необходимо собирать и анализировать в режиме реального времени 24 часа в сутки, 7 дней в неделю. Такое можно осуществить, только используя единую систему мониторинга и управления, которая осуществляет регулярный сбор информации со всех источников данных (датчики, состояние оборудования) и оказывает управляющее воздействие для обеспечения наиболее комфортных условий эксплуатации для оборудования.

Сложность построения инженерной инфраструктуры вычислительных центров заключается в организации совместного проектирования, монтажа и процедур тестирования всей совокупности инфраструктурных подсистем. В то же время от качества произведенных работ будут в дальнейшем зависеть такие критически важные показатели, как надежность и доступность информационных сервисов.

Учитывая, что современный ЦОД может состоять из десятков, иногда сотен серверов, большого количества телекоммуникационного оборудования и других компонентов, в рамках определения надежности ЦОД принято говорить о суммарном времени недоступности сервисов, которые предоставляет ЦОД пользователям, или неполном предоставлении сервиса (не всем пользователям или с недостаточной скоростью реакции).

Суммарный простой ЦОД за год в часах, деленный на 8760 (24 часа х 365 суток), определяет вероятность недоступности ЦОД. Соответственно 100% вероятность недоступности определяет степень доступности ЦОД. Степень доступности современных ЦОД обычно колеблется в пределах 99% (87,6 часа простоя в год) - 99,95% (0,4 часа простоя в год).

Выгоды от построения современной инженерной инфраструктуры ЦОД, основанной на стандартах СН 512-78 и ANSI-TIA 942, можно разделить на прямые, которые очевидны, и косвенные.

К прямым выгодам относится надежное функционирование ЦОД в условиях поддержания идеального непрерывного электроснабжения потребителей, оптимальных параметров окружающей среды с постоянным контролем физического доступа к оборудованию. Ради такого режима функционирования изначально проектируется и строится инженерная инфраструктура ЦОД.

Косвенные выгоды зачастую не лежат на поверхности и становятся понятными только в период активной эксплуатации ЦОД:

• сокращение сроков модернизации и расширения ЦОД - корректно спроектированная инженерная инфраструктура ЦОД позволяет сократить сроки его модернизации с 4-6 месяцев до 2-6 недель за счет гибкого использования ресурсов по избыточности оборудования;
• уменьшение количества используемых вендоров в решении и упрощение сервисного обслуживания оборудования - за счет единого проектирования инженерной инфраструктуры ЦОД и использования промышленного оборудования значительно снижаются расходы на сопряжение подсистем инженерной инфраструктуры и сопровождения установленного оборудования.

Отдельно необходимо рассматривать выгоды от внедрения единой системы мониторинга и управления инженерной инфраструктурой:

• практически мгновенное время реакции на событие - получение данных с особо критичных точек может осуществляться много раз в секунду, это позволяет обеспечить быструю реакцию системы, минимизировать возможные отрицательные последствия при возникновении чрезвычайных ситуаций;
• отсутствие человека при принятии решения в экстренной ситуации - большинство современных угроз известно и известен алгоритм действий, который необходимо использовать при их возникновении, за счет объединения всех инженерных систем в единую логическую сеть с механизмами принятия решений, встроенными в контроллеры автоматизированной системы управления, обеспечивается заданная реакция всей инженерной инфраструктуры ЦОД на возникновение чрезвычайных ситуаций;
• снижение человеческого фактора в рамках эксплуатации инженерной инфраструктуры;
• автоматизированная система позволяет задавать необходимые параметры работы инженерных систем, контролировать их соблюдение, непрерывно следить за пока-зателями окружающей среды, электропитания, состояния технологического оборудования с помощью независимых средств контроля, в случае выхода параметров за заданные границы или обнаружения отказов дежурному персоналу посылаются тревожные сообщения, а также рекомендации по ликвидации аварийной ситуации;
• расширение возможностей инженерных систем путем увеличения количества точек контроля, что позволяет гарантировать соблюдение необходимых параметров окружающей среды для работы оборудования (например, регулирование работы системы обеспечения микроклимата не только на основе температуры горячего воздуха, подаваемого в кондиционер, но и на основе данных, полученных с дополнительных датчиков, установленных непосредственно в местах забора воздуха оборудованием);
• единая среда мониторинга и управления - дежурный персонал имеет единый мнемонический интерфейс контроля и управления всеми инженерными системами ЦОД, что облегчает восприятие информации персоналом, позволяет контролировать все параметры систем в реальном времени, своевременно обнаруживать изменения в работе и производить техническое обслуживание или ремонт;
• возможность прогнозирования отказов элементов инженерной инфраструктуры - подключение дополнительных датчиков и измерение нестандартных параметров систем инженерной инфраструктуры позволяет вовремя предупредить вероятную аварию (например, датчики прогиба перекрытий при достижении определенного значения подскажут, что давление на перекрытие достигло максимальных допустимых показателей и дальнейшее увеличение нагрузки приведет к обрушению строительных конструкций).