ЦОД. Cэкономить и не навредить

Инженерные системы эксплуатации дата-центров — это сложное комплексное решение, которое гарантирует бесперебойную работу всех подсистем ЦОД и обеспечивает физическую безопасность оборудования. Однако в нынешнее кризисное время, когда особенно актуальна задача сокращения капитальных расходов и инвестиционной нагрузки, у компаний, приступающих к созданию центра обработки данных, возникает резонный вопрос: на чем можно сэкономить? Какой из подсистем можно пренебречь на начальном этапе, реализовав ее позже?

Рассмотрим с точки зрения экономии основные подсистемы, без которых невозможна жизнедеятельность дата-центра. К ним относятся система электроснабжения, система обеспечения микроклимата и интегрированная система безопасности.

Интегрированная система безопасности

Комплексная система безопасности ЦОД объединяет в себе системы видеонаблюдения (СВН), контроля и управления доступом (СКУД), охранной сигнализации (СОС), голосового оповещения (СГО) о пожаре и систему пожарной сигнализации (СПС), интегрированную с системой газового пожаротушения (ГПТ). "На последней подсистеме весомой экономии не будет, — предупреждает Александр Аносов, начальник отдела инженерных систем компании Открытые Технологии. — Если ЦОД занимает площадь более 24 кв. м, а сейчас это практически всегда так, то он должен быть оборудован установкой автоматического газового пожаротушения. Она рассчитывается, исходя из объемов помещения, и сделать дешевле возможно только в одном случае: разделив центр на зоны и вводя их в эксплуатацию поэтапно. Если помещение не подразумевает разбитие на зоны с противопожарными перегородками, то сэкономить не получится".

Стоимость систем контроля и управления доступом и систем видеонаблюдения для среднего ЦОД сравнительно невелика. В подавляющем большинстве типовых проектов дата-центр, как правило, размещается в зданиях, где расположены и другие службы и офисы. Следовательно, контроль и управление доступом может носить минимальный характер. "В данном случае я не рекомендовал бы ставить более серьезные системы, — говорит Александр Аносов. — Можно, конечно, поставить систему контроля и управления доступом на каждой стойке. Но для среднего заказчика это избыточно. Как правило, служба эксплуатации небольшая, поэтому "разоряться" на доступ по карточкам или по кодовому замку к каждой из стоек, на мой взгляд, нецелесообразно". Такая система недорога — 5-7 тысяч долларов.

Тот же подход разумного минимализма применим и к системе видеонаблюдения. Она устанавливается в одном-двух помещениях, оснащенных видеокамерами, которые контролируют общую обстановку, следят за входами и выходами. Эксперты не рекомендуют опускаться до уровня каждой из стоек: это удел коммерческих ЦОД, работающих с большим количеством пользователей, где доступ к оборудованию должен быть строго регламентирован.

Практически все современные системы безопасности позволяют осуществлять довольно гибкое наращивание. Если возникнет необходимость подключить дополнительное помещение или дополнительные уровни контроля защиты (взвешивание перед входом и при выходе, биометрические датчики и др.) — это можно осуществить довольно просто, практически незаметно для функционирования ЦОД.

Система обеспечения микроклимата

Для поддержания обязательных климатических условий, а также принудительного отвода тепловой энергии в аппаратном зале центра и помещениях инженерных систем создается система кондиционирования и вентиляции.

Она может быть построена с применением двух технологий. В первом случае используется фреоновая система, во втором — система с жидкостным хладагентом. Последний вариант дает возможность использовать технологию free cooling, позволяющую в холодный период года снижать расход электроэнергии: хладагент, который циркулирует в системе, охлаждается за счет низкой температуры воздуха, забираемого системой извне; вентилятор не используется. Такой принцип работы позволяет экономить электроэнергию и снижать прямые расходы на эксплуатацию ЦОД по сравнению с фреоновой системой, которая потребляет энергию всегда, в любое время года.

На первый взгляд, система с жидкостным хладагентом сточки зрения экономии средств выглядит гораздо более привлекательной. Но при более внимательном рассмотрении выясняется, что системы естественного охлаждения эффективны не всегда. "Как показывает практика, free cooling оказывается неэффективным на мощностях менее 300-400 КВт тепловыделения, — предупреждает Александр Аносов. — А такие мощности имеются примерно у 80% всех заказчиков. На мощности 400 КВт окупаемость составляет около 3~4 лет, на 700 КВт система окупается примерно за полтора года. Если говорить о новейших тенденциях в мировой практике, то, кроме перечисленных систем охлаждения, в последнее время начали использовать "уличный" воздух, охлажденный естественным путем: экономия на электроэнергии в холодный период года — практически 100%. Но необходимо учесть, что воздух, забираемый снаружи, должен быть специально подготовлен: осушен или увлажнен, очищен, подогрет и т. п. Для обеспечения этих условий необходимо создать достаточно сложную систему, что неизбежно ведет к перестройке системы вентиляции здания, и в результате решение получается очень дорогостоящим. Поэтому стоит детально просчитать: какова ожидаемая мощность ЦОД, какая у него будет за пол няе-мость. Возможно, не стоит гнаться за новыми, „модными" системами естественного охлаждения, которые на самом деле не дадут ожидаемого результата, а лучше построить систему кондиционирования на традиционных фреоновых технологиях, сэкономив на начальных вложениях".

Система электроснабжения

Система электроснабжения предназначена для обеспечения всех подсистем ЦОД электроэнергией требуемого уровня надежности и качества, а также распределения электроэнергии между потребителями. Она объединяет в себе три основные подсистемы: систему распределения электроэнергии, систему бесперебойного снабжения (источники бесперебойного питания, ИБП) и систему гарантированного электроснабжения (дизель-генераторные установки, ДГУ).

— Если стоит задача сэкономить на первоначальных вложениях, то систему ДГУ можно отнести на второй этап, — советует Александр Аносов. — Ее легко подключить позже, предусмотрев дополнительные разъемы или подключения в щитах. Разумеется, при этом проектная документация должна предусматривать максимальную комплексную мощность и описывать этапность реализации инфраструктуры.

Экономии на ИБП можно достигнуть, если разумно скомбинировать параллельные системы и модульные ИБП, которые подразумевают гибкое масштабирование, и ставить источники только на ту мощность, которая будет востребована в ближайшей перспективе. "Рассчитайте коэффициент загрузки каждого источника и подбирайте ИБП таким образом, чтобы их КПД был максимальным, — рекомендует Александр Аносов. — Не секрет, что анонсируемый КПД в 98% реализуется только при нагрузке источника ближе к 100%. А если он загружен на 90% или ниже, то КПД будет значительно меньше. Это означает, что часть электроэнергии просто теряется. А электроэнергия — это самый дорогой компонентв системном процессе эксплуатации".

Как правило, на практике реализуются смешанные варианты подсистемы ИБП, которые объединяют модульные и параллельные системы. Модульные источники дороже, но обладают возможностями более гибкого масштабирования. Параллельные системы дешевле, но они моноблочные. Большинство заказчиков ставят на подсистемы, обеспечивающие микроклимат, более дешевые параллельные системы, на серверное оборудование — модульные источники, которые располагаются прямо в помещении ЦОД.

"На чем бы я не рекомендовал экономить — это на системе распределения электроснабжения: щитовом оборудовании, кабелях, автоматах ввода резервов и прочем, — предупреждает Александр Аносов. — Эти компоненты в дальнейшем хуже всего поддаются модернизации. Их перестройка зачастую связана с необходимостью отключения ЦОД — возможно, даже на продолжительное время. Если не удастся избежать вынужденного простоя, то неминуемы финансовые потери: заказчик будет вынужден строить новую систему с нуля, единовременно переключать ЦОД на работу в ней, а старую систему утилизировать, с полной потерей вложенных в нее средств. Поэтому систему распределения электроснабжения я бы рекомендовал строить сразу с запасом, благо ее стоимость по сравнению с прочими системами невелика".

Дополнительные подсистемы

Существует еще ряд подсистем, которые не являются обязательными с точки зрения жизнедеятельности дата-центра, но напрямую влияют на его эксплуатационные операционные характеристики.

Первая — автоматизированная система мониторинга (диспетчеризации) и управления (АСМУ). Элементы данной подсистемы практически всегда присутствуют в системе вентиляции, ИБП, ДГУ, но, не связанные между собой, они представляют сильно усеченный функционал АСМУ. "Работать, конечно, можно и без централизованной системы, — рассказывает Александр Аносов. — Но если стоит задача сэкономить на эксплуатации ЦОД, то эта система — одна из самых выгодных. Она легко поддается модернизации, поэтому можно сэкономить: спроектировать систему на начальном этапе и отложить ее реализацию до тех пор, пока появятся деньги или понимание ее необходимости. При этом, разумеется, необходимо изначально установить современное оборудование и подобрать необходимые модули и компоненты в источниках питания и кондиционерах таким образом, чтобы они легко интегрировались".

Особое внимание стоит обратить на структурированную кабельную систему (СКС). Всем известны многочисленные печальные примеры хаоса кабельной коммутации: "картины" со множеством висящих проводов и администратором, который один знает, куда какой провод идет. Разумеется, в этом случае не может быть никакой речи о надежности. Лучше заложить СКС на начальном этапе, предусмотрев сначала минимум для того оборудования, которое будет установлено, а вдаль-нейшем наращивать дополнительные кабельные пространства. Раньше СКС было принято ставить на максимум: к каждой стойке подводили предельное число кабелей, оптики и меди, которые ждали момента своего подключения. Но делать это совершенно не обязательно. Можно сэкономить, реализовав только те компоненты, которые нужны сейчас, и проложив необходимый и достаточный минимум кабелей, а в дальнейшем наращивать СКС по мере надобности. Но, разумеется, спроектировать ее надо на начальном этапе, чтобы в дальнейшем избежать проявлений хаоса.

Решение об установке фальшпола и подвесного потолка принимается в зависимости от того оборудования, которое будет установлено в ЦОД. Но в подавляющем большинстве случаев эти системы все же устанавливаются — для удобства администрирования, прокладки кабеля и т. п., независимо оттого, какова схема системы охлаждения. Выбор монтажных конструктивов — лотков, стоек, шкафов для оборудования — достаточно широк. Эксперты советуют приобретать стойки на этапе создания инженерной инфраструктуры, чтобы произвести всю необходимую электрическую разводку и разводку под СКС заранее.

Время и деньги

Сегодня цена создания среднего центра обработки данных находится на уровне 7~8 тысяч долларов за квадратный метр. "Это минимальный набор необходимых подсистем с хорошо продуманной архитектурой и возможностью модернизации и расширения, — поясняет Александр Аносов. — Наращивание стоимости зависит от степени резервирования: это основной параметр, который влияет на стоимость ЦОД".

Такой центр строится примерно за полгода. Сейчас, в связи с кризисом, их строится меньше, поэтому загрузка заводов ниже, оборудование производится и доставляется в срок, производственные мощности у системных интеграторов по-прежнему есть, и задержек в связи с большой загрузкой не будет. У заказчиков есть хорошая возможность сконцентрироваться на нормальной, без авралов, работе. Поставка оборудования займет примерно три месяца, предварительные работы и проектирование — месяц, два месяца отводится на пуско-наладочные монтажные работы. Через полгода ЦОД в части инженерной инфраструктуры должен быть создан.

Как не надо делать

Среди наиболее распространенных ошибок эксперты отмечают неверный выбор помещения для ЦОД. Нередки случаи, когда принимается решение о создании современного дата-центра, выделяются средства, но помещение не соответствует необходимым критериям. В результате половину угроз, от которых заказчик пытается защититься, он собственноручно воссоздает в новом помещении. Например, раньше серверные размещались в территориально распределенных, маленьких, но сухих помещениях с нормальным уровнем безопасности. А под новый ЦОД отводится подвал, который подвержен подтоплению.

Другой распространенной ошибкой заказчиков является стремление во что бы то ни стало соблюсти требования всех стандартов.

— Сейчас, — рассказывает Александр Аносов, — стало модным писать, что ЦОД (в первую очередь, это касается коммерческих центров) соответствует такому-то уровню согласно таким-то стандартам. На сегодняшний день такого просто нет. На стремление следовать стандартам люди зачастую тратят много времени, но смысла в этом мало. Процесс создания ЦОД надо начинать с другого — с общей концепции развития информационных систем компании. Далее — спускаться на уровень технической архитектуры — серверной и систем хранения. Именно такой подход, а неумозрительное видение, основанное на стандартах, должен определять требования к инженерным системам ЦОД.

Проектной деятельности должно предшествовать формирование концепции, описывающей деятельность организации от бизнес-процессов до нижнего уровня. Если стартовой точкой являются проектные работы, требования в подавляющем большинстве случаев формулируются поспешно и неточно. В результате можно построить ЦОД, который будет, например, слишком мал для компании, и придется через два года его перестраивать и достраивать, либо наоборот — инвестиции в него необоснованно завышены. "Объяснить подобные промахи топ-менеджменту и собственникам будет довольно сложно, — подчеркивает Александр Аносов. — Если у компании-заказчика нет необходимых компетенций, лучше обратиться к системному интегратору, который поможет сформулировать бизнес-требования и интерпретировать их на уровень технической архитектуры ЦОД".

Особое внимание эксперты советуют уделить особенностям систем охлаждения серверного оборудования и систем хранения. Большинство крупных серверов и систем хранения нельзя охладить без использования фальшьпола. При этом используется схема охлаждения, в которой горячий воздух забирается снизу, спереди, сзади и выбрасывается вверх. "Однако большинство производителей современных инженерных систем, — отмечает Александр Аносов, — говорят о том, что надо использовать системы "горячий и холодный коридор", где холодный воздух забирается спереди ряда стоек, а горячий выбрасывается сзади. В случае если мы рассчитаем все инженерные системы под подобную схему, серверы будут перегреваться и не смогут работать.

Сейчас практически у всех крупных вендоров есть системы, предназначенные для работы в "горячем и холодном коридоре". При использовании данного решения можно не ставить фальшьпол. Но надо четко понимать, что высокопроизводительные многопроцессорные серверы в таком ЦОД зачастую установить невозможно. Чтобы перевезти в подобный центр сервер с "нестандартной" схемой охлаждения, надо будет перестроить всю соответствующую систему, вложить дополнительные сотни тысяч долларов, потерять минимум три-четыре месяца, что может обернуться для компании существенными убытками. Между тем заказчик нередко поручает создание ЦОД фирме, которая специализируется только на создании инженерных систем. Там нет специалистов и нет компетенций по тому, какая "начинка", какое оборудование будет использоваться в центре. В результате по завершении работ выясняется, что решение не создает условий для надежной работы оборудования. Поэтому повторю: если внутри компании-заказчика нет необходимых компетенций, лучше поручить создание ЦОД системному интегратору, имеющему компетенции во всех этапах его создания, включая создание инженерной инфраструктуры".

Предыдущая новость:
Практика внедрения систем защиты персональных данных Следующая новость:
Средства защиты информации от утечки