Какой ЦОД нужен оператору связи

Ответ на вопрос, какой ЦОД необходим оператору связи, естественно неоднозначен. Тем не менее, попробуем выделить основные Факторы, анализ которых позволит сделать правильный выбор в конкретной ситуации.

Фактор № 1. ЦОД для работы или для повышения капитализации?

Если цель строительства ЦОДа - повысить капитализацию, реализовать политический заказ или освоить бюджет, то, скорее всего, потребуется что-то огромное, с мощностью на шкаф до 30 кВт, сертифицированное на соответствие требованиям Tier III, хотя бы на уровне проекта, и с обязательным применением энергосберегающих технологий.

В мире таких ЦОД построено много, утилизация их редко превышает 30 %. Некоторые страны, например, Канада, уже реализуют специальные программы по модернизации существующих ЦОД и сокращению их количества. А основное использование некоторых особо «зеленых» ЦОД – организация экскурсий новых покупателей на деньги вендоров…

Если ЦОД «для работы», то для чего конкретно?

Для того, чтобы ЦОД решал все задачи, не был избыточным и не требовал затрат на строительство и эксплуатацию, сопоставимых с организацией полета на Марс, необходимо определить, что будет в нем работать.

Выделим крупные группы сервисов оператора связи:

• традиционные корпоративные информационные системы: бухгалтерия, документооборот, электронная почта, ERP, ТОиР и т. д.;
• специализированные системы класса OSS – как правило, это множество специализированных систем и биллинг;
• основные производственные сервисы - программное обеспечение коммутаторов, маршрутизаторов и специализированных серверов, обеспечивающих передачу и инжиниринг голосового трафика и трафика сетей передачи данных, служебные сервисы, сигнализацию и т. п.;
• коммерческие сервисы, предназначенные для предоставления услуг с высокой долей добавленной стоимости, среди которых как отдельную группу можно выделить телевизионные сервисы, поскольку требования таких сервисов специфичны.

Если перегруппировать сервисы по требованиям к инженерной инфраструктуре ЦОД, то тогда можно выделить три специфичные группы его инженерного оснащения:

• традиционный ЦОД в классическом понимании (в нем сконцентрированы сервера, системы хранения, ядро корпоративной сети, прикладное ПО OSS/BSS, коммерческие сервисы, хранилища контента);
• ЦОД для основных производственных сервисов (далее будем называть «автозал»), где сконцентрировано оборудование производственной сети, коммутаторы мобильной связи, оборудование, поддерживающее служебные сервисы;
• ЦОД, в котором располагается оборудование головной станции телевидения.

Такое деление достаточно условно, тем не менее, отражает специфичные требования к инженерной инфраструктуре трех типов. Особой отраслевой специфики в требованиях к инфраструктуре традиционного ЦОД нет, а вот на двух последних типах остановимся подробнее.

Автозал.

Еще пять-семь лет назад это был зал для АТС со средним тепловыделением до 3 кВт на шкаф и массой пассивного кроссового оборудования. Многие вендоры коммутаторов продавали свое оборудование только вместе с инженерной инфраструктурой, рассчитанной в среднем на тепловыделение 0,5 – 1,5 кВт на 1 м2.

В настоящее время Автозал, с точки зрения инженерной инфраструктуры, это ЦОД с высоким и очень высоким тепловыделением на шкаф. Сетевые устройства с тепловыделением 15 кВт на шкаф сейчас рядовое явление. Ведущие производители сетевого оборудования уже заявили о выпуске новых линеек устройств, в которых тепловыделение будет до 30 кВт на шкаф.

Каждое новое поколение сетевых устройств выполнено на основе более энергоэффективных технологий, чем предыдущее. Но пропускная способность каналов растет опережающими темпами.

Если скорость переключений выше, значит, используется большее число транзисторов. Частота выше, значит, размеры меньше, плотность выше. Если тепловыделение на шкаф не увеличивать, значит, в архитектуре устройств должны присутствовать дополнительные контроллеры для выполнения межпроцессорных коммуникаций. Физику новую пока не придумали, поэтому тенденция роста удельного тепловыделения сохранится в будущем. И противоречия тут никакого нет, если привести энергопотребление к пропускаемым байтам, то новые устройства на Ватт потраченной мощности обеспечивают обработку существенно большего количества байт, чем пять лет назад…

Кроме того, множество служебных сервисов уже работают на блейд-серверах. То есть современный автозал уже не сильно отличается от ЦОД для суперкомпьютеров… Только с существенными дополнительными требованиями.

Основная специфика автозала – использование блоков питания постоянного тока, принципиально дублированные блоки питания. По требованиям 32 приказа Министерства информационных технологий и связи Российской Федерации от 13 марта 2007 г.: большое время автономного электроснабжения на аккумуляторных батареях и дублирование электроснабжения. Для примера, выполнение требований по автономному электроснабжению на аккумуляторах для автозала на 150 кВт активного оборудования потребует приблизительно 250 тонн свинца. Если все это сложить с требованиями ПУЭ, получается практически обязательное 2S-резервирование системы электроснабжения. А учитывая опасность теплового удара, при таких мощностях обязательным становится еще и «бесперебойное» охлаждение.

ЦОД для головной станции телевидения

Этот тип отличается обилием коммуникационных кабелей. Если головная станция строится на основе самых современных и очень дорогостоящих решений от ведущих вендоров, особой проблемы с коммутацией не будет. Но не все операторы готовы вложить значительные средства в новое приемное и передающее оборудование. В результате в таком ЦОД с унаследованным оборудованием появляются многие тысячи видео/аудио кабелей, сотни линков, выполненных витой парой (UTP) и оптикой. Причем не важно - сервисы телевещания, IPTV или кабельного телевидения выполняет эта головная станция.

Поэтому для таких ЦОД самым главным становится высота помещения от пола до перекрытия и использование шкафов с максимальной монтажной шириной. То есть просто нужно достаточно места, иначе неизбежна высокая плотность прокладки и заметное усложнение обслуживания в процессе эксплуатации. При этом энергопотребление унаследованного оборудования не очень существенное, до 5 кВт на шкаф.

Вывод. «Для работы» оператору необходимы ЦОДы с инфраструктурой трех типов - традиционный ИТ-ЦОД, автозал и ЦОД для головной станции телевидения, или двух первых, если телевидения пока нет или используется суперсовременное приемно-передающее оборудование.

Обойтись одним универсальным ЦОД, предназначенным для всех групп сервисов, будет сложно. Его потребуется или дробить на отдельные зоны со специфичной инфраструктурой, или мириться с низкой утилизацией и неоправданными расходами на эксплуатацию. Причем деление одного ЦОДа на зоны с разной архитектурой инженерных систем не рационально, горизонтальное масштабирование будет ограничено.

Фактор № 2. Какой уровень эксплуатационной доступности инженерной инфраструктуры ЦОД необходим оператору?

Естественно, разный, для различных прикладных сервисов. Так, если ЦОД планируется использовать для сервисов, основными пользователями которых являются частные лица, с неопределенным SLA, уровень доступности может быть Tier I, а вот для видеоконференцсвязи с участием больших чиновников и уровня Tier IV может быть недостаточно...

Существует распространенный стереотип: «Уровень эксплуатационной доступности инженерной инфраструктуры ЦОД должен быть не хуже, чем требуемый уровень эксплуатационной доступности прикладных сервисов, работу которых обеспечивает данная инфраструктура».

Это стереотип сложился для традиционных ЦОДов в силу ряда объективных причин.

Во-первых, даже сейчас множество унаследованного программного обеспечения, в которое вложены колоссальные инвестиции, сложно, а иногда и экономически не целесообразно переносить на современные виртуальные платформы. Для такого ПО существует единая точка отказа – серверный комплекс, а геораспределенный кластер не обеспечивает непрерывности транзакций и реализация его может требовать новых и очень существенных инвестиций. Резервирование реализуется на уровне данных с неизбежным простоем при сбое инфраструктуры. То есть инженерные системы должны быть не менее надежными, чем серверный комплекс. Но таких приложений не очень много.

Во-вторых, виртуализация еще несколько лет назад была инновационной технологией, имеющей множество «тонких мест». Для промышленного использования она стала пригодна лишь недавно.

Сегодня виртуализация стала стандартом «де-факто». Кроме того, сейчас крупнейшие игроки массовых сервисов в полной мере используют технологии обратной виртуализации. Например, из отдельных серверов с локальными дисками, сетевых устройств хранения, дисковых массивов, расположенных на значительном удалении, собирают одно или несколько логических хранилищ данных с требуемым уровнем резервирования, которые потом нарезают под различные приложения или пользователей. А вычислительные мощности безболезненно масштабируются за счет развитых программных и программно-аппаратных систем балансировки нагрузки.

Если рассматривать производственную сеть оператора, здесь все ключевые узлы и магистрали всегда дублированы (во всяком случае, должны быть). Сейчас сетевые технологии позволяют строить не дублированные узлы, а коммуникационные плоскости, содержащие более двух узлов и магистралей. Потеря работоспособности любого из узлов не приводит к существенной деградации производительности сети в целом. То есть уровень эксплуатационной доступности в такой среде уже не зависит от работоспособности конкретного физического узла.

Существует исторический стереотип, «подогреваемый» многими вендорами, – стоимость инженерной инфраструктуры даже наивысшего уровня резервирования пренебрежимо мала по сравнению со стоимостью вычислительного и коммуникационного оборудования, расположенного в ЦОД. Этот тезис верен и сейчас, но с небольшой поправкой – если рассматривать стоимость вычислительной начинки ЦОД вместе со стоимостью данных, которые в ней обрабатываются и хранятся, или величины недополученной прибыли в случае простоя сервисов, которые работают в ЦОД. Если же рассматривать выбор из двух альтернатив – построить ЦОД уровня Tier IV и дублировать вычислительную и коммуникационную начинку (ЦОД уровня Tier IV – это два аналогичных ЦОД), или построить три узла с уровнем Tier II и наполнить их менее надежной начинкой, применив специальные решения по виртуализации, – ответ уже не столь очевиден.

За последние несколько лет стоимость серверов, дисковых массивов, коммутаторов существенно снизилась, и стала вполне сопоставимой со стоимостью инженерной инфраструктуры. А вот сохранность данных и непрерывную работу сервисов проще обеспечить за счет распределенных узлов обработки. И какой вариант получится дешевле – локальный кластер в одном из ЦОД-ов уровня Tier IV, или три узла виртуальной инфраструктуры в трех ЦОД уровня Tier II – это предмет конкретных расчетов. При этом степень эксплуатационной доступности сервисов и надежность хранения данных во втором случае может быть даже лучше чем в первом, поскольку три независимых узла могут быть подключены к разным электросетям (220 кВ и выше), а сбои электроснабжения – самые распространенные причины аварий в ЦОД.

Вывод. Использование виртуализации и коммуникационных плоскостей позволяет снизить требования к инженерной инфраструктуре каждого изолированного ЦОД без потери общей надежности системы.

Фактор № 3. Какого размера должен быть ЦОД?

В первую очередь, это определяется политикой производителей инженерного оборудования и предъявляемыми к ЦОД требованиями вертикального и горизонтального масштабирования.

Большинство производителей инженерных систем серийно выпускают оборудование до определенной мощности. Использование его в проектных решениях позволяет иметь и прогнозируемые сроки поставки, и сервисное сопровождение, предоставляемое многими поставщиками за адекватные деньги.

Применение инженерного оборудования большой мощности (не серийного) – это дополнительная стоимость за счет эксклюзивности. Производители в цену вкладывают стоимость рабочего проектирования, перенастройки производственных линий и дополнительные накладные расходы на управление производством, т. е. единично выпускаемое оборудование в любом случае будет дороже, и скидки на него будут меньше. Сроки же такого производства, как правило, растут в несколько раз.

Отдельная статья эксплуатационных расходов «счастливых» обладателей эксклюзивного оборудования – это стоимость сервисного обслуживания и сроки поставки расходных материалов и запасных частей. Как правило, сервисные компании не имеют специалистов для обслуживания эксклюзивного оборудования и для выполнения ремонтно-профилактических работ потребуется привлечение специалистов с заводов-производителей. Расходные материалы и запасные части – часто так же эксклюзив, и сроки их поставки могут составлять многие месяцы, а стоимость может быть существенно выше, чем для серийно выпускаемых расходных материалов, которые можно приобретать иногда и не оригинальные.

Второй аспект размера ЦОД – горизонтальное масштабирование. Самые большие в мире ЦОД строятся, в основном, по модульному принципу. При относительно небольшой мощности каждого такого модуля можно оптимизировать бюджет строительства, не «замораживая» инвестиции в базовые инженерные системы огромного ЦОД на неопределенный срок. В условиях стремительного развития сетевых и коммуникационных технологий объективно спланировать детальные требования к инженерной инфраструктуре, необходимой через три года, сложно. Модульный принцип позволяет оперативно изменить мощность и технические параметры вновь создаваемых модулей под изменившиеся запросы размещаемого оборудования.

Учитывая, что оператору связи необходимо три типа ЦОД, относительно небольшие модули проще сделать специализированными.

В абсолютных цифрах можно определить, что отдельный модуль ЦОД не должен потреблять энергии больше 2 МВт. Такой масштаб определяется дизель-генераторными установками (ДГУ), поскольку синхронизация нескольких ДГУ на общую нагрузку - не тривиальная инженерная задача, а любая сложная система всегда менее надежна, чем простая…

Можно также определить и нижнюю границу размера модуля ЦОД – не менее 400 кВт общей мощности и не менее 20 шкафов. Модуль такого масштаба при нормальной динамике развития предприятия связи заполняется за 1 – 2 года, и построенная инфраструктура не успевает устареть.

Совершенно не обязательно, чтобы это были именно изолированные модули, как в ЦОД ЛинксТелеком в Москве или в ЦОД Microsoft. Это могут быть просто изолированные гермозоны в большом помещении.

Относительно небольшие модули рациональны и с точки зрения получения необходимого электроснабжения. Практически повсеместный дефицит электроэнергии делает задачу получения в конкретной точке пространства 10 или 20 МВт мощности сложно решаемой. Получить 1 – 2 МВт все же проще. А использование площадок бывших крупных промышленных предприятий, где потенциально имеются существенные мощности электроснабжения, - не самое оптимальное место для ЦОД с точки зрения существенных техногенных рисков и нестабильной ситуации с собственностью на здания и землю и общегражданской инфраструктурой.

Необходимо отметить существующий стереотип, что при использовании относительно мелких дискретных устройств инженерной инфраструктуры происходит увеличение общей стоимости инфраструктуры за счет дублированной избыточности. Но при рассмотрении очень больших ЦОД часто упускается момент существенного увеличения сложности и стоимости очень мощных электрораспределительных устройств, общих транспортных магистралей. В больших ЦОД появляется непродуктивное «двойное преобразование». Например, для ЦОД на 7 МВт потребуется единая резервная дизельная электростанция, состоящая из трех ДГУ мощностью 2,5 МВт, работающих на общую шину. Сначала необходимо будет установить устройства, обеспечивающие синхронизацию работы трех ДГУ, а потом еще и вводно-распределительные устройства и АВР на токи в тысячи ампер, чтобы распределить собранные мощности на множество электроприемников. Подобные вводно-распределительные устройства, автоматы защиты и АВР могут стоить значительно дороже, чем дополнительный небольшой ДГУ или «лишний» ИБП. В любом случае это стоит проверить, приведя все стоимости к единому знаменателю - стоимости инфраструктуры на шкаф.

Кроме того, выполняя ЦОД в виде относительно небольших территориально распределенных модулей и обеспечивая резервирование на уровне программно-аппаратных платформ, можно снизить общую стоимость инфраструктуры за счет снижения уровня резервирования инженерного оборудования.

Во всех крупных городах есть удобные унаследованные здания для размещения ЦОД – бывшие городские и районные АТС. Большинство из них выполнялось по типовым проектам с расчетными нагрузками на перекрытия 1600 – 2000 кг/м2. Практика показывает, что даже с учетом износа в таких зданиях остаточная нагрузочная способность вполне приемлема для размещения ЦОД на любом этаже. Здания эти, как правило, почти пустые, АТС заменили на цифровые станции, они теперь занимают не пять этажей по 800 м2, а максимум три-четыре шкафа и небольшое помещение под кроссовое поле. А владелец несет существенные затраты на отопление пустующих 800 – 4000 м2. Остается только договориться с владельцами…

Вывод. Для обеспечения простого горизонтального масштабирования ЦОД целесообразно строить его отдельными изолированными модулями (гермозонами), рассчитанными на 20 – 100 шкафов с общей мощностью потребления 400 – 2000 кВт.

Фактор № 4. Как плавно наращивать мощность ЦОД?

Кроме горизонтального масштабирования ЦОД (увеличения количества подготовленных в нем шкафов) возникает еще и задача в рамках одной гермозоны (модуля ЦОД) обеспечить размещение оборудования с растущей мощностью энергопотребления и тепловыделения. Подобная задача актуальна, поскольку план по заполнению ЦОД на пять лет вперед практически не реален - технологии меняются чаще.

Требования регламентирующих документов, стандартов (таких как TIA 942) привели к тому, что в большинстве ЦОД утилизация мощностей не превышает 30 %. Объяснение такой ситуации простое – все проекты, в том числе в России, выполняются «по мощности установленных блоков питания». То есть если на коммутаторе блок питания на 3,5 кВт, значит и весь луч электроснабжения, мощность выпрямителей электропитающей установки, емкость аккумуляторных батарей должны обеспечивать именно эту мощность. А такую мощность блок питания потребляет исключительно в момент включения оборудования, когда идет разогрев полупроводниковых переходов (сопротивление при комнатной температуре низкое, соответственно, ток максимальный). По мере того, как p-n переходы выходят на стабильный режим работы, потребление существенно снижается, ток падает. Никто не отменял пусковых токов в цепях реактивной нагрузки, на них также рассчитаны все проектные решения. Кроме того, учитываются пусковые токи кондиционеров и другого инженерного оборудования, которые могут превышать номинальные в 5 - 10 раз. При этом стабильное потребление в устоявшемся режиме редко превышает 50 - 60 % от номинальной мощности.

Как правило, нарастить мощность электроснабжения, подводимую к конкретному шкафу, возможно, установив более мощный блок распределения питания и проложив дополнительные кабели. Однако системы охлаждения, рассчитанные в соответствии с проектным тепловыделением, становятся камнем преткновения. Кроме того, в большинстве проектов при расчете охлаждения используется «коэффициент спроса», позволяющий «законно» снизить мощность кондиционеров и существенно сэкономить бюджет. И получается, что в ЦОД, построенном всего несколько лет назад из расчета 5 и даже 7 кВт на шкаф, уже не поставишь в шкаф две корзины блейд-серверов или шкафы Cisco CRS3.

Строить избыточную инфраструктуру сразу, неэкономично, существенную часть жизненного цикла ЦОД она может быть не задействована. Однако из этой ситуации есть выход, который пока не очень распространен.

Во-первых, в проектные решения следует закладывать значение предельной мощности, которая прогнозируется на ближайшие 3 – 5 лет. Во-вторых, предусмотреть поэтапное наращивание фактической мощности путем добавления к базовым системам дистрибуции отдельных дискретных устройств. В-третьих, использовать наращиваемые решения по охлаждению.

Такой вариант реализации приводит к некоторому увеличению первоначальных инвестиций в строительную подготовку объекта и реализацию некоторых базовых систем дистрибуции с избыточностью. Но позволяет очень существенно сэкономить на закупках самого дорогостоящего инженерного оборудования – кондиционеров, чиллеров, ИБП, ЭПУ и ДГУ.

Что необходимо выполнить для обеспечения возможности «вертикального масштабирования» инженерной инфраструктуры: использовать решения по охлаждению, которые имеют принципиальные ограничения на уровне максимальных прогнозируемых значений. На конец 2012 г. это около 30 кВт на шкаф;

реализовать систему электроснабжения (прежде всего, вводно-распределительные устройства и распределительные щиты) на полную мощность или выполнить систему электроснабжения по двулучевой схеме. Так, чтобы потом, в процессе эксплуатации ЦОД, можно было бы отключать один из лучей без потери работоспособности ЦОД и выполнять реконструкцию всех ключевых компонентов системы, начиная с трансформаторов подстанции;

• выполнить прокладку всех транспортных магистралей («грязные» работы в помещении гермозоны) – трасс для кондиционирования, лотков для СКС и электроснабжения, рассчитав их емкость на полную мощность;
• предусмотреть в проекте этапность построения инженерной инфраструктуры и пути для транспортировки крупногабаритного оборудования;
• использовать инженерное оборудование с относительно небольшими мощностями единичных устройств.

В результате такого подхода можно на первом этапе закупать не все кондиционеры и ИБП, а только по два-три устройства (в зависимости от требуемого уровня резервирования). Так, для ЦОД на полную проектную мощность 600 кВт основного оборудования, в который в первый год эксплуатации запланирована установка оборудования всего на 60 кВт, достаточно будет поставить всего пару кондиционеров, пару ИБП или ЭПУ, которые, в свою очередь, «набить» минимальным количеством силовых модулей или выпрямителей. При таком подходе в бюджете первого этапа не будет 9 кондиционеров по 60 кВт и ИБП на мощность 540 кВт, ДГУ на мощность от 300 кВт.

Что касается резервного ДГУ, то можно идти по пути последовательного подключения новых машин на общую шину. А можно, что и надежнее, и дешевле, сегментировать зоны ЦОД, не вводя избыточные суммирующие и потом делящие элементы системы электрораспределения.

Не очень дорогостоящие системы, такие как системы газового пожаротушения, системы безопасности, привязаны к объемам помещения, но их стоимость не велика по сравнению с основным инженерным оборудованием. При необходимости можно даже на них сэкономить, проложив все необходимые сигнальные и электрокабели, но не устанавливая камеры видеонаблюдения, пока в них не возникнет необходимости.

Далее все основные системы можно наращивать по мере возникновения потребности. Установить, подключить к магистралям новый кондиционер в работающем ЦОД - не проблема, а уж дотянуть необходимые кабели СКС и разварить их - тем более.

Отдельно необходимо остановиться на реализации охлаждения, когда теплоносителем является пропиленгликоливые или этиленгликолиевые водяные смеси (далее – «чиллерная схема охлаждения»).

При использовании чиллеров при поэтапной реализации появится еще одна система дистрибуции холодоносителя, которую необходимо делать сразу на всю мощность. Однако это также не приводит к очень существенному удорожанию первого этапа, поскольку точно также можно сварить трубопроводные системы, поставить минимальный набор оборудования, а потом докупать и устанавливать сами чиллеры, внутренние теплообменники.

Коротко остановимся на реализации «растущего со временем» охлаждения . Классическая схема с напором холодного воздуха под фальшполом позволит эффективно отводить от шкафа до ~7 кВт тепла. Если требуется отводить до 15 кВт, то целесообразно использовать изоляцию холодного коридора, а если требуется отвести максимально 30 кВт, то наиболее рациональной схемой на сегодня будет организация изоляции холодного коридора с внутрирядными теплообменниками. Хотя это не единственный возможный вариант.

Есть мнение, что при использовании внутрирядных теплообменников существует риск локального перегрева в высоконагруженных шкафах, расположенных в непосредственной близости от конкретного теплообменника, который «остановился на отдых» или вышел из строя. В случае если не используется система изоляции холодного коридора, такой риск на самом деле есть, но если холодный коридор имеется, опасности практически нет. Изолированный холодный коридор представляет собой замкнутый объем, в который управляемые вентиляторы теплообменников накачивают ровно столько холодного воздуха, сколько необходимо. Вентиляторы серверов и коммутаторов забирают опять же столько воздуха, сколько необходимо для отвода тепла от микросхем. В случае отключения одного из внутренних теплообменников, остальные увеличат напор холодного воздуха в изолированный объем, система опять придет в равновесие. В проекте необходимо учесть, чтобы общая производительность вентиляторов теплообменников, без резерва, была выше производительности вентиляторов активного оборудования, а она прямо пропорциональна подводимой мощности.

При тепловыделении более 7 - 10 кВт на шкаф необходимо «бесперебойное охлаждение», иначе наиболее нагруженные шкафы, питающиеся от ИБП, за время пока резервные дизель генераторы выйдут на рабочий режим могут перегреться. Существует стереотип, что бесперебойное охлаждение можно реализовать только при использовании чиллеров. Да, при использовании чиллеров ставятся аккумуляторы холодоносителя, а насосы и внутренние теплообменники подключаются к ИБП. Но никто не запрещает подключить и обычные фреоновые кондиционеры или их часть к ИБП.

Рассмотрим альтернативу с точки зрения бюджета проекта. Во-первых, корректно рассматривать вариант, когда только часть фреоновых кондиционеров подключаем к ИБП. Такое подключение вполне корректно для сравнения, поскольку, когда рассчитывается время автономного охлаждения и емкость аккумуляторного бака для чиллера, практически всегда считается, что холодоноситель пройдет два круга, т. е. температура в ЦОД все равно поднимется до 26 - 30 градусов. Во-вторых, насосы и вентиляторы все равно необходимо запитать от ИБП. В-третьих, при сравнении «цены вопроса» почему-то за рамками рассмотрения остается общее увеличении цены чиллерной системы по отношению к фреоновой при одинаковой холодопроизводительности. Эта разница «спрятана» не в стоимости самого оборудования холодоподготовки, а в обвязке: в трубах, насосных группах, автоматике управления, тепллоомбенниках, насосах с частотными регуляторами, управляемых и не управляемых задвижках – вся эта обвязка существенно дороже, чем фреоновые трассы, ресиверы и зимние комплекты. И «лишний» ИБП, который потребуется для питания фреоновых кондиционеров, скорее всего, будет существенно дешевле, чем чиллерная схема в комплексе.

Вывод. Плавное наращивание мощности в комплексе с использованием масштабируемых схем охлаждения позволяет существенно сократить начальные инвестиции и обеспечить актуальность инженерной инфраструктуры в течение всего жизненного цикла ЦОД.

Фактор № 5. Уровень энергосбережения ЦОД

Энергосбережение является ключевым параметром для центров обработки данных, предназначенных для предоставления низкомаржинальных услуг массовым потребителям. Этот сегмент рынка уже занят международными гигантами. Массовому потребителю безразлично, где физически (в Ирландии, под Брюселем, в Неваде или в открытом океане) хранится его домашний фото- или видеоархив. Бороться за этот рынок фактически бессмысленно.

Неохваченным является сегмент приватных облаков и IaaS-услуг для компаний различного масштаба, для которых по тем или иным причинам размещение за рубежом проблематично. Но необходимо учитывать, что для этого сегмента важен уровень SLA. А серьезное энергосбережение – это прежде всего новые, не всегда апробированные технологии.

Существенного уровня энергосбережения можно добиться, используя тепловые насосы с глубинным геотермальным охлаждением, подземными теплообменниками или «засоленным бассейном». Неплохие результаты могут быть получены при использовании роторных теплообменников «воздух-воздух» или чиллеров с фрикулингом. Однако необходимо учитывать, что стоимость построения таких систем высока, а экономия на электроэнергии в нашей законодательной реальности не очевидна. Так, расчет окупаемости чиллера с фрикулингом по сравнению с фреоновым охлаждением для Автозала с мощностью активного оборудования в 250 кВт показывает, что дополнительные затраты окупятся за 50 лет эксплуатации.

Существует множество инновационных решений по сокращению энергопотребления. Некоторые, например, питание постоянным током, по умолчанию используются операторами связи. Многие «модные» решения пока не достаточно апробированы и мало применимы для предоставления услуг с гарантией SLA, а другие экономически не оправданы. Также необходимо учитывать, что применение новых, не проверенных решений – это всегда риск того, что в случае аварии время восстановления работоспособности практически не прогнозируемо. А резервировать инновационные решения традиционными способами - это существенный рост бюджета.

Вывод. Для автозалов и ЦОД оператора связи инновационные решения по энергосбережению - это неоправданные риски при неочевидной экономии.

Заключение

Несмотря на то, что выбор концепции ЦОД для оператора связи определяется множеством Факторов, основные рекомендации будут все же такими.

При выборе концепции ЦОД оператору связи не помешает здоровый консерватизм. Технологические решения, поддерживаемые в процессе эксплуатации широким кругом сервисных организаций, позволяют иметь стабильно работающую инженерную инфраструктуру ЦОД. Для оператора ЦОД особенно автозал - это производственный инструмент, а экстремальные эксперименты на производстве - не самый лучший выбор.

Использование решений, позволяющих плавно наращивать мощность ЦОД и производительность инфраструктуры по мере уточнения планов по наполнению, поможет сократить первоначальные инвестиции и продлить жизненный цикл ЦОД. А использование отдельных компонентов относительно небольшой мощности позволит избежать неоправданной избыточности.

Целесообразно дробить ЦОД на небольшие модули или отдельные изолированные гермозоны, рассчитанные на 400 – 2000 кВт общего потребления, и разносить их по разным городам. Это позволит реализовать центры обработки данных, необходимые для конкретных специфичных групп задач, и обеспечить безболезненную горизонтальную масштабируемость.

Поскольку современные технологии виртуализации и трафик инжиниринга позволяют обеспечивать гарантированную работоспособность сервисов при выходе из строя отдельных узлов, целесообразно рассматривать эксплуатационную доступность инженерной инфраструктуры конкретного объекта не изолированно, а в целом. Это даст возможность сократить требования к резервированию отдельных узлов и подсистем.

Все вышеперечисленное относится к «производственным» ЦОД оператора связи. Если же речь идет о решении других задач, приведенных в самом начале, например, реализации коммерческого ЦОД силами оператора связи, тут будут работать свои закономерности, но это отдельная большая тема.

Предыдущая новость:
Гибридные системы Следующая новость:
Уровень проникновения ИТ в бизнес уже велик