Ответ на непростой вопрос

23 апреля 2014 г. | Никишин Алексей

На вопрос рубрики отвечает Алексей Никишин, руководитель отдела сопровождения продаж компании «АМДтехнологии». Специализация компании охватывает широкий перечень услуг по проектированию, строительству, монтажу и пусконаладке центров обработки данных, аудиту проектов и инженерных систем ЦОДа, а также поставку инженерного оборудования и сервисное сопровождение инженерных систем. Компания консультирует и предлагает услуги электролаборатории. 

Клиент планирует строительство крупного корпоративного дата-центра. При выборе системы охлаждения остро встал вопрос: на какой температурный диапазон стоит ориентироваться? С одной стороны, нужно максимально улучшить PUE и уменьшить операционные затраты, с другой — обеспечить функционирование любого оборудования клиента. Какой температурный диапазон стоит выбрать, по вашему мнению, и почему?

Вопрос непростой, а потому и ответ на него не будет однозначным и кратким.

Если заказчик хочет руководствоваться только отечественными нормами и правилами, то в СН 512-78 «Инструкция по проектированию зданий и помещений для электронно-вычислительных машин» в таблице Приложения «Температура, относительная влажность и скорость движения в рабочей зоне помещений» приведены оптимальные и допустимые диапазоны температуры и относительной влажности как для холодного, так и для теплого периода года.

Если же заказчик хочет при выборе температурного диапазона руководствоваться последними изысканиями в этой области, то ему следует ознакомиться со Спецификацией «Рекомендации по температуре в ЦОД — дополнительные классы ЦОД и руководство по их использованию (2011)», подготовленной техническим комитетом (ТС) 9.9 ASHRAE (США). Эта Спецификация в 2011 году претерпела уже третью редакцию. Первые были в 2004-м и 2008-м.

Начиная со второго издания «Рекомендаций…», датируемого 2008 годом, целью рекомендованного диапазона климатических требований стало обеспечение владельцев и операторов ЦОДов руководством по поддержанию высокого уровня надежности, а также эксплуатации дата-центров наиболее эффективным образом. Этот диапазон был создан для общего пользования во всех типах коммерческих предприятий и при любых условиях окружающей среды. Тем не менее авторы документа подчеркивают, что другие диапазоны климатических требований могут быть более подходящими для тех или иных организаций и климатических условий. 

Первым проектом комитета TC 9.9 стала публикация спецификации «Рекомендации по температуре в ЦОД». До создания комитета TC 9.9 каждый производитель коммерческого ИТ-оборудования публиковал свою собственную спецификацию климатических требований. Типичные ЦОДы работали в температурном диапазоне 20–21 °C, исходя из общего представления «чем больше холода, тем лучше». В большинстве ЦОДов использовалось оборудование нескольких производителей, в результате чего температура окружающей среды по умолчанию устанавливалась в соответствии с наиболее строгими требованиями к температуре со стороны имеющихся типов и моделей ИТ-оборудования; в дополнение к этому учитывался коэффициент запаса прочности.

TC 9.9 получил неофициальное согласие большинства производителей коммерческого ИТ-оборудования на введение как «рекомендованных», так и «допустимых» диапазонов температуры и относительной влажности, а также четырех климатических классов, из которых два относятся к ЦОДам. Еще одним важным достижением комитета стало использование единой точки измерения температуры и влажности воздуха на входе в ИТ-оборудование как общей точки замеров на соответствие диапазонам температуры и относительной влажности.

Измерения, выполненные в любом другом месте ЦОДа, были признаны необязательными, факультативными.

Общая заинтересованность в расширении диапазонов температуры и относительной влажности возрастает, что обусловлено желанием достичь более высокой эксплуатационной эффективности ЦОДа (PUE) и более низкой совокупной стоимости владения (TCO). В 2008 году TC 9.9 пересмотрел требования классов 1 и 2 в сторону уменьшения. В приведенной ниже таблице дается сводка действующих рекомендаций по температуре и относительной влажности, которые были опубликованы в 2004 и 2008 годах.

Расширение диапазонов температур и относительной влажности увеличило возможности использования охлаждающих устройств без компрессора. Как правило, оборудование, выбираемое для ЦОДа, должно удовлетворять требованиям классов 1 или 2. 

С целью улучшения показателя PUE комитет создал дополнительные климатические классы, а также рекомендации по использованию существующих и новых классов. Расширение возможностей ИТ-оборудования, которые позволят ему удовлетворять более широким климатическим требованиям, может изменить параметры надежности, электропотребления и производительности этого оборудования, и в указанном документе даются рекомендации по соответствующему использованию этих возможностей.

Другое важное изменение в редакции 2011 года связано с классами центров обработки данных. Раньше ИТ-оборудование в ЦОДах делилось на два класса — 1 и 2. В новой Спецификации их стало больше, что позволяет использовать разные системы и приоритеты в эксплуатации ИТ-оборудования. Соответствие определенному климатическому классу требует полнофункциональной безотказной работы оборудования во всем диапазоне допустимых климатических условий.

Эти новые рекомендации разрабатывались главным образом для того, чтобы снабдить владельца, проектировщика, оператора ЦОД как можно большим количеством информации, которая позволит им выбирать, проектировать и работать в наиболее энергетически эффективном режиме и в то же время добиваться уровня надежности, требуемого данным предприятием. Два новых класса ЦОДов созданы для достижения наибольшей гибкости в управлении данным дата-центров. Четыре класса ЦОДов, в том числе два новых (A3 и A4), показаны на приведенной ниже психометрической диаграмме.

Классы A3 и A4, предложенные ASHRAE, добавлены с целью расширения диапазона климатических требований ИТ-оборудования. Классы A1, A2, B и C идентичны классам 1, 2, 3 и 4 в версии 2008 года. Остался неизменным и диапазон рекомендованных климатических требований той же редакции.

Класс A3 расширяет температурный диапазон от 5 до 40 °C и диапазон значений относительной влажности от 8% и -12 °C DP до 85%.

Класс A4 еще больше расширяет диапазон допустимых температур и влажности по сравнению с классом A3. Температурный диапазон расширяется от 5 до 45 °C, а относительная влажность — от 8% и 12 °C DP до 90%.

Можно спросить, почему теперь рекомендованный диапазон климатических требований занимает отдельную строку. Были некоторые ошибочные представления, касающиеся использования этого рекомендованного диапазона. При первом его создании предполагалось, что в его рамках можно добиться наиболее надежной, приемлемой и разумной эксплуатации с точки зрения энергетической эффективности. Для создания рекомендованного диапазона использовались данные производителей. И никогда не предполагалось, что этот диапазон будет охватывать абсолютные граничные значения температуры и влажности входящего воздуха для ИТ-оборудования. 

Как указывается в «Рекомендациях…», рекомендованный диапазон определяет граничные значения, при которых ИТ-оборудование будет работать наиболее надежно и в то же время обеспечивать определенный разумный уровень энергетической эффективности ЦОДа. Однако, как говорилось в тех же «Рекомендациях…», для того чтобы можно было с целью экономии энергии как можно больше времени использовать экономайзеры в течение определенных месяцев в году, требования к воздуху на входе сервера могут превышать пределы рекомендованного диапазона, но все-таки оставаться в рамках допустимого диапазона. 

В «Рекомендациях…» также указывается, что оборудование может работать за пределами рекомендованного диапазона в течение коротких периодов времени без того, чтобы это причиняло какой-либо ущерб общей надежности и функционированию ИТ-оборудования. К сожалению, некоторые по-прежнему ошибочно считают значения рекомендованного диапазона обязательными.

В «Руководстве…» описывается значение двух ключевых факторов (отношение надежности и электропитания к температуре окружающей среды), которые стали причиной введения рекомендованного диапазона, а также некоторые другие серверные характеристики, позволяющие рассчитать диапазон, в наибольшей степени отвечающий коммерческим и техническим требованиям заказчика. В документе также предоставлена информация о взаимодействии этих факторов и температуры входящего воздуха, что позволяет операторам ЦОДа решать, насколько оптимально они смогут работать в пределах данных допустимых диапазонов. 

Большинство потенциальных мест размещения ЦОДов в мире соответствуют классам А3 и А4, что предполагает практически круглогодичное использование фрикулинга. Новые дата-центры могут работать без чиллеров, что влечет снижение капитальных затрат, в то время как другие ЦОДы могут снабжаться чиллерами для обеспечения круглогодичной доступности ИТ-сервисов. Дополнительно введенные классы предоставляют различные варианты использования и приоритеты при эксплуатации оборудования. 

Каждый ЦОД должен быть оптимизирован под задачи его собственника или оператора. И, несмотря на множество потенциальных преимуществ от использования классов А3 и А4, необходимо взвесить все за и против, учитывая возможный ущерб. 

В приведенной ниже таблице обобщены основные характеристики и потенциальные возможности, которые необходимо рассматривать при расчете оптимального рабочего диапазона каждого ЦОДа.

Набор опций, рассматриваемых при оптимизации электропотребления

При этом следует помнить и принимать во внимание следующее.

1. Некоторые модули CRAC/CRAH имеют ограничение по температуре рециркулирующего (возвратного) воздуха до 30 °C.

2. При хорошей системе управления воздушными потоками температура сервера может увеличиваться приблизительно на 20 °C; при этом если температура входящего воздуха равна 40 °C, то температура воздуха в «горячем» коридоре может достигать и 60 °C;

3. Типы ЦОДов влияют на требования надежности и доступности.

Сопоставив описанные выше характеристики с возможностями дата-центра, можно выполнить общие шаги, необходимые для установки диапазонов температур и значений относительной влажности этого ЦОДа:

— оценить технологическое состояние ЦОДа. Реализация большинства современных технологий является необходимым условием перехода на использование серверов с более высокой температурой входящего воздуха; сюда входит система управления воздушными потоками, а также стратегия управления системами охлаждения;

— определить максимальный допустимый класс (ASHRAE) из 2011 ASHRAE Classes, основываясь на обзоре климатических спецификаций всего ИТ-оборудования;

— использовать рекомендованный рабочий диапазон или, если требуется большая экономия энергетических затрат, определить рабочий диапазон с помощью приведенной ниже информации:

а) сведения о региональном климате (только при использовании экономайзеров),

б) электропитание сервера в зависимости от температуры окружающей среды,

в) уровни шума в ЦОДе в зависимости от температуры окружающей среды,

г) надежность сервера в зависимости от температуры окружающей среды,

д) надежность сервера в зависимости от влажности, загрязненности и других климатических характеристик,

е) производительность сервера в зависимости от температуры окружающей среды,

ж) стоимость сервера в зависимости от температуры окружающей среды.

Введение дополнительных классов ЦОДов серьезно усложняет для владельца или оператора дата-центра процесс принятия решений, связанных с повышением энергоэффективности, уменьшением совокупной стоимости владения, решением проблем надежности и повышением производительности. Оптимизация дата-центра представляет собой сложную задачу со многими величинами, успешное выполнение которой требует детального инженерного анализа. Оценку альтернативного рабочего диапазона следует делать только на основе выборки соответствующих данных и знания взаимодействий (параметров) в ЦОДе. Текущее и планируемое значение каждого параметра может приводить к разным конечным результатам оптимизации дата-центра.

Теги: Алексей Никишин, АМДтехнологии