ЦОД без ошибок

05 марта 2015 г. | Панов Александр

На этапе создания дата-центра нередко возникают ошибки, чреватые последствиями для бизнеса. Об этом хорошо знают те, кто не только руководит бизнесом, но и когда-либо занимался проектом строительства ЦОД. Своими рекомендациями делится Александр Панов, партнер и генеральный консультант по интернет-технологиям компании Contact Expert. 

Самая первая ошибка — когда тот, кто строит ЦОД, не имеет конкретной цели, не знает, что он будет дальше делать с этим объектом. Такое нередко встречается: инвестор просто вкладывает деньги, не понимая отчетливо, какая модель бизнеса будет развернута, что за услуги будет продавать этот ЦОД и какие клиенты будут их покупать. А между тем, бизнес-процессы должны быть спроектированы еще до этапа строительства.

ЦОДы бывают разные: кто-то продает готовые услуги по размещению оборудования в стойках с подключением; кто-то — вычислительные мощности для предоставления услуг хостинга. Одни операторы услуг дата-центров делают ставку на широкий выбор присутствующих в ЦОДе телекоммуникационных операторов (нейтральный ЦОД), другие — напротив, ограничивают такой выбор.

Для решения различных бизнес-задач также необходимо использовать разные технические решения с точки зрения соотношения между стоимостью и функциональными возможностями. Также очень важно изначально провести демаркационную линию, четко обозначающую, где заканчивается зона ответственности ЦОДа, а где начинается соответствующая зона провайдера услуг, клиента или собственного заказчика. Все это должно быть четко зафиксировано в документах еще до начала проектирования и строительства.

От того, какая модель бизнеса будет реализована в дата-центре, зависит и выбор оборудования на этой площадке. Например, очень часто при проектировании ЦОДа во главе угла стоит вопрос об электрических мощностях, охлаждении и т. п. Но когда ЦОД построили, выясняется, что завести волоконно-оптические линии в него можно только единственным маршрутом. И в результате всякие схемы резервирования питания или прочие меры отказоустойчивости просто не имеют смысла, потому что слабое звено находится в другом месте, но именно оно и повлияет на выбор клиентов.

Подход к строительству

Вообще-то, в строительстве ЦОДа нет абсолютно ничего сложного. И самостоятельно построить качественный ЦОД любого уровня сложности при наличии денег вполне возможно.

Как только размер строящегося ЦОДа начинает превышать 200 стоек, становится существенно выгоднее не привлекать никаких интеграторов, а всю возможную работу по проектированию и строительству выполнять силами собственной команды (естественно, это зависит от возможностей команды; но, по крайней мере, от заказа под ключ уж точно выгоднее отказаться). Гермозону, например, могут сварить и обычные рабочие из дружественных азиатских республик. Другое дело, что технологически сложные работы им нельзя доверять.

Много неприятных последствий влечет за собой неправильный выбор поставщиков ключевого оборудования для ЦОДа. Если, например, при строительстве ЦОДа компания останавливает выбор на традиционных статических источниках бесперебойного питания, то перед тем, как выбирать поставщика, нужно не полениться и тщательно проверить качество входной электросети. При этом следует подключить соответствующие устройства под реальной нагрузкой и выполнить мониторинг. И только в зависимости от полученных показаний можно будет принимать решение о поставщике ИБП.

Выбор того или иного типа ИБП связан с тем, что многие системы инверторного типа способны полностью выключиться при резких всплесках напряжения, и, соответственно, нагрузка может быть полностью потеряна, — она просто не перейдет на батарею.

Выбор технологии ИБП должен определяться в зависимости от того, какого типа помехи бывают в сети. С точки зрения помех трансформаторные ИБП надежнее. Но в плане энергоэффективности к ним есть претензии: такой ИБП потребляет дополнительную мощность на трансформатор. Бестрансформаторные инверторы экономичнее в эксплуатации. После мониторинга сети перед монтажом нужно проверить состояние понижающего трансформатора, с которым планирует работать дата-центр. В случае необходимости его можно просто заменить — не так уж это и дорого.

Профессиональные трюки

При проектировании инженерных систем часто закладывается уровень резервирования N+1, N+2, 2N и проч. Производители наперебой расхваливают свое оборудование, работающее в отказоустойчивых схемах. На самом деле 50 % такой информации — это маркетинговые трюки. Именно в этот момент надо вернуться к вопросу: с какой целью строится дата-центр, под какую задачу? Можно заложить какой угодно уровень резервирования, оснастить дата-центр дорогостоящим оборудованием… А можно использовать модульные ИБП без резервирования, которые в случае отказа позволят выключить только одну стойку. А на этапе строительства будут сэкономлены существенные средства.

При выборе источников бесперебойного питания очень важно правильно спроектировать электрическую схему, которая должна предоставить возможность горячей замены любого источника без отключения питания ЦОДа. Этот вопрос решается на стыке проектирования системы электропитания и системы распределения электричества.

Если речь идет о предоставлении современных облачных услуг хостинга, то следует провести границу между вычислительными мощностями и системами хранения данных. В каких-то случаях сервер можно включать в розетку вообще без ИБП, потому что в случае сбоя по питанию вычислительная мощность выключится, но затем перезагрузится за доли секунды, и ничего страшного не произойдет. А вот для системы хранения отказ по питанию чреват потерей части информации.

Поставляемое оборудование может оказаться бракованным, из-за чего в ЦОДах случаются инциденты. Как правило, источником пожаров является клиентское оборудование. Но если в случае замыкания на клиентском оборудовании помехи распространяются на оборудование других клиентов, значит, была допущена ошибка при проектировании системы распределения электропитания.

Важный момент — энергопотребление самой стойки. Эту задачу надо решать опять же в зависимости от того, какое оборудование там будет размещено. Приведу пример: довольно большое количество ЦОДов предлагает стойки с электропитанием 5 кВт на стойку. Если в стойке планируется разместить провайдерское оборудование, то надо принять во внимание, что провайдер не может заполнить больше половины стойки.

Не менее серьезный вопрос — охлаждение. От выбора технологии зависит, какие условия по размещению оборудования будут предоставлены клиентам, и сколько денег будет сэкономлено. «Яндекс» для своего ЦОДа заказал серверное оборудование, которое может работать при повышенной рабочей температуре, — это сэкономило российскому флагману ИТ-отрасли огромное количество денег.

В ЦОДах всего мира широко применяются технологии фрикулинга, которые позволяют использовать температуру окружающего воздуха. То же самое справедливо и в отношении технологии тепловых насосов, которые являются идеальным способом экономии электричества на охлаждении. В нашем климате при правильном проектировании системы охлаждения на каждый киловатт потребляемого оборудованием электричества на охлаждение можно потратить не выше 40 Вт, но только для этого проектировщикам нужно «включить голову».

Стоит обратить пристальное внимание и на систему пожаротушения. Странно, но в России практически не встречаются системы пожаротушения тонко распыленной водой (HI-FOG). Технология позволяет довольно серьезно сэкономить на процессе эксплуатации и пожаротушения. При создании системы пожаротушения изначально должен быть поставлен вопрос: для каких целей она будет использована? Если стоит задача быстро погасить возникший пожар — это один сценарий. Другое дело, если стоит цель не допустить пожара.

Есть дата-центры, где гермозона выполнена с двойным шлюзованием, содержание кислорода — в диапазоне от 16 % до 18 %, соответственно, человек нормально дышит, гипоксии не возникает, оператор может совершенно спокойно работать, но пожар невозможен в принципе, так как горение начинается при содержании кислорода выше 18 %. В сравнении с углекислым газом азот стоит гораздо дешевле. Однако в этом случае потребуется герметичность.

В отношении резервных источников питания типа дизель-генераторов возникает еще одна проблема — это учет полной реактивной нагрузки. В ситуации, когда ЦОД обесточен и надо включить рубильник, возникает вопрос: выдержат ли автоматы пусковые токи питания нагрузки, которая носит ярко выраженный нелинейный характер? Ведь серийные ДГУ отечественного и зарубежного производства предназначены для питания нагрузки, которая потребляет ток с небольшим коэффициентом нелинейных искажений. Поэтому предстоит серьезная предварительная работа по расчету параметров системы электропитания.

Для решения этой задачи существуют различные подходы, один из которых — разделение схем подключения оборудования. Например, системы охлаждения могут иметь резервное питание от различных дизель-генераторов, тогда при запуске их схемы будут работать независимо друг от друга.

Еще один совет: традиционные кондиционеры не имеет смысла «сажать» на одни и те же источники бесперебойного питания. Просто нужно тщательно спроектировать и реализовать системы плавного пуска.

Наконец, следует помнить, что поставщик (дистрибьютор) должен обладать достаточными ресурсами оперативной замены вышедшего из строя оборудования. А при выборе марки оборудования стоит ориентироваться на репутацию изготовителя.

Тотальная автоматизация

В принципе, если строить ЦОД ближе к электростанции, появляются значительные резервы для экономии. Но есть причина, по которой ЦОДы в регионах пока не очень востребованы российским рынком — сам рынок до конца не сформирован. Проблема в том, что у нас в России не существует оператора контент-услуг, который бы полностью, на 100 %, автоматизировал свои технологии таким образом, чтобы ему было все равно, где он находится. Для этого нужны инвестиции.

В большинстве западных компаний, работающих на этом рынке, срок возврата инвестиций от вложения в проект достигает 10‒15 лет. Они работают на «длинных» деньгах, но зато услуги полностью автоматизированы, все расходы сбалансированы. А отечественным операторам хочется окупить проект года за три. Иногда это получается, но, как правило, компании, которая окупила свой ЦОД за три года, очень тяжело пережить пятилетний рубеж. Рынок удаленных платформ у нас в стране пока до конца не сформирован. Но как только эта проблема будет решена, станет абсолютно все равно, где строить ЦОДы. А задачи, которыми надо заполнять ЦОДы, есть. Вопрос в том, что нужно инвестировать в создание ЦОДа, который будет изначально работать по несколько другим принципам. Вспомним фразу с долларовой банкноты: Because of the customer we exist. А рынок есть, и он уверенно растет.