Схема ЦОД или, как не заблудиться в помещениях ЦОД.

Сегодня многие представляют, что такое центр обработки данных, но мало кто знает, как он устроен внутри. Мы попробуем описать это на понятном языке. Сразу стоит оговориться, что в качестве примера мы берем классический вариант ЦОД с разделением на холодные и горячие коридоры. Мы не рассматриваем иммерсионные ЦОД для размещения оборудования под ИИ – это отдельная вселенная, и о ней мы расскажем в последующих статьях.

Что такое дата-центр?

Дата-центр — это совокупность помещений и инженерных систем, обеспечивающих работу серверного оборудования, сетевой инфраструктуры и предоставление услуг с заданным SLA.

Ключевые параметры для каждой зоны: безопасность (физическая и логическая), электроснабжение и резервирование, охлаждение и контроль климата, пожарная безопасность, мониторинг и эксплуатационная готовность.

Серверные залы или машинные залы.

Это то, ради чего строится ЦОД. Здесь размещаются стойки с серверным и телекоммуникационным оборудованием. Ключевые требования: высокая несущая способность пола – как правило, используют фальшпол, под которым размещены инженерные системы и кабельные трассы.

Классический машинный зал разделен на холодные и горячие коридоры. В холодные подается воздух из систем охлаждения, горячие формируются за счет прохождения холодного воздуха через серверы. К каждой стойке подходят несколько (как правило, 4) PDU – это длинные консоли с розетками для подключения оборудования. Каждая из них подключена к отдельному лучу энергоснабжения, чтобы исключить потерю питания в экстренных ситуациях. Датчики контроля температуры и влажности, системы учета электроэнергии, контроль температуры и влажности (обычно 18–27 °C, относительная влажность 40–60%), системы центрального и локального мониторинга.

Meet‑Me Room (MMR)

Это специализированные помещения с сетевым оборудованием, где расположены точки стыковки провайдеров связи, клиентов и коммутационного оборудования дата-центра. Фактически, это место для перекрёстного подключения (cross-connect).

Ключевые требования к MMR: высокий уровень физической и логической безопасности, изолированные оптические распределительные панели (ODF), стойки для коммутаторов и маршрутизаторов, удобный доступ для подключения канальных трасс и резервирования каналов.

Помещение сетевых инженеров - NOC (Network Operations Center)

Это не менее важное место. Здесь расположены сетевые специалисты, системные администраторы и дежурные службы. Фактически, это центр мониторинга и управления инфраструктурой.

Нужно различать специалистов, отвечающих за связность и работу оборудования с точки зрения коммутаций и коннективности и инженеров ЦОД, которые отвечают за работу всей инфраструктуры центра обработки данных. Это разные службы, и задачи у них разные. Последним, кстати, также требуется помещение.

Помещение для аккумуляторных батарей

Здесь размещаются батареи, необходимые для кратковременной работы ЦОД в момент переключения с общего ввода на ДГУ.

Это отдельная огнестойкая зона с контролем вентиляции и температуры, а также системой мониторинга состояния батарей. Важно помнить, что батареи имеют особые требования к вентиляции и защите от утечек электролита. Достаточно часто их размещают на отдельной площадке, в максимальной удаленности от машинных залов и другой критической инфраструктуры.

Главный распределительный щит (ГРЩ)

ГРЩ - это одно из самых значимых помещений ЦОД. Здесь осуществляется ввод и первичное распределение электрической энергии по объекту. Здесь же располагаются автоматические выключатели ввода. К данному помещению применяются строгие требования норм электро- и пожарной безопасности.

Комната ИБП (UPS Room) и силовое распределение

В этом помещении размещены модули ИБП, выпрямители, шины, распределительные шкафы (RPP), конденсаторы и системы управления. Поэтому часто данное помещение граничит или является одним целым с ГРЩ (ГРЩ/ИБП).

Основные требования: физическая защита, фазировка и балансировка, доступ для обслуживания, охлаждение.

Помещения систем пожаротушения и обнаружения (АУГПТ)

Здесь располагаются специализированные газоразрядные рампы, которые при возникновении пожара в одном из помещений ЦОД активируются автоматически.

В дата-центре используются газовые системы пожаротушения, вытесняющие кислород, так как использование других систем негативно воздействует на дорогостоящее серверное оборудование.

Основные требования: разделение зон, предотвращение ложных срабатываний, интеграция с BMS, СКУД и системами отключения питания.

Чиллеры и насосы

Данные системы, как правило, располагают на крыше. Там размещают все основные компоненты управления холодоснабжением (чиллеры, охладительные башни), насосы и теплообменники. Основные требования: шумозащита, виброизоляция и контролируемая среда.

Кабельные трассы

При проектировании ЦОД крайне важно уделить внимание организации кабельных магистралей и межзональных кабельных соединений (электрических, оптических и слаботочных).

Основными требованиями являются: разделение силовых и слаботочных трасс, резервирование мест, маркировка, а также обеспечение доступа для прокладки и ремонта.

Зона приёма оборудования

Как правило, это или докшелтер, или достаточные по размерам ворота с разгрузочной площадкой, где можно осуществлять погрузочно-разгрузочные работы не только серверного, но и инфраструктурного оборудования ЦОД. Ключевым требованием является близость к складским помещениям, достаточная прочность конструкций пола, подъемная платформа для комфортной погрузки и разгрузки.

Склад временного хранения

Это помещение, в которое оборудование передается на временное хранение после разгрузки, особенно в холодное время года. Особых требований к помещению нет, за исключением достаточной площади, рассчитанной нагрузки на пол и хорошей вентиляции.

Склад длительного хранения

Это классический склад для хранения оборудования, внутреннего ЗИП, отдельных блоков и компонентов, инструментов и других материалов, используемых в повседневной работе ЦОД.

Частая ошибка – под склад выделяется мало места или транспортные пути не оптимальны. Поэтому следует учесть эти факторы сразу, на этапе объёмно-планировочных решений.

Помещения для работы с оборудованием

Это помещения с комфортными условиями пребывания, оборудованные набором инструментов для работы с оборудованием. Как правило, они необходимы приходящим специалистам для работы со своим оборудованием, так как длительное пребывание в машинном зале некомфортно из-за температуры и акустики.

Офисные и вспомогательные помещения

К ним можно отнести: помещения для персонала, помещения для постоянного размещения представителей клиентов, комнаты для совещаний, санузлы, комната отдыха. При проектировании ЦОД необходимо четко продумывать «пути следования клиентов» и стараться минимизировать пересечения с движением персонала.

 

 

Внешняя инфраструктура ЦОД

Высокая сторона (вводы энергоснабжения)

Это одно из основополагающих помещений ЦОД. Сюда приходят кабели (энерговводы) от источника электричества. Поставщиком может выступать ТЭЦ или иной участник рынка электроэнергии, обладающий достаточной энергетической ёмкостью.

Для ЦОД Tier 3 и выше необходимо иметь два независимых энерговвода от разных фидеров (станций) для обеспечения резервирования.

Трансформаторные и распределительные подстанции (РП/ТП)

Назначение: понижение, повышение и распределение напряжения; трансформаторы для питания внутренней сети. Данную подсистему, как правило, выносят за рамки основного здания, но есть и дата-центры, где она включена в периметр. Основные компоненты: трансформаторы, распределительные устройства высокого и низкого напряжения, защитная автоматика.

Безусловно, основным требованием является соблюдение всех правил организации и работы на объектах с высоким напряжением, организация молниезащиты, безопасные проходы для обслуживания.

ДГУ (дизель-генераторная установка) и топливный комплекс

Дизель-генераторные установки обеспечивают автономное энергоснабжение при утрате внешнего питания. Одним из важных условий является наличие топливохранилища, которое позволяет моментально запустить ДГУ и работать в аварийном режиме не менее 7 часов.

Основные компоненты: ДГУ, топливные баки, система автоматического запуска (ATS/AMF), система выхлопа и система шумозащиты.

 

Мы не будем подробно описывать общие системы: СКУД, периметральное и внутреннее видеонаблюдение, системы мониторинга и управления (BMS, SCADA) и другие. Равно как нет смысла писать, что необходим качественный транспортный подъезд, зарядки для электромобилей, посты охраны, возможность грузовой доставки, возможность работы многотонных подъемных кранов и так далее.

Здесь мы перечислили базовые помещения, без которых ЦОД не может нормально функционировать. И все они, равно как и вспомогательные системы, должны быть запроектированы и описаны еще на стадии Концепции (технического задания). Так как реализация каждой системы является достаточно ощутимым CAPEX для инвестора, и стоимость исправления ошибок, допущенных при проектировании в активной фазе строительства или на стадии эксплуатации, крайне высока.

ЦОД ЭКСПЕРТ обладает большим опытом проектирования центров обработки данных и, что самое ценное, опытом эксплуатации таких объектов. Мы знаем, как запроектировать ту или иную систему так, чтобы её было комфортно и недорого содержать.