Как устроен суперкомпьютер

Подобно тому, как человеческому мозгу нужно тело, суперкомпьютерам нужно «супертело».
Дмитрий Мамонтов
Дмитрий Мамонтов
Как устроен суперкомпьютер

За полвека история вычислительной техники совершила почти полный виток, пройдя путь от больших мейнфреймов с пользовательскими терминалами к персональным компьютерам, а затем вновь вернувшись к очень похожей концепции — облачным вычислениям. Этому немало способствовало быстрое развитие технологий в области связи и тенденция к миниатюризации носимых устройств. Сейчас, вместо того чтобы обрабатывать сложные вычислительные задачи на компактном и потому ограниченном в возможностях ноутбуке или смартфоне, проще, быстрее и дешевле передать исходные данные по широкополосным каналам на значительно более мощный облачный сервер, а потом по тем же каналам скачать готовый результат.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Но мало кто задумывается о том, что облачные суперкомпьютеры, выполняющие в такой схеме роль мозга, нуждаются, подобно настоящему мозгу, в поддержке «тела» — специальной инфраструктуры центра обработки данных (ЦОД). «Эта инфраструктура создает комфортные условия для работы компьютеров, — объясняет "TechInsider" заместитель генерального директора, руководитель направления центров обработки данных компании КРОК Руслан Заединов. — ЦОД обеспечивает вычислительные мощности энергией, защищает от возгорания, перегрева, пыли и статического электричества».

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Правильное питание

Масштабы ЦОД можно измерять разными единицами — например, квадратными метрами площади машинных залов. Однако среди специалистов приняты другие единицы — это мегаватты потребляемой мощности. «Наш 8-МВт ЦОД "Компрессор" — один из трех самых крупных в России, хотя Сбербанк сейчас строит свой 25-МВт ЦОД, — говорит Руслан Заединов. — Конечно, эти масштабы несравнимы, скажем, с 250-МВт американским ЦОД SuperNAP в Неваде».

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Всю эту мощность ЦОД должен обеспечивать непрерывно — в «Компрессоре» используется два независимых ввода по 4 МВт каждый. Однако и сам ЦОД имеет мощную энергетическую структуру — в случае сбоя внешнего питания система энергоснабжения переключается на работу от источников бесперебойного питания (ИБП), работающих от гелевых свинцово-кислотных аккумуляторов.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Их задача — продержаться всего несколько минут, пока не выйдут на рабочий режим постоянно прогретые до рабочей температуры дизельные электростанции (ДЭС) — в «Компрессоре», например, их семь, каждая мощностью 2 МВт. 60-кубовые баки с дизтопливом обеспечивают автономную работу центра в течение суток, хотя при такой работе возможна дозаправка, расширяющая этот срок до любых пределов.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Приятная прохлада

Примерно 30% потребляемой мощности идет на охлаждение компьютерного оборудования. «Крупные центры обработки данных активно внедряют энергоэффективные технологии, — говорит Руслан Заединов. — Ведь экономия всего в 1% в конечном итоге сберегает миллионы долларов в год. Скажем, традиционная температура в машинных залах — 22 °C, однако сейчас наблюдается тенденция к повышению этого значения, что позволяет экономить энергию на охлаждение. Ведь компьютерное оборудование вполне надежно функционирует при температурах и свыше 30 градусов».

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

В ЦОД «Компрессор» используется двухконтурная жидкостная система охлаждения, с водой во внутреннем контуре и раствором этиленгликоля во внешнем. А некоторые особенности конструкции позволяют сэкономить весьма значительное количество энергии — скажем, при температуре ниже +5°С используется только «фрикулинг», то есть просто циркуляция охлаждающей жидкости, отдающей тепло радиаторам охлаждения на крыше, — в московском климате это более половины всего времени, и лишь при более высокой температуре подключаются кондиционеры.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

«Компрессор» оснащен также аккумулятором холода — цистерной, содержащей 90 т воды. «При сбое внешнего питания, пока запускаются и выходят на рабочий режим дизель-генераторы, от аккумуляторов ИБП работает не только компьютерное оборудование, но и система охлаждения, — объясняет Руслан Заединов. — Но не вся — чтобы не создавать избыточную нагрузку на систему питания в этом режиме, внешние блоки кондиционеров (чиллеры) не работают, и охлаждение осуществляется только за счет циркуляции воды и ее перемешивания с большой массой холодной воды».

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

На страже огня

Поскольку в ЦОД находится большое количество источников тепла, центр оснащен системами пожаротушения. В обитаемых помещениях и коридорах это обычные спринклеры, разбрызгивающие воду, а вот в машинных залах такой способ гашения огня неприемлем — вода может нанести электронной аппаратуре серьезный ущерб, который значительно превысит ущерб от пожара.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
Как устроен «Компрессор»
Как устроен «Компрессор»
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Поэтому в машинных залах используется система подачи специального газа (инергена), вытесняющего кислород. Поскольку такая система потенциально опасна для персонала, срабатывает она не сразу, а только после того, как система пожарной сигнализации, основываясь на данных, поступающих от датчиков дыма и температуры, выдаст сигнал о возгорании на диспетчерский пульт ЦОД и получит подтверждение от дежурного, что в машинных залах нет людей (в штатном режиме их там быть не должно).

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Но до огня, скорее всего, дело даже не дойдет: «Компрессор» оснащен химическими датчиками системы раннего обнаружения возгораний, реагирующими буквально «на запах», а точнее — на продукты разложения полимерной изоляции при перегреве. Эта система обнаружит и поднимет тревогу задолго до того, как из оборудования появится первый дымок, а в итоге сбережет аппаратуру и предотвратит более крупный ущерб.