Заводы данных
ЗАВОДЫ ДАННЫХ
Не так давно каждая компания строила свой собственный центр обработки данных, или серверную. Неудивительно, что с этим часто возникали проблемы: для серверов не хватало помещений, энергии, вычислительной мощности или объема жестких дисков. В ответ на запрос появились первые коммерческие центры обработки данных, ЦОДы, куда компании начали ставить свои стойки и оборудование. Через некоторое время стало понятно, что можно арендовать не место в ЦОДе, а его оборудование — по сути, виртуальную инфраструктуру, причем по мере роста запросов клиента услугу легко масштабировать. Так появились облачные технологии.
Самые продвинутые клиенты сегодня потребляют даже не вычисления или терабайты в облаке, а уже готовые компоненты — например, берут не просто виртуальную машину, а базу данных как сервис. Возможно, вычисления по сей день концентрировались бы в гигантских центрах, если бы не развитие технологий виртуальной и дополненной реальности, телемедицины, HD-видеосервисов и онлайн-игр, требующих минимизации задержек между потребителем и услугой, — такой класс называется «граничные вычисления». Поэтому у МТС есть целый спектр центров обработки данных: огромные ЦОДы в Москве, множество региональных ЦОДов, которые строятся или планируются в каждом крупном городе, а также решения по микроЦОДам, когда площадка создается недалеко от клиента, чтобы вычисления происходили рядом с ним.
С развитием граничных вычислений структура центров обработки данных станет динамичной. Критически требовательные к времени задержки приложения будут работать в небольших ЦОДах в непосредственной близости от клиента — может, даже в подъезде. Приложение, запущенное в облаке, за миллисекунды развернется из ближайшего ЦОДа, а когда потребность отпадет, снова свернется и отправится в большой ЦОД подальше, освобождая место в локальном центре. Такие приложения сейчас только появляются, но скоро станут столь же привычными, как мобильная связь.
Система охлаждения дата-центра GreenBushDC
КАК В КРЕПОСТИ
Центры обработки данных защищены от всех неприятностей — они продолжат функционировать после любой катастрофы. Например, кабелей питания здесь как минимум два, они заходят в здание с разных сторон, причем идут от разных независимых поставщиков электроэнергии.
Третий уровень защиты — источники бесперебойного питания с двойным резервированием аккумуляторной батареи, которые позволяют ЦОДу перейти с городской электроэнергии на дизель, не прерывая обслуживания клиентов. Не менее важен и подвод волоконно-оптических линий связи. Их две, они независимые и входят с разных сторон площадки, чтобы исключить случайности типа «экскаватор, копая, перерубил линию».
Второй эшелон обороны — системы гарантированного электроснабжения, дизель-генераторные подстанции, которые автоматически включаются в работу в случае проблем с энергосетями. Дизель-генераторы построены по схеме 2N: один основной и один резервный на случай неисправности. Плюс запас дизельного топлива на 24 часа. Почему только на сутки? Этого времени достаточно, чтобы подъехал топливозаправщик и пополнил емкости.
Вообще, в центрах обработки данных многое задвоено: два дизеля, два ИБП, две линии питания серверов, две линии связи. Это нужно не только для предотвращения аварий, но и для обслуживания и ремонта оборудования без деградации сервиса. Клиент не должен заметить, что в ЦОДе идут какие-то работы.
Электрощиты в дата-центре
С потенциальными природными опасностями борются другими способами: выбирают для строительства площадки с наименьшей сейсмической активностью и наиболее низким риском наводнения. Электромагнитная защита обеспечивается конструкцией здания, которое фактически представляет собой клетку Фарадея.
Отдельная важная задача — пожарная безопасность. Существуют два основных принципа пожаротушения. Один из них вода, и он, понятное дело, исключается. Пробовали использовать порошок, однако это негативно сказывалось на работоспособности оборудования. Поэтому сейчас для борьбы с огнем в МТС применяют только газ. Но и газовое пожаротушение бывает двух типов.
Хладон-125 просто вытесняет воздух из помещения: когда кислорода нет, горение моментально прекращается. Однако центр обработки данных — технологическая площадка, где дежурит множество специалистов, а им нужно чем-то дышать. Чтобы не подвергать людей опасности, МТС уже больше 10 лет использует фторкетон ФК-5-1-12, который не вытесняет кислород, а вступает в химическую реакцию с продуктами горения и безопасен для человека.
Последний рубеж обороны — физическая защита. Если раньше под ЦОДы переоборудовали старые здания, то теперь они строятся с нуля. В проекте предусмотрено все, начиная с заборов и противоподкопных мер и заканчивая датчиками движения, камерами видеонаблюдения и охраной, которая ведет круглосуточный мониторинг. За всю историю существования центров обработки данных МТС не было ни одного инцидента, связанного с намеренным физическим повреждением оборудования. Ну и конечно, нельзя не упомянуть про кибератаки. Тут напрашивается аналогия с банками: как крупные суммы денег лучше хранить на счете, а не дома, так и данные лучше держать в ЦОДах, где есть свои оптоволоконные линии связи, свои файрволы, свои системы передачи данных. Существует целый Security Operation Center — комплексный центр, который обеспечивает кибербезопасность, непрерывно отслеживает состояние всей инфраструктуры МТС, сканирует уязвимости и анализирует потенциальные атаки и внешние угрозы.
Система пожаротушения в ЦОДе GreenBushDC
География ЦОД и Cloud-инфраструктуры группы МТС
ЦОДы, где доступны услуги Colocation
ЦОДы, где доступны или планируется оказывать услуги Cloud
Некоммерческие ЦОД
ЦОДы для граничных вычислений (Edge Computing)
Калининград
Санкт-Петербург
Смоленск
Скоро
Минск
Калининград
Скоро
Москва
Зон доступности Cloud: 3
Пермь
Скоро
Смоленск
Санкт-Петербург
Зон доступности Cloud: 3
Лыткарино, «Авантаж»
11 км от МКАД
Tier III, 2200 стоек
Доступны услуги Colocation
и услуги Cloud
Зеленоград, «GreenBushDC»
30 км от МКАД
Tier III, 2280 стоек
Доступны услуги Colocation
Зеленоград
Норильск
Скоро
Минск
Доступны услуги Cloud
Воронеж
Скоро
Москва
Норильск
Казань
Скоро
Лыткарино
Уфа
Скоро
Тула
Екатеринбург
Скоро
Тюмень
Скоро
Тула
Скоро
Пермь
Воронеж
Н. Новгород
Красноярск
Скоро
Ростов-на-Дону
Скоро
Омск
Скоро
Екатеринбург
Самара
Скоро
Казань
Ростов
Тюмень
Самара
Уфа
Ереван
Доступны услуги Cloud
Омск
Челябинск
Краснодар
Краснодар
Скоро
Уральск
Новосибирск
Красноярск
Новосибирск
Доступны услуги Cloud
Хабаровск
Скоро
Челябинск
Скоро
Уральск
Скоро
Астана
Ереван
Владивосток
Доступны услуги Cloud
Алматы
Доступны услуги Cloud
Хабаровск
Астана
Доступны услуги Cloud
Алматы
Владивосток
ЗЕЛЕНЫЕ ТЕХНОЛОГИИ
Самый крупный потребитель энергии в мире не электрический транспорт и не домохозяйства, а центры обработки данных. Например, энергопотребление большого ЦОДа МТС составляет 20 МВт — этого хватило бы на небольшой микрорайон на 4000 квартир. Чтобы снизить расход, сегодня используются новейшие малопотребляющие процессоры. Но основной ресурс экономии лежит в области систем охлаждения: стойки с серверами выделяют огромное количество тепла.
В старых центрах обработки данных, где применялись чиллерные системы с мощными компрессорами, на охлаждение тратилось примерно столько же энергии, сколько и на питание серверов. Современные решения позволяют уменьшить эту величину на порядок.
В ЦОДах МТС работает комбинация двух технологий: повышение температуры в помещениях и энергоэффективное охлаждение. В обычном центре обработки данных температура поддерживается на уровне 22±2 °С, — это мировой стандарт. В МТС серверная может нагреваться до 32–35 °С, при этом оборудование работает безотказно, с максимальной производительностью.
Бесконечные стойки с серверами завораживают. Если вы педант и любите идеальный порядок, подумайте о работе в ЦОДе.
Благодаря технологии свободного охлаждения через залы со стойками прогоняется чистый воздух, что позволяет практически круглый год работать при уличной температуре. Температурные пики сбиваются на 5–7 °С системами адиабатического охлаждения, которые МТС проектирует самостоятельно. Принцип работы адиабатической системы — охлаждение воздуха при прохождении через фильтры с жидкостью: испарение воды происходит с поглощением тепла. Так как в России относительная влажность небольшая, подобные системы чрезвычайно эффективны. В ЦОДах есть параметр Power Usage Efficiency — соотношение общей мощности центра обработки данных к полезной. И если в старых зданиях этот коэффициент был равен 1,5–2, то в современных может доходить до 1,1.
Специалист центра мониторинга в дата-центре GreenBushDC
Если говорить о будущем, то дата-центры разделятся по размеру на мегаЦОДы и маленькие юниты прямо рядом с клиентом. Они станут еще экологичнее, станут потреблять меньше энергии. Отслеживать показатели будут системы на основе искусственного интеллекта, которые по датчикам температуры, влажности, скорости передачи данных смогут определить неисправности и обеспечить круглосуточную работу приложений.
В мегаЦОДах роботы частично заменят людей — научатся, например, менять жесткие диски или переставлять оборудование. Появятся специализированные ЦОДы: с оборудованием, которое идеально обрабатывает видео, для стриминговых сервисов или с технологиями обработки большого объема информации для интернет-поисковиков.
«В ближайшем будущем дата-центры будут разного размера — начиная от мегаЦОДов и заканчивая одним юнитом прямо рядом с клиентом. Они станут еще экологичнее, потребляя меньше энергии. Отслеживать показатели будут системы на основе искусственного интеллекта, которые по датчикам температуры, влажности, скорости передачи данных определят неисправности и сделают так, чтобы приложения работали круглосуточно и без сбоев. В мегаЦОДах роботы частично заменят людей, будут, например, менять жесткие диски или переставлять оборудование. Появятся специализированные ЦОДы. Например, для стриминговых сервисов создадут новое оборудование, которое идеально обрабатывает видео, а для интернет-поисковиков — технологии для обработки больших данных».
ДАНИЛА ЕГОРОВ
руководитель направления трансформации технического блока МТС
Специальный проект
x
