Блейд-системы для ЦОД: от плотного размещения к композитному подходу

Блейд-системы для ЦОД

Когда серверов в дата-центре становится несколько десятков, проблема начинает заключаться не столько в нехватке вычислительной мощности, сколько в стоимости и сложности инфраструктуры вокруг нее. Каждый новый rack-сервер добавляет блоки питания, вентиляторы, сетевые соединения, кабели и еще одну систему, которую необходимо обслуживать. В результате масштабирование постепенно перестает быть линейным: вместе с вычислительными ресурсами растут энергопотребление, тепловая нагрузка и объем административной работы.

Блейд-системы появились как попытка решить эту проблему на уровне архитектуры. Вычислительные узлы превращаются в сменные модули, а питание, охлаждение, коммутация и управление выносятся в общее шасси. Для примера poweredge m1000e это показательный представитель такого поколения: 10U-шасси вмещает до 16 серверных модулей половинной высоты или до 8 полноразмерных. При этом блоки питания, вентиляторы, CMC и I/O-модули являются общими ресурсами для установленных блейдов.

Сегодня M1000e уже правильнее рассматривать как исторически важный пример, а не как актуальную платформу для нового ЦОД. Dell указывает MX7000 как замену M1000e, а сама архитектура за это время сместилась от классических блейдов в сторону более гибких модульных и composable-систем.

Что именно меняет блейд-архитектура

У обычного rack-сервера большая часть инфраструктуры дублируется. Два десятка машин означают два десятка наборов вентиляторов, блоков питания и интерфейсов. Кроме того, каждый сервер приходится отдельно подключать к сети и системам хранения.

Блейд-шасси переносит значительную часть этих функций на общий уровень. Серверный модуль содержит CPU, память, накопители и необходимые платы расширения, но не должен самостоятельно решать все задачи по электропитанию, охлаждению и внешней коммутации.

Это позволяет разделить инфраструктуру на два уровня: вычислительные ресурсы и среду, в которой они работают.

Практический эффект заключается не только в экономии места. Главное — появляется стандартная точка расширения. Если в шасси остается свободный отсек, добавление нового вычислительного узла не требует заново проектировать его питание, охлаждение и большую часть внутренних подключений.

Именно поэтому блейды особенно интересны для крупных однотипных сред: виртуализации, серверных ферм, кластеров приложений и инфраструктур, где вычислительные мощности добавляются регулярно.

Плотность: считать нужно не серверы на юнит, а инфраструктуру целиком

Простое сравнение «16 серверов в 10U» с обычными rack-серверами может создать неправильное впечатление. Высокая плотность сама по себе ничего не дает, если стойка не способна обеспечить необходимую мощность и отвести соответствующее количество тепла.

Правильнее учитывать сразу несколько параметров: вычислительную производительность на юнит, ватт на юнит, количество внешних сетевых соединений, резервирование и требования к охлаждению.

На этом уровне преимущество блейдов становится заметнее. В одном корпусе объединяются не только вычислительные модули, но и общая инфраструктура. Поэтому часть объема, который в классической стойке занимают повторяющиеся компоненты, превращается в доступную вычислительную плотность.

При этом высокая плотность не означает, что шасси обязательно будет экономичнее одного rack-сервера. Если вычислительные модули загружены постоянно, основное энергопотребление определяется процессорами, памятью и ускорителями. Экономия возникает прежде всего за счет инфраструктурных компонентов и эксплуатационной эффективности.

Питание: преимущество и одновременно ограничение

На практике именно электропитание часто определяет предел плотности серверной стойки.

У M1000e использовались блоки питания мощностью 2700 и 3000 Вт; для 3000-ваттной версии Dell указывает вход 200–240 В, 16 А. Для шасси предусмотрено до шести источников питания, причем их конфигурация позволяет организовывать резервирование.

Это уже показывает реальный масштаб энергопотребления. Даже без учета конкретной конфигурации серверных модулей несколько киловатт на одно шасси — нормальная величина для плотной серверной платформы.

Поэтому при проектировании нельзя ориентироваться только на количество свободных юнитов. Необходимо проверять доступную мощность PDU, схему A/B-питания, резервирование и лимиты стойки.

У старых поколений учитывалась и эффективность самих PSU. Например, для M1000e применялись механизмы, позволяющие отключать малозагруженные источники питания. Но оценивать эффективность конкретной модели нужно по кривой КПД при определенной нагрузке, а не по одной цифре. Для ЦОД гораздо важнее, как система работает при реальной загрузке 20, 50 или 80%, чем максимальный заявленный КПД.

Охлаждение становится частью архитектуры

Высокая плотность вычислений неизбежно приводит к высокой плотности тепловыделения. Если условные 10 кВт тепла выделяются в нескольких десятках юнитов, система охлаждения должна вывести эти 10 кВт независимо от того, насколько компактно расположено оборудование.

В блейд-шасси воздушный поток организован централизованно. Это позволяет управлять охлаждением всей группы серверов, но одновременно делает требования к помещению более жесткими.

Для современных платформ эта проблема становится еще серьезнее из-за ускорителей и процессоров с высоким TDP. Воздушное охлаждение остается основным вариантом, однако прямое жидкостное охлаждение постепенно переходит из специализированных решений в реальную инфраструктуру ЦОД. Dell, например, предлагает отдельную Direct Liquid Cooling инфраструктуру для серверов 16-го поколения.

Это важный тренд для модульных систем: будущее высокой плотности определяется уже не только тем, сколько серверов можно установить в шасси, но и тем, сколько тепла можно физически отвести от каждого модуля.

Midplane: скрытая магистраль внутри шасси

Одна из ключевых деталей блейд-архитектуры, которую легко не заметить, — midplane, или внутренняя коммутационная плата.

Именно через нее серверные модули получают соединения с I/O-модулями, а в зависимости от архитектуры через нее же проходят сигналы питания, управления и высокоскоростные линии данных. Поэтому пропускная способность и конструкция midplane напрямую влияют на возможности всей платформы.

У M1000e ранние документы Dell указывали до 5,44 Тбит/с суммарной I/O-пропускной способности midplane к установленным коммутаторам. Полноразмерные блейды занимали два слота и получали вдвое большую полосу I/O по сравнению с half-height конфигурацией.

Это важный показатель, потому что количество серверов само по себе ничего не говорит о возможностях системы. Можно установить 16 вычислительных модулей, но если внутренняя фабрика становится узким местом, суммарная производительность инфраструктуры будет ограничена именно коммутацией.

Именно здесь особенно хорошо видно различие между поколениями.

В PowerEdge MX Dell вообще отказалась от традиционного midplane. Вместо него используются прямые ортогональные соединители между вычислительными, накопительными и сетевыми модулями. По утверждению Dell, такое решение улучшает воздушный поток и позволяет упростить передачу высокоскоростных сигналов.

Таким образом, эволюция шасси затронула не только серверные модули, но и сам способ их физического соединения.

Сеть: от кабельной экономии к fabric-архитектуре

В классическом блейд-шасси внутренние сетевые соединения уже позволяют существенно уменьшить количество внешних кабелей. Но современные системы идут дальше: сеть становится самостоятельным компонентом модульной инфраструктуры.

Например, HPE Synergy 12000 использует шесть отсеков для interconnect-модулей, организованных как три фабрики с резервированием. Для современных вариантов доступны 25/50GbE соединения, а Virtual Connect SE 100Gb F32 предоставляет 24 внутренних 25Gb downlink через внутреннюю коммутацию и до восьми 100Gb uplink.

У Dell MX архитектура также строится вокруг нескольких I/O-фабрик и масштабирования между шасси. В результате сетевой уровень перестает быть просто способом подключить сервер к внешнему коммутатору. Он становится частью самой модульной платформы.

Это важно при сравнении с rack-серверами: последние дают больше свободы выбора отдельных компонентов, тогда как шасси предлагает заранее определенную архитектуру внутренних соединений.

HPE Synergy: следующий шаг после классических блейдов

Показательно сравнить классический блейд-подход с HPE Synergy.

В обычном блейд-шасси серверный модуль остается относительно самостоятельным сервером. Synergy делает акцент на composable-инфраструктуре: вычисления, сеть и хранение рассматриваются как набор ресурсов, которые можно конфигурировать и перераспределять программно.

В HPE Synergy 12000 установлено шесть interconnect-bay, а три фабрики могут работать с резервированием. Управление осуществляется через OneView, а Frame Link Module обеспечивает обнаружение устройств, мониторинг состояния, конфигурацию и управление питанием внутри фрейма.

Это уже другая философия.

Блейд отвечает на вопрос: «Как компактнее разместить много серверов?»

Composable-инфраструктура задает другой вопрос: «Как превратить физические серверные ресурсы в управляемый пул и выделять их приложениям по необходимости?»

Именно этот переход объясняет, почему современные модульные платформы выглядят заметно сложнее классических блейд-шасси.

Что дает модульность на практике

При выборе такой архитектуры важно не ограничиваться формулировкой «высокая плотность». Реальные преимущества распределяются между несколькими направлениями.

Задача Классические rack-серверы Модульная платформа
Плотность Зависит от высоты конкретных серверов Высокая за счет общей инфраструктуры
Питание PSU у каждого сервера Общие PSU с резервированием
Сеть Отдельные внешние подключения Внутренняя фабрика + агрегированные uplink
Охлаждение Индивидуальные вентиляторы Общий воздушный контур
Масштабирование Добавление самостоятельных серверов Добавление модулей в готовую среду
Управление Сервер за сервером Централизованный уровень шасси
Гибкость компонентов Высокая Ограничена экосистемой платформы
Стоимость входа Обычно ниже Выше из-за шасси и fabric-компонентов

Поэтому экономический эффект необходимо считать для всей инфраструктуры. Если требуется всего три сервера, дорогое шасси вряд ли оправдано. Если же речь идет о десятках однотипных узлов и нескольких циклах расширения, стоимость каждого отдельного подключения и каждой операции обслуживания начинает иметь значение.

Главный недостаток — зависимость от платформы

Чем больше компонентов объединяет шасси, тем сильнее зависимость от его производителя.

У rack-сервера можно заменить сетевую карту на модель другого производителя, использовать стандартный коммутатор и относительно свободно выбирать систему хранения. В блейд-платформе совместимость определяется самим шасси.

Если производитель прекращает выпуск конкретного поколения серверных модулей или I/O-компонентов, расширение существующей системы постепенно становится сложнее. Именно поэтому срок жизни шасси и доступность совместимых модулей необходимо учитывать еще при покупке.

Когда такая архитектура оправдана

Для нового проекта выбор между rack-серверами, классическими блейдами и composable-платформой стоит делать исходя из масштаба и характера нагрузки.

Блейд или модульная система наиболее интересна, когда требуется большое количество серверных узлов, ограничено место в стойках, необходима унификация оборудования и предполагается регулярное масштабирование.

Rack-серверы остаются предпочтительными, когда важнее свобода конфигурации, низкая начальная стоимость и возможность использовать компоненты разных производителей.

Композитная платформа имеет смысл там, где инфраструктура должна не просто масштабироваться, а динамически перераспределять ресурсы между различными задачами и интегрироваться с автоматизированным управлением.

Поэтому универсального победителя здесь нет. Чем меньше инфраструктура, тем сильнее преимущества простых rack-серверов. Чем крупнее и стандартизированнее среда, тем интереснее становится общая модульная платформа. А при высоких требованиях к гибкости следующий шаг — композитная архитектура.

От компактного шасси к пулу ресурсов

Главная ценность блейд-систем оказалась не в том, что они позволили разместить больше серверов в нескольких юнитах. Они изменили сам принцип организации инфраструктуры: питание, охлаждение, сеть и управление стали общими ресурсами, а сервер превратился в сменный вычислительный модуль.

M1000e хорошо показывает раннюю стадию этой эволюции: до 16 half-height или 8 full-height блейдов, централизованное питание и охлаждение и внутренняя I/O-фабрика с пропускной способностью, измерявшейся терабитами в секунду.

Современные системы пошли дальше. В некоторых новых моделях отказались от традиционного midplane, HPE Synergy развивает композитный подход, а рост тепловой плотности заставляет производителей внедрять жидкостное охлаждение.

Поэтому сегодня блейд-систему стоит рассматривать не как «очень компактный сервер», а как промежуточный этап перехода от отдельных физических машин к инфраструктуре, где вычислительные, сетевые и накопительные ресурсы объединяются в управляемые пулы. Именно эта архитектура позволяет получить преимущества масштабирования, но одновременно требует более серьезного проектирования питания, охлаждения, внутренних фабрик и совместимости оборудования.