Проектирование современной сетевой инфраструктуры требует учета не только текущих требований к производительности, но и перспектив масштабирования под искусственный интеллект, высокопроизводительные вычисления и распределенные сервисы. Практические аспекты разработки и реализации подобных решений, включая проектирование сетей связи, телекоммуникационный консалтинг, интеграцию разнородных систем, информационную безопасность и другие инженерные направления, представлены на сайте https://advc.ru/network_design_services.
Почему традиционная сеть перестает справляться
До недавнего времени большинство корпоративных сетей проектировались исходя из классической модели обмена данными: пользователи обращаются к приложениям, серверы отвечают на запросы, резервное копирование выполняется по расписанию, а основная нагрузка приходится на направление «клиент — сервер». Даже виртуализация и переход к облачной инфраструктуре изменили архитектуру лишь частично.
Появление генеративного искусственного интеллекта существенно изменило характер сетевого трафика. Обучение моделей, распределенные вычисления, обработка больших массивов данных и работа GPU-кластеров формируют огромный объем горизонтального обмена между серверами (East-West Traffic). В некоторых дата-центрах доля такого трафика превышает 80–90 % общего сетевого обмена.
Если традиционная корпоративная сеть была ориентирована преимущественно на передачу данных между пользователями и серверами (North-South Traffic), то инфраструктура для AI должна обеспечивать высокую производительность именно внутри вычислительного кластера. Это предъявляет совершенно иные требования к топологии, коммутации, задержкам и пропускной способности.
Одновременно увеличиваются требования к надежности. Во время обучения большой языковой модели могут использоваться тысячи GPU. Даже кратковременная потеря сетевого соединения между несколькими вычислительными узлами приводит к повторной синхронизации процессов, снижению эффективности использования оборудования и увеличению времени обучения модели. Стоимость простоя подобных вычислительных кластеров может измеряться десятками тысяч долларов в час.
Именно поэтому сегодня сеть рассматривается уже не как вспомогательная инфраструктура, а как один из ключевых компонентов AI-платформы.
Какие нагрузки создают современные AI-системы
Для правильного проектирования необходимо понимать характер нагрузки.
Наиболее ресурсоемкими являются:
- обучение больших языковых моделей (LLM);
- системы Retrieval-Augmented Generation (RAG);
- распределенные GPU-кластеры;
- обработка видео в реальном времени;
- компьютерное зрение;
- цифровые двойники;
- высокопроизводительная аналитика;
- HPC-кластеры;
- системы обработки телеметрии;
- инференс моделей с большим количеством одновременных запросов.
Во время обучения модели происходит постоянный обмен параметрами между всеми GPU. Если раньше сеть передавала преимущественно пользовательские данные, то теперь значительную часть трафика составляют служебные синхронизации Tensor, Gradient Exchange, Checkpoint и операции коллективной коммуникации (AllReduce, AllGather, Broadcast).
Объем сетевого обмена напрямую зависит от количества ускорителей. При использовании нескольких сотен GPU поток данных может исчисляться терабитами в секунду.
Поэтому современные AI-кластеры все чаще используют соединения 100, 200, 400 и 800 Gigabit Ethernet. Уже началось внедрение оборудования стандарта 1.6 TbE (1600 Gigabit Ethernet), ориентированного на вычислительные центры следующего поколения.
Основные требования к сети для искусственного интеллекта
Проектирование инфраструктуры начинается с определения нескольких ключевых характеристик.
Минимальные задержки
Для обычных корпоративных приложений задержка в несколько миллисекунд зачастую не оказывает заметного влияния.
Для распределенного обучения нейронных сетей ситуация совершенно иная.
При тысячах синхронно работающих GPU даже увеличение задержки на десятки микросекунд приводит к снижению общей производительности вычислительного кластера.
Поэтому современные AI Fabric ориентируются именно на минимизацию latency, а не только на увеличение скорости передачи данных.
Особое внимание уделяется:
- задержкам коммутации;
- времени обработки пакетов ASIC;
- производительности буферов;
- качеству кабельной инфраструктуры;
- количеству сетевых переходов между вычислительными узлами.
Каждый дополнительный уровень коммутации увеличивает задержку.
Именно поэтому сегодня практически стандартом становятся двухуровневые топологии Spine-Leaf.
Высокая пропускная способность
Современный сервер с восемью GPU способен генерировать сотни гигабит сетевого трафика.
При проектировании учитывается не только скорость одного интерфейса, но и суммарная пропускная способность стойки.
Типичная конфигурация AI-сервера включает:
- два интерфейса 200GbE;
- два интерфейса 400GbE;
- несколько выделенных сетей управления;
- отдельную сеть хранения данных.
Для крупных GPU-кластеров общая производительность сети измеряется уже десятками и сотнями терабит.
Предсказуемость передачи данных
Высокая средняя скорость сама по себе не гарантирует эффективную работу AI.
Гораздо важнее отсутствие кратковременных скачков задержек (jitter).
Во время коллективных операций достаточно одного медленного соединения, чтобы вся группа GPU ожидала завершения передачи данных самым медленным участником.
Поэтому современные сетевые операционные системы уделяют большое внимание балансировке потоков, управлению очередями и предотвращению перегрузок.
Почему Spine-Leaf стал фактическим стандартом
Классическая трехуровневая архитектура Access–Distribution–Core создавалась в эпоху доминирования клиент-серверных приложений.
Для AI она подходит значительно хуже.
Большинство пакетов проходит между вычислительными узлами внутри дата-центра, а не выходит за его пределы.
Архитектура Spine-Leaf обеспечивает одинаковое количество переходов между любыми двумя серверами.
Это позволяет:
- уменьшить задержки;
- исключить узкие места;
- обеспечить линейное масштабирование;
- увеличить отказоустойчивость;
- использовать ECMP (Equal Cost Multi Path) для равномерного распределения нагрузки.
Практически все крупные облачные провайдеры, гиперскейлеры и производители AI-инфраструктуры используют именно Clos/Fat-Tree или Spine-Leaf как базовую архитектуру вычислительных сетей.
Ethernet или InfiniBand: почему рынок меняется
На протяжении многих лет стандартом для суперкомпьютеров считался InfiniBand. Он обеспечивал минимальные задержки, поддержку RDMA и эффективную работу распределенных вычислений.
Однако рынок постепенно меняется.
Главная причина — стремительное развитие Ethernet. Современные реализации RDMA over Converged Ethernet v2 (RoCEv2) позволяют добиться характеристик, близких к InfiniBand, сохраняя совместимость с привычной IP-инфраструктурой. Это существенно упрощает эксплуатацию, интеграцию с корпоративными сетями и выбор оборудования.
Дополнительным фактором стало создание Ultra Ethernet Consortium — отраслевого объединения, в которое вошли AMD, Intel, Arista, Broadcom, Cisco, HPE, Meta, Microsoft и другие крупнейшие участники рынка. Цель консорциума — разработка Ethernet нового поколения, ориентированного именно на AI-вычисления. Среди ключевых направлений — улучшенные механизмы управления перегрузками, оптимизация коллективных операций между GPU, более эффективная балансировка потоков и повышение общей производительности распределенного обучения.
Это не означает исчезновение InfiniBand. Он по-прежнему остается востребованным в крупнейших HPC-системах и ряде специализированных AI-кластеров. Однако доля Ethernet в новых проектах быстро растет благодаря более широкой экосистеме, высокой конкуренции между производителями и снижению совокупной стоимости владения.
RDMA — технология, без которой современные AI-кластеры практически не строятся
Обычная передача данных через TCP/IP включает несколько этапов обработки пакетов операционной системой. Каждый пакет проходит через сетевой стек, копируется между буферами памяти, обрабатывается процессором и только затем передается приложению.
Для офисных приложений такие накладные расходы не критичны. При обучении нейронных сетей ситуация иная: миллиарды сообщений между GPU делают даже небольшие задержки значимыми.
Решением стала технология Remote Direct Memory Access (RDMA). Она позволяет сетевому адаптеру передавать данные непосредственно между областями памяти серверов, практически не задействуя центральный процессор.
Преимущества RDMA:
- минимальная задержка передачи;
- снижение загрузки CPU;
- уменьшение количества копирований данных;
- высокая скорость коллективных операций между GPU;
- стабильная производительность при масштабировании кластера.
В Ethernet-среде наиболее распространенной реализацией является RoCEv2. Для ее эффективной работы сеть должна поддерживать механизмы приоритетной обработки трафика, управления перегрузками и работу практически без потерь пакетов (Lossless Ethernet). Именно поэтому проектирование AI-сети невозможно свести к простой замене коммутаторов на более быстрые модели — требуется комплексная настройка всей транспортной среды.
GPU перестают быть отдельными серверами
Еще несколько лет назад сервер с несколькими ускорителями воспринимался как самостоятельная вычислительная единица.
Сегодня производители стремятся объединить тысячи GPU в единую вычислительную систему.
Например, современные AI-кластеры могут включать десятки или сотни стоек, каждая из которых содержит несколько серверов с восемью, шестнадцатью и более графическими ускорителями. При этом обмен данными происходит настолько интенсивно, что сеть фактически становится продолжением внутренней шины вычислительной платформы.
Это меняет требования к проектированию:
- минимальное количество переходов между серверами;
- симметричная топология;
- отсутствие переподписки (Oversubscription) или ее минимизация;
- одинаковая задержка между любыми двумя вычислительными узлами;
- масштабируемость без изменения архитектуры.
Для AI-кластеров все чаще применяют коэффициент переподписки 1:1. Это означает, что суммарная пропускная способность восходящих каналов равна скорости всех подключенных серверов. В традиционных корпоративных сетях обычно использовались коэффициенты 3:1, 5:1 или даже 10:1, что позволяло экономить на магистральных каналах. Для распределенного обучения такой подход приводит к постоянным перегрузкам и снижению эффективности дорогостоящих GPU.
SmartNIC и DPU становятся частью сетевой архитектуры
Еще один важный тренд последних лет — перенос части сетевых функций непосредственно на интеллектуальные сетевые адаптеры.
SmartNIC и DPU (Data Processing Unit) способны выполнять задачи, которые раньше полностью ложились на центральный процессор:
- обработку сетевого трафика;
- шифрование;
- работу виртуальных коммутаторов;
- функции межсетевого экрана;
- обработку RDMA;
- виртуализацию сетевых интерфейсов;
- контроль безопасности.
Разгрузка CPU позволяет направить больше вычислительных ресурсов непосредственно на обучение моделей. Кроме того, DPU помогают изолировать рабочие нагрузки, повышая уровень безопасности и упрощая эксплуатацию крупных AI-инфраструктур.
Фактически современные серверы постепенно превращаются в трехкомпонентные вычислительные системы, где CPU отвечает за универсальные вычисления, GPU — за обработку нейросетей, а DPU — за сетевую инфраструктуру и управление потоками данных.
Телеметрия вместо классического мониторинга
При эксплуатации AI-кластера традиционного SNMP-мониторинга уже недостаточно.
Современные сети генерируют огромные объемы информации о своем состоянии в режиме реального времени. Вместо периодического опроса устройств используется потоковая телеметрия (Streaming Telemetry), позволяющая получать данные практически непрерывно.
Контролируются десятки параметров:
- задержки между коммутаторами;
- загрузка отдельных очередей;
- переполнение буферов;
- потеря пакетов;
- использование каналов;
- время обработки пакетов ASIC;
- состояние RDMA-соединений;
- ошибки интерфейсов;
- температура оборудования;
- энергопотребление.
Такая детализация необходима, поскольку даже кратковременное ухудшение характеристик может привести к снижению производительности всего кластера. В результате инженер получает возможность выявлять потенциальные проблемы еще до того, как они начнут влиять на работу приложений.
Именно потоковая телеметрия становится основой для следующего этапа развития сетей — автоматического анализа и оптимизации с использованием технологий AIOps.
Автоматизация становится обязательной частью сетевой инфраструктуры
Управление AI-кластером из нескольких десятков или сотен коммутаторов вручную практически невозможно. Даже небольшая ошибка в настройке приоритетов, политик маршрутизации или параметров QoS может привести к деградации производительности всего вычислительного комплекса. Поэтому современные сети проектируются с учетом последующей автоматизации.
Одним из основных подходов становится Infrastructure as Code (IaC) — управление сетевой инфраструктурой через описания в виде кода. Вместо ручной настройки устройств используются шаблоны конфигураций, системы контроля версий и инструменты автоматического развертывания. Такой подход обеспечивает воспроизводимость изменений, упрощает масштабирование и значительно снижает вероятность человеческой ошибки.
На практике для автоматизации применяются:
- Ansible для массовой настройки сетевых устройств;
- NetBox как источник достоверной информации (Source of Truth) о топологии, IP-адресах и подключениях;
- Git для хранения конфигураций и контроля изменений;
- Terraform при работе с облачной инфраструктурой;
- API-интерфейсы производителей оборудования для централизованного управления.
Автоматизация становится особенно важной при эксплуатации Spine-Leaf-фабрик, где количество соединений между коммутаторами может исчисляться тысячами. Создание и сопровождение таких конфигураций вручную становится практически невозможным.
AIOps: искусственный интеллект начинает управлять самой сетью
Рост сложности инфраструктуры привел к появлению нового направления — AIOps (Artificial Intelligence for IT Operations). В отличие от классических систем мониторинга, AIOps не ограничивается отображением текущего состояния оборудования.
Современные платформы анализируют поток телеметрии в режиме реального времени и способны:
- выявлять аномальные изменения задержек;
- обнаруживать признаки перегрузки еще до появления потерь пакетов;
- прогнозировать возможный отказ оборудования;
- анализировать взаимосвязи между событиями;
- автоматически рекомендовать или выполнять корректирующие действия.
Например, если система обнаруживает постепенный рост задержек на одном из Spine-коммутаторов, она может выявить причину в изменившемся распределении потоков ECMP или в переполнении буферов определенного ASIC. Вместо поиска проблемы вручную инженер получает готовый анализ с указанием вероятной причины.
Некоторые производители уже реализуют автоматическую оптимизацию параметров сети на основе телеметрии, включая изменение политик балансировки нагрузки и управление очередями передачи данных.
Правильная работа с перегрузками важнее абсолютной скорости
При проектировании AI-сетей распространенной ошибкой является концентрация исключительно на скорости интерфейсов. Однако наличие портов 400 или 800 Гбит/с само по себе не гарантирует высокой производительности.
Основной проблемой становится перегрузка отдельных участков сети во время коллективных операций между тысячами GPU. В таких сценариях большое значение приобретают механизмы управления перегрузками.
Наиболее важными технологиями являются:
- ECN (Explicit Congestion Notification) — раннее уведомление отправителя о начале перегрузки без потери пакетов;
- PFC (Priority Flow Control) — приостановка передачи только определенного класса трафика вместо остановки всего интерфейса;
- DCQCN (Data Center Quantized Congestion Notification) — алгоритм управления скоростью передачи данных в сетях RoCEv2;
- ECMP (Equal-Cost Multi-Path) — равномерное распределение потоков между несколькими маршрутами.
Грамотная настройка этих механизмов зачастую оказывает большее влияние на производительность AI-кластера, чем простое увеличение скорости сетевых интерфейсов.
Система хранения данных также становится частью AI Fabric
При обучении больших языковых моделей вычислительные ускорители непрерывно считывают огромные массивы данных. Если система хранения не способна обеспечить необходимую скорость, простаивают уже не сетевые устройства, а дорогостоящие GPU.
Поэтому современные AI-платформы все чаще используют архитектуры, основанные на NVMe-over-Fabrics (NVMe-oF). В отличие от традиционных SAN-систем, NVMe-oF обеспечивает доступ к удаленным накопителям практически с теми же задержками, что и к локальным SSD.
Использование высокоскоростного Ethernet позволяет объединить вычислительные узлы и системы хранения в единую транспортную среду без необходимости развертывания отдельных специализированных сетей хранения.
При проектировании необходимо учитывать:
- производительность дисковой подсистемы;
- пропускную способность магистралей;
- задержку между вычислительными узлами и хранилищем;
- резервирование каналов;
- масштабируемость системы хранения одновременно с ростом вычислительного кластера.
Баланс между вычислительными ресурсами, сетью и системой хранения становится одним из ключевых факторов общей эффективности AI-инфраструктуры.
Безопасность необходимо закладывать на этапе проектирования
Рост количества внутренних соединений существенно расширяет поверхность атаки. Если злоумышленник получает доступ к одному из вычислительных узлов, он потенциально может использовать высокоскоростную внутреннюю сеть для дальнейшего распространения внутри инфраструктуры.
Поэтому современные AI-сети все чаще проектируются в соответствии с концепцией Zero Trust. Ее основной принцип заключается в том, что ни один узел не считается доверенным по умолчанию независимо от его расположения внутри корпоративной сети.
Практически это означает:
- микросегментацию сети;
- строгий контроль доступа между сегментами;
- взаимную аутентификацию сервисов;
- постоянную проверку политик безопасности;
- централизованное журналирование событий.
Особое внимание уделяется защите внутренних каналов East-West, поскольку именно через них проходит основная часть обмена между вычислительными узлами. Для этого применяются распределенные политики безопасности, виртуальные межсетевые экраны и средства анализа сетевого поведения.
Закладывайте масштабирование с первого дня
Главная ошибка при проектировании AI-инфраструктуры — расчет сети исключительно под текущую нагрузку.
Если классическая корпоративная сеть может эксплуатироваться без существенных изменений 7–10 лет, то AI-кластеры развиваются значительно быстрее. Количество ускорителей, объем обучающих данных и требования к скорости обмена растут практически ежегодно.
Поэтому при разработке проекта рекомендуется сразу предусматривать:
- возможность увеличения числа Leaf-коммутаторов без изменения архитектуры;
- резерв свободных оптических линий;
- использование модульных Spine-коммутаторов;
- запас по мощности систем электропитания и охлаждения;
- возможность перехода на более высокие скорости Ethernet без полной реконструкции сети.
Практика показывает, что стоимость проектирования инфраструктуры с учетом будущего роста значительно ниже, чем последующая перестройка уже работающего дата-центра.
Заключение
Современная AI-инфраструктура предъявляет к сетям связи требования, которые еще несколько лет назад были характерны только для суперкомпьютеров. Высокая пропускная способность, минимальные задержки, отсутствие потерь пакетов, потоковая телеметрия, автоматизация управления и возможность горизонтального масштабирования становятся обязательными элементами проекта.
По этой причине проектирование сети сегодня начинается не с выбора конкретной модели коммутатора, а с анализа характера будущих вычислительных нагрузок, объемов обмена данными между GPU, требований к системе хранения и стратегии развития инфраструктуры на несколько лет вперед. Только комплексный подход позволяет построить сеть, которая не станет ограничивающим фактором для развития систем искусственного интеллекта и сможет эффективно поддерживать рост вычислительных ресурсов без полной перестройки архитектуры.
