Проект СКС сетевой инфраструктуры ЦОД
Наша проектная организация разработала рабочую документацию структурированной кабельной системы СКС для ЦОДа.
Структурированная кабельная система
Пассивное оборудование
Для создания структурированной кабельной системы (СКС) ЦОД предлагается использовать пассивное оборудование фирмы Nexans с использованием технологии LANSense. Выбор вендора пассивного оборудования на этапе концептуального проекта обусловлен привязкой к технологиям контроля сетевой инфраструктуры, наиболее сильно развитым у данного производителя.
Согласно TIA-942 ЦОД уровня не ниже 3 должен иметь систему документирования. LANSense – это система контроля сетевой инфраструктуры, позволяющая в реальном времени осуществлять контроль над всеми перемещениями, добавлениями и изменениями сети, а также автоматизировать ее документирование и настроить реакции системы на те или иные события.
Дополнительно в систему контроля сетевой инфраструктуры интегрируется комплекс EMAC (Environmental Monitoring and Access Control – мониторинг и контроль доступа). EMAC расширяет функциональность системы и обеспечивает контроль микроклимата каждого из шкафов, мониторинг и контроль электропитания в шкафах, контроль физического доступа в шкафы, имеет возможность выдачи информации внешним системам жизнеобеспечения.
При разработке концептуального проекта предполагалось, что все вышеописанные возможности имеются, и емкости машзалов рассчитывались с их учетом. Вендоры прочего активного и пассивного оборудования на этапе концептуального проекта значения не имеют. Создаваемая СКС обеспечивает функционирование оборудования локальной вычислительной сети и системы сбора и хранения данных Заказчика. Каждый из ЦОД архитектурно состоит из 2 машзалов, разделенных шлюзом. ЦОД – в ядре здания автостоянки.
Предполагается аналогичное использование указанных ЦОД.
Первый машзал ЦОДа вмещает в себя 40 серверных шкафа, 5 из которых на планах расположения обозначены другим цветом и являются резервными местами и 6 стоек коммутации уровня распределения. Второй машзал – 22 серверных шкафа, 5 из них – резервные места и 7 стоек коммутации уровня распределения. Резерв по серверным шкафам составляет 33%. При этом, системы жизнеобеспечения рассчитывались на полную максимально возможную загрузку машзалов с учетом данного резерва.
Структурированная кабельная система включает в себя следующие компоненты:
- шкафы для размещения серверов;
- горизонтальную подсистему;
- узлы уровня распределения;
- магистральную подсистему;
- узлы уровня ядра;
- систему контроля сетевой инфраструктуры;
- узлы ввода;
- систему кабельных каналов;
Размещение шкафов
Шкафы для размещения серверов должны иметь размеры не менее 600 мм в ширину, 1200 мм в глубину и 42U в высоту. Серверные шкафы указаны на планах расположения, резервные места под установку серверных шкафов для возможного расширения центра обработки данных в будущем указаны на планах расположения другим цветом.
Серверные шкафы устанавливаются группами в 3 ряда фронтальной стороной друг к другу, образуя холодные и горячие коридоры. Расчетная электрическая мощность каждой серверной стойки – 4 кВт, коммуникационной стойки – 1 кВт. Проход в холодном коридоре должен быть не менее 1200 мм – двух плиток фальшпола для возможности вентиляции серверного оборудования.
В случае если расчетного охлаждения стоек недостаточно для оборудования в каком-то из шкафов, существует возможность перекрытия и физического выделения холодного коридора непосредственно в процессе эксплуатации. Проход в горячем коридоре предполагается не менее 1800 мм – трех плиток фальшпола.
Увеличенный проход в горячем коридоре необходим в случае, если в процессе жизнедеятельности ЦОД оборудование, установленное в любом из шкафов, не может быть охлаждено до приемлемых температур ни стандартным кондиционированием из-под пола, ни выделением холодного коридора в ограниченную зону. В этом случае может быть принято решение об установке дополнительного стоечного кондиционирования для конкретных шкафов. Все шкафы должны иметь маркировку в соответствии с рекомендациями TIA-942, приложение В.
С тыльной стороны каждого шкафа устанавливается коммутационное оборудование различного назначения. В рамках данного концептуального проекта предлагается установка не менее двух медных коммутационных панелей по 24 порта RJ-45 каждая, связывающих шкаф с соответствующим узлом уровня распределения кабелем категории не ниже 6а по ANSI/EIA/TIA-568-B.3 и одну оптическую коммутационную панель не менее, чем на 24 дуплексных порта, связывающую серверный шкаф напрямую с уровнем ядра ЦОД, минуя стойки уровня распределения.
Также в каждый серверный шкаф устанавливается анализатор системы контроля микроклимата, электропитания и физического доступа EMAC. Анализатор системы сетевой инфраструктуры устанавливается по проекту приблизительно один на 12 шкафов. Точное количество шкафов, обслуживаемых одним анализатором, зависит от физического расположения самих шкафов и ограничено максимальной длиной шнура ввода/вывода LANsense – 10м.
Горизонтальная подсистема представляет собой кабельные линии, соединяющие порты коммутационных панелей, входящих в серверный шкаф, с портами коммутационной панели, входящей в узел уровня распределения. Предполагается строить горизонтальную подсистему СКС на основе медного кабеля категории 6а. Возможная скорость передачи информации по данной линии – до 10G. На сегодняшний момент большинство серверов требует скорость передачи до 1G.
В случае появления в процессе жизни нового оборудования со скоростями передачи выше 1G, пропускной способности предлагаемого кабеля хватит для удовлетворения этих потребностей. Нецелесообразно устанавливать систему категории 7 или 7а, хотя экономическая разница между системами в рамках ЦОД невелика, ввиду того, что маловероятна необходимость доставки информации до серверного оборудования на скоростях до 40G в период жизни данного ЦОД.
Горизонтальные кабельные линии СКС
Должны быть промаркированы в соответствии с ANSI/TIA/EIA-606-A. Узлы уровня распределения представляют собой двухрамные открытые коммутационные стойки типовой ширины и глубины высотой 42U. На каждый коридор серверных шкафов должен быть предусмотрен свой узел распределения, оснащенный соответствующими панелями и приспособлениями для укладки больших потоков кабеля.
Узел должен содержать модульный коммутатор большой емкости с двумя платами управления или не менее 2-х коммутаторов большой емкости. Коммутаторы должны иметь как медные, так и оптические порты в достаточном для обслуживания ряда количестве.
Помимо активного оборудования в стойки устанавливаются медные панели горизонтальной подсистемы 24 RJ-45 по 2 на каждый серверный шкаф и медные панели 24 RJ-45 являющиеся репликатором медных портов коммутатора, необходимые для корректного функционирования системы. В стойку должны быть установлены волоконно-оптические коммутационные панели уровня ядра, предназначенные для поддержания работы коммутаторов, и оптические панели, являющиеся репликаторами оптических портов коммутатора.
Все указанные панели должны быть промаркированы именем соединения, так же, как и соединительные кабели, для этого используемые. Кроме того, в каждую стойку устанавливаются шасси анализаторов системы контроля сетевой инфраструктуры LANsense и анализаторы системы контроля микроклимата, электропитания и физического доступа EMAC.
Магистральная подсистема СКС представляет собой волоконно-оптические кабельные линии, прокладываемые от узлов уровня ядра. Часть данных линий прокладывается до узлов уровня распределения и отвечает за поддержку работы активного коммутационного оборудования. Другая часть должна быть проложена по кабельным каналам из каждого узла уровня ядра непосредственно до серверного шкафа. В обоих случаях целесообразно использовать многомодовое волокно не ниже OM3.
10G скорость
Для передачи информации на скорости 10G длина линии должна быть до 300 м, для скоростей 1G – до 550 м. Возможно использование на данных линиях одномодового кабеля. Но данное решение несколько увеличивает стоимость активного оборудования, используемого системой. Кроме того, существуют оптические линии связи между уровнями ядра обоих ЦОД и между каждым из ЦОД и каждой из 2 центральных серверных здания.
Эти линии целесообразнее прокладывать одномодовым волокном. Не менее 2 линков на скорости 40G в любом из перечисленных путей связи разными трассами. Все вышеуказанные волоконно-оптические линии должны быть промаркированы в соответствии с ANSI/TIA/EIA-606-A.
Узлы уровня ядра располагаются по одному в каждом машзале. На каждый центр получается по два узла уровня ядра, несущих дублирующие друг друга функции. Узел уровня ядра представляет собой телекоммуникационные шкафы размерами не менее 800х800 42U, возможно, соединенные в один коммутационный объем. В каждом узле устанавливается не менее 2-х мощных коммутаторов, позволяющих обрабатывать различные магистральные потоки. Также устанавливаются различные оптические коммутационные панели и панели, являющиеся репликаторами портов активного оборудования.
Все вышеописанное оборудование позволяет построить сеть топологии двойная звезда. Узким местом может оказаться медная горизонтальная подсистема. Для исключения точек отказа на данном участке две распределительные панели RJ-45 каждого из серверных шкафов должны быть скоммутированны на разные платы портов коммутатора или на разные коммутаторы в узле уровня распределения.
Система контроля сетевой инфраструктуры
Система контроля сетевой инфраструктуры \позволяет в реальном времени осуществлять документирование и анализ всех перемещений и изменений инфраструктуры сети. Система производит: ведение учета с помощью базы данных и визуализацию с помощью интегрированных в базу планов в формате AutoCAD, интерактивный мониторинг каждого тракта передачи информации кабельной системы от порта коммутатора до порта клиентского устройства, что достигается с помощью датчиков, интегрированных в коммутационные панели.
Контроль всего тракта передачи в целом и подключенных к нему устройствах осуществляется программным обеспечением. При условии интеграции в систему комплекса осуществляется также мониторинг и ведение журнала, настраиваются реакции на различные события. Существует возможность интеграции системы в системы более высокого порядка, такие как HP OpenView.
Система позволяет контролировать как медные, так и оптоволоконные тракты передачи данных, для чего используется специализированное оборудование и патч-корды. Выбор данного оборудования как непременного условия построения ЦОД основан именно на широте возможностей данного производителя. У нескольких производителей СКС также существуют подобные системы, но не все они позволяют контролировать волоконно-оптический тракт или использовать полные возможности визуализации.
Узлы ввода в данном концептуальном проекте не находятся на территории. Оба ЦОД интегрированы в здание, что вынуждает использовать узлы ввода, как отдельные помещения, расположенные по возможности со стороны улицы или в любом другом удобном месте здания.
Прокладка кабеля и лотков
Система кабельных каналов обеспечивает упорядочивание и защиту от внешних воздействий кабельные линии горизонтальной и магистральной кабельных систем, и позволяет, в случае необходимости, модернизировать кабельную систему при минимальных материальных и трудозатратах. Для прокладки горизонтальных и магистральных кабелей используются.
Сетчатые лотки, устанавливаемые на уровне выше крыш серверных шкафов и предназначенные для прокладки кабелей горизонтальной и магистральной подсистем (предварительно, лотки не менее 600 мм). Лотки должны быть установлены по периметру машзалов и иметь достаточное количество проходов вдоль серверных коридоров и над коммутационными зонами.
При этом, кабельные лотки должны проектироваться с расчетом параллельного им прохода шинопроводов системы электропитания, с разнесением обеих систем на установленные нормативами расстояния как в горизонтальной, так и в вертикальной плоскостях;
Вертикальные гильзы, расположенные в слаботочных стояках по периметру ядра здания, предназначенные для прокладки по ним кабелей подсистемы внутренней магистрали и используемые совместно с другими системами здания. Необходимо выделить две зоны прохода магистральных кабелей, разнесенные в пространстве не менее, чем на 20 м для организации резервных проходов.
Фальшпол машзалов не используется для прокладки коммуникаций и полностью отдан под системы охлаждения. При этом подразумевается, кто кабели заземления прокладываются и в пространстве под фальшполом.