Создание центров обработки данных – процедура сложная и длительная. Поможет ли стандартизация этого процесса уменьшить риски ненадежной работы оборудования и исключить необходимость дополнительных вложений в устранение недочетов?
Согласно оценке Gartner Group, среднемировой объем пользовательских данных, приходящийся на одну компанию, составляет 120 терабайт. В свою очередь, по расчетам IDC, в прошлом году за один час в мире отправлялось 35 млрд. сообщений. Если учитывать эти числа, то получается, что на одно сообщение приходится примерно 3,4 Мб информации. Конечно, большинство писем электронной почты не сопровождаются объемистыми сообщениями. Но не так уж мало вложений содержат выборки из корпоративных баз данных или же презентации с графическими слайдами и видео. Размер такого вложения – несколько десятков мегабайт. Для подготовки подобного сообщения задействуются мощные вычислительные ресурсы. Кроме того, сами базы данных десятками обрабатываются в разного рода приложениях, охватывающих практически все аспекты деятельности компании.
Интенсивные потоки данных, циркулирующие в информационных системах многих предприятий, требуют особой организации ИТ-инфраструктуры. Она должна адаптироваться к изменяющимся требованиям бизнеса и, в частности, обеспечивать неизменный рост производительности используемых решений и максимальную эффективность их эксплуатации.
Концентрация ресурсов
Вариантом решения этой проблемы может быть концентрация вычислительных ресурсов и распределение их функций между приложениями. Такой подход получил название «виртуализация ресурсов».
«Виртуализация ресурсов» вновь вызвала интерес к концепции централизованных вычислений. Результатом реализации этой концепции являются центры обработки данных (ЦОД). Центр обработки данных (ЦОД) — группа помещений, основной функцией которых является размещение оборудования обработки и хранения данных.
Свои варианты организации центра обработки данных представляют все ведущие производители компьютерного и коммуникационного оборудования, а также программного обеспечения, которое организует функционирование и управление информационными системами. Как правило, в этих решениях используются последние разработки компаний. В свою очередь, следует уделять особое внимание ИТ-инфраструктуре, в рамках которой осуществляется централизация вычислительных ресурсов.
Проиллюстрировать необходимость наличия универсальной и производительной инфраструктуры для ЦОД можно по аналогии с автомобильной промышленностью.
Первые автомобили по конструкции повторяли конные экипажи, и только через какое-то время были выработаны универсальные принципы компоновки узловых элементов, которые сохраняются неизменными. На основе этих принципов происходило непрерывное совершенствование конструкции автомобиля, целью которого было создание оптимально функционирующих и к тому же более экономичных моделей.
В то же время транспортное средство, представляющее собой телегу, на которой установлен самый современный автомобильный двигатель, разумеется, не будет удовлетворять эксплуатационным характеристикам и экономическим показателям. Так и с центрами обработки данных. Подходы, применяемые для построения инфраструктуры вычислительных центров шестидесятых-семидесятых годов или даже для серверных комнат, не соответствуют оборудованию в современном ЦОД.
Стандарты для ЦОД придерживаются базового принципа построения
кабельной инфраструктуры по топологии «иерархическая звезда»
Таким образом, возникла необходимость разработки особого стандарта, определяющего проектирование и построение инфраструктуры для центра обработки данных. Современная концепция ЦОД строится на определении его функционального назначения и сервисов, реализуемых информационной системой в рамках предприятия, или же сервисов, предоставляемых сторонним потребителям.
В соответствии со своим назначением центры обработки данных можно разделить на две группы. Первая — это частные (или корпоративные) центры данных, которые работают исключительно в рамках конкретной компании. Вторую группу составляют центры обработки данных общего пользования, которые зачастую принадлежат поставщикам интернет-услуг и используются для реализации таких сервисов, как вэб-хостинг, коллокация, аренда приложений, развертывание электронной коммерции и др. Но и те, и другие центры прежде всего представляют собой помещения, в которых устанавливается компьютерное и сетевое оборудование и создаются условия для непрерывной и надежной работы этого оборудования, а также систем хранения. Среди обязательных условий нормального функционирования ЦОД можно назвать наличие бесперебойного питания, соблюдение температурного режима и реализацию сетевых подключений в рамках центра обработки данных, а также подключений к сетям поставщиков телекоммуникационных услуг.
Стандарты инфраструктуры
В настоящее время существует два стандарта, определяющих принципы построения инфраструктуры центров обработки данных. Это разработанный в США стандарт TIA/EIA-942 и европейский стандарт EN 50173-5. Оба стандарта содержат много сходных положений, но сфера действия американского стандарта намного шире, ведь он определяет не только особенности организации кабельной проводки. Номер европейского стандарта говорит о том, что он принадлежит к группе кабельных стандартов, а число после дефиса указывает на применение в соответствующих помещениях. Так, EN 50173-5 — это европейский стандарт, в основном определяющий кабельные решения для центров обработки данных.
Стандарт TIA/EIA-942 рассматривает несколько вариантов построения
кабельной инфраструктуры
Американский стандарт рассматривает структуру в целом и содержит не только общие руководства по организации кабельной инфраструктуры, установке монтажной арматуры и определению мест для укладки кабеля. В нем также уделено внимание проектированию сети, организации доступа, правилам размещения центра обработки данных, архитектурным особенностям помещений, организации электропитания, освещения, климатических условий, обеспечению бесперебойной работы оборудования, пожарной безопасности и защите от влаги. Важной составляющей стандарта является требование обеспечения высокой эксплуатационной готовности оборудования в центре обработки данных, необходимого для обслуживания запросов, которые поступают от большого числа пользователей. Ввиду столь широкого охвата проблематики, связанной с реализацией инфраструктуры ЦОД, далее будет рассматриваться в основном американский стандарт.
Одобренный в апреле 2005 года органами стандартизации США стандарт TIA/EIA-942 Telecommunications Infrastructure Standard for Data Centers определяет требования и основные правила для проектирования и реализации центров обработки данных и компьютерных помещений (серверных залов).
Своеобразной «отправной точкой» действия стандарта является начало проектных работ, предшествующих строительству или реконструкции здания. Только на этом этапе можно в полной мере оценить все архитектурные особенности помещений центра обработки данных и обеспечить взаимодействие всех технических систем. Поэтому руководствоваться стандартом должны в первую очередь проектировщики, так как им приходится планировать взаимосвязь архитектуры здания, его технических систем и кабельной инфраструктуры с учетом функционирования большого количества компьютерного оборудования с высокой плотностью компоновки.
Перечень основных элементов
Стандарт TIA/EIA 942 предусматривает обязательное выделение специализированных помещений и организацию рабочих зон. В частности, это помещения для подводки внешних телекоммуникационных систем (Entrance Room), компьютерного оборудования (Computer Room), телекоммуникационного оборудования (Telecommunications Room) и помещения для инженерных систем, например, электрощитовые, производственные помещения систем кондиционирования и вентиляции и т.п.
Для мониторинга и управления центром данных (особенно центром, который обеспечивает выполнение ответственных задач) организуется центр текущего управления сетью (Network Operations Center — NOC). Его функционирование заключается в определении неисправностей и разработке действий, исключающих такие последствия, как возможный простой компьютерного оборудования. В NOC размещаются технические средства, которые, в частности, осуществляют мониторинг теплового режима, отслеживают остановки и сбои в работе оборудования с последующей диагностикой модулей и блоков, которые вышли из строя.
Кроме помещений для установки компьютерного оборудования, в здании центра обработки данных могут выделяться помещения для размещения офисных и вспомогательных служб, таких как центры обслуживания клиентов или службы подготовки ввода данных. К числу таких помещений относятся коммутационные пункты горизонтальной проводки для офисных и вспомогательных служб.
Области коммутации
В помещении для компьютерного оборудования выделяются области основной разводки (Main Distribution Area — MDA), горизонтальной разводки (Horizontal Distribution Area — HDA), зоновой разводки (Zone Distribution Area — ZDA) и область разводки оборудования (Equipment Distribution Area — EDA).
Помещения для ввода внешних систем (ER), MDA, HDA, ZDA и EDA хотя во многом и соответствуют, но не тождественны помещениям и зонам, указанным в стандарте TIA/EIA-568-В.1 (Entrance Facility, Equipment Room, Telecom Room, Consolidation Point and Work Area). В европейском стандарте EN 50173-5 используются другие названия элементов кабельной инфраструктуры. Внешние телекоммуникационные сервисы подводятся к внешнему интерфейсу сети (External Network Interface -ENI), который соединяется с основным центром коммутации (Main Distributor — MD) посредством подсистемы сетевого доступа (network access cabling). В зоновой подсистеме осуществляется разводка до розеток оборудования (Equipment Outlets — EO) или непосредственно, или через подключение локальных распределительных пунктов (Local Distribution Point — LDP). Правда, LDP — это необязательный элемент.
Расположение помещений и зон определяется размерами центра обработки данных, а также возможностями установки дополнительного оборудования и перехода на более совершенные коммуникационные технологии.
В помещениях для подводки внешних телекоммуникационных систем располагаются интерфейсы, соединяющие структурированную кабельную систему центра обработки данных с магистралями группы зданий, а также с кабельным оборудованием поставщиков телекоммуникационных услуг. Это может быть отдельное помещение (стандарт рекомендует выделять отдельное помещение из соображений безопасности), но допускается и объединение с помещением для компьютерного оборудования. В общем помещении оборудование, обеспечивающее ввод внешних телекоммуникационных сервисов, консолидируется в MDA.
В центре данных может насчитываться несколько помещений для подводки внешних телекоммуникационных систем, что позволяет соблюдать ограничения длины линий связи, а также реализовывать обслуживание разных подразделений.
Область основной разводки (MDA) — это место размещения основного коммутационного центра кабельной системы ЦОД. MDA является наиболее подходящим местом для установки маршрутизаторов и коммутаторов ядра локальной вычислительной сети центра данных и сети хранения. Кроме того, в эту область могут интегрироваться распределительные пункты горизонтальной разводки, обслуживающие оборудование в непосредственной близости от MDA.
Области горизонтальной разводки выделяются для реализации распределительных пунктов горизонтальной подсистемы, кабельные линии которой доходят до области разводки оборудования. Поэтому HDA рассматривается как место размещения коммутаторов локальной вычислительной сети и сети хранения, а также KVM-коммутаторов (позволяющих управлять несколькими серверами посредством одного комплекта «клавиатура-видео-мышь»), которые обслуживают оборудование в соответствующих EDA.
Дополнительные коммутационные центры зонового кабельного оборудования, которым соответствуют области зоновой разводки, — это необязательные элементы. Они размещаются между HDA и EDA, там, где необходимо часто проводить реконфигурацию кабельного оборудования, или же используются как средство обеспечения дополнительной гибкости в горизонтальных решениях. Горизонтальные кабели, которые подходят к ZDA, оконечиваются в зоновой розетке или точке консолидации. Дальнейшая разводка осуществляется с помощью коммутационных шнуров.
В области зоновой разводки не рекомендуется устанавливать активное оборудование, за исключением решений по организации электропитания на витой паре.
В области EDA осуществляются сетевые подключения, необходимые для компьютерного оборудования. Розетки EDA рекомендуется реализовывать посредством коммутационных панелей, которые размещаются в стойках с оборудованием.
Допускаются дополнительные соединения между HDA (в том числе с целью резервирования) или соединения с кабельным оборудованием помещений для подводки внешних телекоммуникационных систем (когда выделяется несколько таких помещений).
Варианты топологии
Стандарт TIA/EIA-942 рассматривает несколько вариантов построения кабельной инфраструктуры. Базовая топология наилучшим образом подходит для любого ЦОД — и для корпоративного, размещенного на одной площадке, и для центра общего пользования, рассредоточенного по нескольким площадкам.
В распределенных центрах обработки данных выделяется несколько помещений для подводки внешних телекоммуникационных систем. Это делается из соображений безопасности или при необходимости охватить большие расстояния по сравнению с максимально допустимой дальностью связи.
Упрощенная топология центра обработки данных предполагает совмещение HDA и MDA. В небольших ЦОД эти коммутационные пункты также могут совмещаться с оборудованием TR и ER. Эта система допускает увеличение длины горизонтальной линии на оптическом волокне до 300 м.
В ЦОД с централизованной топологией реализуется оптическая система с центральным администрированием. В такой системе вся электроника концентрируется в MDA и EDA, а горизонтальная подсистема отсутствует.
Организация кабельной проводки
Кабельное оборудование центра данных составляют горизонтальная проводка, магистральная проводка и коммутационное оборудование в соответствующих областях.
Магистральная проводка осуществляет соединения Entrance Room, MDA и HDA. Горизонтальная проводка — это часть СКС от точки терминирования в EDA до горизонтального распределительного пункта в одной из областей HDA. Поскольку в магистральной проводке фактически агрегируется трафик, поступающий по горизонтальным линиям, она должна обладать соответствующей пропускной способностью.
Реализация горизонтальной и магистральной проводок, согласно стандартам, осуществляется для ЦОД по неизменному для СКС принципу «иерархической звезды».
Допускается только один уровень иерархии для магистральной проводки, что предполагает наличие одного распределительного пункта.
Вместе с тем стандарты предусматривают возможность резервирования разводки. Для этого вводится область вторичной разводки, коммутационный пункт которой соединяется с распределительными пунктами горизонтальной разводки, дублируя соединения с областью основной разводки.
Стандарт EN 50173-5 предусматривает применение кабельного оборудования на витой паре и оптическом волокне. Минимальная производительность медных систем определяется классом Е. Минимальная производительность для оптики — классом OF-300, реализуемым волокном ОМ-2 или ОМ-3. В стандарте приводятся длины оптических кабельных трактов на волокне ОМ-1, ОМ-2 и ОМ-3.
Стандарт TIA/EIA-942 предусматривает применение кабельного оборудования, коммутационного оборудования и коммутационных шнуров в соответствии с AN-SI/TIA/EIA-568-B.2 и В.З. Это такие среды передачи, как витая пара с волновым сопротивлением 100 Ом, многомодовое волокно (62,5/125 или 50/125) и одномодовое волокно.
Кроме того, для ряда приложений допускается применение коаксиального кабеля с волновым сопротивлением 75 Ом.
Технологическое долголетие для решений, которые реализуются во вновь разрабатываемых проектах, обеспечивают некоторые типы кабеля. В TIA/EIA-942 рекомендуются витая пара шестой категории и оптимизированное для лазерного излучения пятидесятимикронное волокно. Ввиду того, что на момент принятия TIA/EIA-942 отсутствовал стандарт на витую пару шестой категории Aughmented (для передачи десятигигабитного трафика), возможно указание этого типа кабеля в качестве предпочтительного для использования в центрах обработки данных.
Длина кабельных трактов (с коммутационными шнурами) в горизонтальной проводке для кабеля любого типа не должна превышать 100 м. Для решений с вырожденной магистралью, в которых HDA интегрируется с MDA, длина оптических кабельных трактов может достигать 300 м.
Стандарт TIA/EIA-942 выдвигает ряд требований и рекомендаций, касающихся организации кабельной проводки. Все компьютерное и коммутационное оборудование размещается в монтажных шкафах и стойках. Кабель, соединяющий стойки, должен укладываться в эксплуатационных полах (фальшполах) или размещаться в арматуре, устанавливаемой в промежутках между рядами стоек или же подвешенной над стойками. Эта арматура может использоваться для обеспечения оптимального заполнения кабелями в системе фальшполов. Телекоммуникационные кабели в пространствах под фальшполами должны непременно укладываться в кабельные лотки.
Подвесная арматура, в свою очередь, должна образовывать два или три уровня, один из которых предназначается для силовой проводки, а остальные — для телекоммуникационных кабелей. Но и телекоммуникационные кабели разного типа в центре обработки данных должны подводиться к разным стойкам и прокладываться отдельно друг от друга.
В TIA/EIA-942 также определена схема маркировки для всех стоек, кабельных линий, коммутационных панелей и коммутационных шнуров.
Уровни надежности
Чтобы поддерживать надежность работы центров обработки данных, в стандарте TIA/EIA-942 специфицируются уровни эксплуатационной готовности и перечисляются меры, обеспечивающие функционирование оборудования ЦОД с учетом характеристик того или иного уровня.
Стандарт производит аттестацию центров обработки данных в соответствии с четырьмя определенными уровнями (Tiers). Чем больше номер уровня, тем выше эксплуатационная готовность. Классификация по уровням дает проектировщикам возможность определять, какие решения следует применять в том или ином случае. Кроме того, она позволяет быстро и эффективно оценивать работу центра обработки данных, что может понадобиться потребителю услуг хостинга.
Такую классификацию в свое время предложили специалисты из Uptime Institute. Эта организация из Санта Фе (США) занимается анализом нарушений в работе оборудования центров обработки данных и предлагает рекомендации по обеспечению его бесперебойной работы.
Для каждого уровня приводятся детальные рекомендации, определяющие особенности архитектурного проекта, а также рекомендации по функционированию инженерных систем.
Классификация по уровням рассматривает возможность сохранения работоспособности при наличии хотя бы одного выхода из строя в каком-то из инфраструктурных решений. Проект, в котором возможно проведение плановых работ по техническому обслуживанию без нарушения работы системы, определяется как допускающий одновременную эксплуатацию и техническое обслуживание. Это обслуживание предусматривает выполнение заранее запланированных работ, процедуры проведения которых четко определены: всевозможные проверки, настройки, регламентные работы, тестирование систем и входящих в них компонентов.
Различия между уровнями определяются величиной эксплуатационной готовности. Так, для центров обработки данных первого уровня (I) величина эксплуатационной готовности должна быть не меньше 99,671%, что соответствует максимально-допустимой суммарной длительности простоев 28 часов 48 минут. Это базовый уровень работоспособности центра обработки данных. В таком ЦОД может устанавливаться источник бесперебойного электропитания и даже аварийный генератор, но вместе с тем используется единый канал подвода электропитания и единый канал распределения охлаждающего воздуха.
Проведение регламентных или ремонтных работ требует полного вывода из эксплуатации всей инфраструктуры. Поэтому внештатные ситуации являются причиной довольно длительных простоев.
Уровень с резервированием компонентов (уровень II) допускает длительность простоя не более 22 часов за год (эксплуатационная готовность — 99,741%). Причины простоев — те же, что и для предыдущего уровня, — нештатные ситуации и плановые перерывы на техническое обслуживание. Также уязвимым местом являются активные подводы коммуникаций (по одному на систему). Резервирование осуществляется по схеме N + 1.
Эффективность отвода тепла должны обеспечивать холодные и горячие коридоры
Одновременно обслуживаемые центры обработки данных уровня III допускают проведение любых запланированных действий по техническому обслуживанию без прерывания работы компьютерного оборудования. Годовой простой на этом уровне не должен превышать 1 часа 36 минут (эксплуатационная готовность -99,982%). В таких ЦОД реализуется несколько каналов подвода коммуникаций и осуществляется резервирование всех кабельных линий. Если используется водяное охлаждение, должно предусматриваться дублирование трубопроводов.
Стойкие к неисправностям центры обработки данных четвертого уровня обеспечивают 99,995% эксплуатационной готовности и допускают простои на протяжении всего 25 минут за год. Функциональные возможности инфраструктуры ЦОД уровня IV позволяют сохранять работоспособность при самых неблагоприятных обстоятельствах, сопровождающих нештатную ситуацию. Такие решения предполагают наличие в каждой системе нескольких активных каналов или даже резервирование типа «система +система».
Инфраструктура центра данных четвертого уровня является оптимальной рабочей средой для реализации высоконадежных ИТ-решений, таких как кластерные вычислительные системы, системы хранения и отказоустойчивые компьютерные сети.
Требования к окружению
Для надежного функционирования оборудования, удовлетворяющего высокому уровню эксплуатационной готовности, необходимо обеспечивать соответствующие условия окружающей среды. В первую очередь нужно отводить большое количество тепла, выделяемого компьютерным оборудованием. Речь идет о большом количестве тепла, которое нарастает по мере увеличения мощности систем и плотности их компоновки в таких устройствах, как серверы высотой 1U или блейд-серверы.
Поэтому одним из наиболее существенных моментов, отображенных в стандарте, является ряд требований относительно формирования воздушных потоков, охлаждающих оборудование. Чтобы обеспечить их лучшее прохождение, стандарт рекомендует использовать фальшполы. В соответствии со стандартом, фальшпол представляет собой систему съемных плит на регулируемых пьедесталах для обеспечения доступа к пространству под плитами.
Особый подход к расстановке оборудования, обеспечивающий высокую эффективность теплоотвода, состоит в организации «холодных» и «горячих» коридоров из рядов шкафов или стоек. В «холодном» коридоре стойки с оборудованием обращены друг к другу лицевой стороной. Тыльные стороны стоек образуют «горячий» коридор. Холодный воздух через перфорацию в плитах фальшпола подается на оборудование. В «горячем» коридоре устанавливаются плиты без перфорации, что исключает перемешивание холодного и подогретого воздуха. Соответственно, силовая проводка размещается под фальшполом в «холодном» коридоре, а телекоммуникационные кабели — в «горячем» коридоре.
Между лицевыми сторонами стоек должно выдерживаться расстояние не менее одного метра. Рекомендованное значение этого расстояния составляет 1,2 м, чтобы было удобнее устанавливать или снимать оборудование. По меньшей мере 0,6 метра должно разделять задние стороны стоек.
Стандарт определяет довольно много самых разнообразных требований, касающихся размещения ЦОД (наличие поблизости предприятий, больниц, транспортных развязок, аэропортов), парковок для персонала и посетителей, разгрузки и хранения закупаемого оборудования (для этого должно выделяться достаточно места, а двери и проходы должны предусматривать перемещение довольно габаритных предметов). Особо оговариваются механические нагрузки на пол и задаются жесткие климатические условия. Много внимания уделяется взаимосвязи размещения и функционирования решений, относящихся к разным инженерным системам. Например, все водопроводные и сливные трубы не должны проходить над кабельным оборудованием, а светильники головки спринклерной системы пожаротушения не могут размещаться непосредственно над стойками, а только над свободным пространством между ними.
Все эти требования к размещению помещений, функционированию оборудования и инженерных систем, обеспечению безопасности для персонала, оборудования и защиты информации в совокупности гарантируют успешную реализацию центра обработки данных. Игнорирование каких-то из них может обернуться превышением бюджета и задержкой реализации проекта, так как потребуется на ходу что-то переделывать. И только стандартизированный подход, предполагающий сбалансированное и детальное проектирование всех систем, может гарантировать длительную и эффективную эксплуатацию центра обработки данных.