Infiniband коммутатор Voltaire

Высоконагруженные облачные вычисления. 
Решение на базе оборудования HP и Voltaire

 

VoltaireВ 2009 году перед компанией «Тристан» встала задача по поставке и кластерного комплекса облачных вычислений для одного из крупных партнеров. После запуска система должна была обеспечивать беспрецедентную скорость передачи данных между элементами: серверами, системами хранения данных на дисках SATA/SAS и SSD и коммутационными блоками.

На проектной стадии было принято решение использовать скоростную центральную коммутирующую матрицу и несколько коммутационных блоков дистрибуционного уровня. В качестве шины передачи данных внутри матрицы и от матрицы к серверам и контроллерам СХД рассматривались несколько интерфейсов: 40 Gbit Ethernet, FibreChannel и Infiniband. После всестороннего анализа сильных и слабых сторон каждой технологии, соответствия возможностей поставленной задаче, и стоимости решения в целом, выбор пал на технологию Infiniband. Было принято решение использовать в качестве центральной коммутирующей матрицы 324-портовый Infiniband-коммутатор Voltaire Grid Director 4700. В состав комплекса также вошло серверное оборудование и системы хранения данных производства компании HP, в частности серверы ProLiant серии DL и системы хранения данных серии MSA. Также используются коммутаторы дистрибуционного уровня Juniper Networks EX8200.

Стойка HPКомплекс размещается в современном дата-центре высокого класса и занимает несколько серверных стоек. Высокопроизводительный коммутатор Voltaire Grid Director 4700 достигает внутренней пропускной способности на бэкплейне в 51,8 Терабит, что является беспрецедентным и до сих пор не превзойденным показателем, полностью соответствующим поставленной задаче.

Коммутатор используется для объединения в одну распределенную сеть серверов и хранилищ данных, обеспечения маршрутизации и обработки интернет-трафика на скоростях в десятки гигабит и организации передачи данных в кластерной файловой системе GPFS. Он включает в себя 324 Infiniband-порта с пропускной способностью в 40 Гбит/с каждый. Все порты подключены к управляющей матрице «бэкплейну», осуществляющей маршрутизацию передаваемых данных, суммарная производительность составляет 51,8 Терабит в секунду. Оборудование подключается к портам коммутатора с помощью специальных разъемов QFSP, обеспечивающих автоматическую настройку оптимальных параметров передачи данных.

Очевидно, коммутатор выступает центральным звеном системы. Но и остальные представляют особый интерес. Различные серверы HP серии DL, снабженные Infiniband-адаптерами, управляют дисковыми полками серии MSA. Полки работают под управлением кластерной файловой системы GPFS. В результате итоговая суммарная производительность системы находится на ощутимо более высоком уровне, нежели это могло бы быть с использованием более дорогих и скоростных дисковых полок без высокопроизводительного центрального коммутатора.

Немаловажно, что общая стоимость системы с использованием технологии Infiniband в итоге ниже, чем стоимость решения на протоколах Ethernet + FibreChannel. Реализованный компанией «Тристан» проект является беспрецедентным для России по составу оборудования, полученной скорости внутреннего обмена данными и итоговой сложности настолько сложного технологического решения.

*********************************************************

Краткие технические характеристики Voltaire®QDR InfiniBand Grid Director 4700:

  • Экстремальный уровень производительности, благодаря отсутствию узких мест ввода/вывода
  • Неограниченная масштабируемость приложений, баз данных и серверов хранения данных
  • Идеально для научных, коммерческих высокопроизводительных вычислений, а так же корпоративных приложений
  • Ультра-низкая латентность между портами: от 100 до 300 надосекунд
  • 324 QDR (40Gb/s) порта в коммутаторе высотой 19U
  • Уникальная архитектура HyperScale™ позволяет расширяться до тысяч узлов в одной ветви коммутаторов (при латентности до 400 наносекунд)
  • Полоса пропускания: до 51.8 Tbps неблокируемой пропускной способности
  • Простое и быстрое управление устройством через Voltaire Unified Fabric Manager (UFM)
  • Поддержка длинных кабелей
  • Усовершенствованные алгоритмы маршрутизации
  • Расширенный функционал управления перегрузками
  • Благодаря отсутствию единой точки отказа и предупреждениям об отказах в режиме онлайн гарантируется нулевое время простоя

Juniper EX82Общая Ethernet-коммутация и организация интернет-каналов возложены на коммутаторы Juniper EX82. 

За охлаждение отвечают два вентиляторных модуля, вертикальный и горизонтальный. При этом общее направление движения воздуха остается стандартным, спереди – назад. Это сделано для того, чтобы Grid Director можно было устанавливать в обычные стойки в стандартных дата-центрах, хотя все порты у коммутатора расположены сзади, что не так часто встречается. 

Часть хранилищ подключается напрямую по SAS к серверам с Infiniband-модулями. 

 

 

Получить дополнительную информацию.
Заказать проект.
Получить спеццены

(заполните пожалуйста все поля формы)


Контактное лицо
Контактный телефон
Название организации
Адрес электронной почты
Ваш вопрос
Контрольное выражение
5 - 0 = ??

Тристан Системная интеграция
Серверы, системы хранения данных, системы беспребойного питания, беспроводные решения
г. Москва, шоссе Энтузиастов, д. 21, офис 413
Телефон: +7 (495) 730-63-00 +7 (495) 730-61-00

Серверы

HPE Proliant DL580 Gen10
HPE Proliant DL560 Gen10
HPE Proliant DL380 Gen10
HPE Proliant DL360 Gen10

Системы хранения

Системы хранения HPE 3Par
СХД HPE 3PAR StoreServ 8000 Storage
Система HP StorageWorks MDS600
Система хранения данных HPE MSA

Сетевое оборудование

Коммутаторы HPE Aruba
Коммутаторы HPE PoE/PoE+
HPE Aruba 5400R zl2
HPE FlexFabric 12500

Бесперебойное питание

ИБП Tripp Lite Line Interactive
ИБП Tripp Lite SmartOnline 3ph
APC Smart-UPS VT
APC Symmetra PX

Конфигураторы

HPE Synergy
Сетевое оборудование HPE
Подбор ПДУ Tripp Lite
Подбор ПДУ Eaton
© ООО "Тристан", 2003 - 2019.
Поставка серверного и сетевого оборудования, систем хранения,
систем бесперебойного питания, программного обеспечения