| Высоконагруженные облачные вычисления. Решение на базе оборудования HP и Voltaire |
 |
|
На проектной стадии было принято решение использовать скоростную центральную коммутирующую матрицу и несколько коммутационных блоков дистрибуционного уровня. В качестве шины передачи данных внутри матрицы и от матрицы к серверам и контроллерам СХД рассматривались несколько интерфейсов: 40 Gbit Ethernet, FibreChannel и Infiniband. После всестороннего анализа сильных и слабых сторон каждой технологии, соответствия возможностей поставленной задаче, и стоимости решения в целом, выбор пал на технологию Infiniband. Было принято решение использовать в качестве центральной коммутирующей матрицы 324-портовый Infiniband-коммутатор Voltaire Grid Director 4700. В состав комплекса также вошло серверное оборудование и системы хранения данных производства компании HP, в частности серверы ProLiant серии DL и системы хранения данных серии MSA. Также используются коммутаторы дистрибуционного уровня Juniper Networks EX8200.
Коммутатор используется для объединения в одну распределенную сеть серверов и хранилищ данных, обеспечения маршрутизации и обработки интернет-трафика на скоростях в десятки гигабит и организации передачи данных в кластерной файловой системе GPFS. Он включает в себя 324 Infiniband-порта с пропускной способностью в 40 Гбит/с каждый. Все порты подключены к управляющей матрице «бэкплейну», осуществляющей маршрутизацию передаваемых данных, суммарная производительность составляет 51,8 Терабит в секунду. Оборудование подключается к портам коммутатора с помощью специальных разъемов QFSP, обеспечивающих автоматическую настройку оптимальных параметров передачи данных. Очевидно, коммутатор выступает центральным звеном системы. Но и остальные представляют особый интерес. Различные серверы HP серии DL, снабженные Infiniband-адаптерами, управляют дисковыми полками серии MSA. Сравнительно невысокая скорость каждой из полок компенсируется их высоким количеством и работой под управлением кластерной файловой системы GPFS. В результате итоговая суммарная производительность системы находится на ощутимо более высоком уровне, нежели это могло бы быть с использованием более дорогих и скоростных дисковых полок без высокопроизводительного центрального коммутатора. Немаловажно, что общая стоимость системы с использованием технологии Infiniband в итоге ниже, чем стоимость решения на протоколах Ethernet + FibreChannel. Реализованный компанией «Тристан» проект является беспрецедентным для России по составу оборудования, полученной скорости внутреннего обмена данными и итоговой сложности настолько сложного технологического решения.
*********************************************************
Краткие технические характеристики Voltaire®QDR InfiniBand Grid Director 4700:
 Общая Ethernet-коммутация и организация интернет-каналов возложены на
коммутаторы Juniper EX82. За охлаждение отвечают два вентиляторных модуля, вертикальный и горизонтальный. При этом общее направление движения воздуха остается стандартным, спереди – назад. Это сделано для того, чтобы Grid Director можно было устанавливать в обычные стойки в стандартных дата-центрах, хотя все порты у коммутатора расположены сзади, что не так часто встречается. Часть хранилищ подключается напрямую по SAS к серверам с Infiniband-модулями. |
В 2009 году перед компанией «Тристан» встала задача по поставке и
кластерного комплекса облачных вычислений для одного из крупных партнеров.
После запуска система должна была обеспечивать беспрецедентную скорость
передачи данных между элементами: серверами, системами хранения данных на
дисках SATA/SAS и SSD и коммутационными блоками.
Комплекс размещается в современном дата-центре высокого класса и занимает
несколько серверных стоек. Высокопроизводительный коммутатор Voltaire Grid
Director 4700 достигает внутренней пропускной способности на бэкплейне в 51,8
Терабит, что является беспрецедентным и до сих пор не превзойденным показателем,
полностью соответствующим поставленной задаче.