Суперкомпьютерный центр МГУ на базе российских blade-технологий войдет в десятку крупнейших вычислительных центров мира в системе образования

Институт программных систем РАН, компания «Т-Платформы», Московский государственный университет имени М.В..Ломоносова и корпорация Intel объявляют о начале строительства нового суперкомпьютерного комплекса «СКИФ» для МГУ. В марте 2008 года суперкомпьютерный парк Научно-исследовательского вычислительного центра МГУ пополнит кластер пиковой производительностью 60 TFlops на базе 1250 четырехъядерных процессоров Intel® Xeon®, произведенных по 45-нм техпроцессу. По оценкам экспертов, к моменту поставки эта система станет самой мощной законченной суперкомпьютерной установкой в России и СНГ1, а также позволит МГУ занять место в десятке2 самых мощных научно-образовательных вычислительных центров мира. Основу суперкомпьютера МГУ составят blade-системы собственной разработки российской компании «Т-Платформы».
Строительство нового суперкомпьютерного комплекса МГУ станет этапом реализации суперкомпьютерной программы «СКИФ-ГРИД» Союзного государства России и Белоруссии. Эта крупнейшая3 в мире установка на базе процессоров Intel нового поколения будет являться центральным элементом научной суперкомпьютерной сети «СКИФ Полигон», формируемой государственной программой «СКИФ-ГРИД». Весной 2008 года, вместе с новым кластером Южно-Уральского государственного университета на базе аналогичных blade-систем «Т-Платформы» и суперкомпьютером «СКИФ Cyberia», распределенная вычислительная система «СКИФ Полигон» достигнет суммарной пиковой производительности в 88 TFlops.
«Одной из приоритетных задач партии и фракции «Единая Россия» было и остается развитие отечественных наукоемких технологий, и победа партии на парламентских выборах позволит нам продолжить начатую работу, — сообщил Андрей Кокошин, академик РАН, Член Генсовета «Единой России», Председатель комитета ГД РФ по делам СНГ и связям с соотечественниками. — Наши проекты, в частности, суперкомпьютерная программа Союзного государства, нацелены на развитие собственных производств, обеспечивающих нашу национальную безопасность и конкурентоспособность в глобализирующейся экономике».
В качестве вычислительных узлов суперкомпьютера «СКИФ» для МГУ применяются первые в индустрии blade-системы российской разработки, «с нуля» сконструированные инженерами «Т-Платформы» и предназначенные специально для высокопроизводительных вычислений. Шасси T-Blade производства компании «Т-Платформы» имеет высоту всего 5U и вмещает 20 четырехъядерных процессоров Intel® Xeon® E5472 c частотой 3.0 ГГц, позволяя достичь концентрации вычислительной мощности в 7.68TFlops в стандартной 19” стойке. Это на 18% лучше, чем у самого плотного на данный момент конкурирующего blade-решения на базе процессоров Intel западного производства4. Системы T-Blade также являются единственными на сегодняшний день blade-решениями в отрасли, интегрирующими поддержку нового чипсета Intel 5400 с увеличенной до 1600МГц частотой системной шины и поддержкой памяти DDR2-800. Это позволит решению «Т-Платформы» обеспечивать выигрыш до 30% в производительности реальных приложений по сравнению с представленными на рынке вычислительными системами мировых производителей5. За счет использования инновационных технологий Intel и оригинального термодизайна энергопотребление систем T-Blade составляет не более 435Вт на модуль в максимально производительной конфигурации, что на 12% лучше, чем у лидирующего на данный момент западного blade-решения аналогичной производительности на базе Intel6.
В отличие от представленных на российском рынке blade-систем, где выбор интерконнектов и других внешних устройств ограничен наличием нестандартных mezzanine-карт от производителя, системы
T-Blade совместимы с любыми стандартными адаптерами сетевых устройств благодаря слотам расширения PCI-Express 2.0. Эта особенность не только оптимизирует стоимость узла и обеспечивает гибкость при конфигурировании кластерных решений, но в перспективе дает пользователям суперкомпьютерных систем существенный выигрыш в производительности. Так, поддержка самой быстрой в отрасли технологии интерконнекта QDR InfiniBand, полная доступность которой ожидается уже в начале 2008 года, позволит повысить пропускную способность сетевых интерфейсов каждого модуля T-Blade до 40Гб/сек, что в 2 раза лучше, чем у любого из существующих сегодня решений.

Институт программных систем РАН, компания «Т-Платформы», Московский государственный университет имени М.В..Ломоносова и корпорация Intel реализуют комплексный проект строительства суперкомпьютерного центра МГУ, который будет оборудован новейшими вычислительными, инженерными и инфраструктурными решениями, на объединенные средства МГУ им. Ломоносова и суперкомпьютерной программы «СКИФ-ГРИД», финансируемой из бюджета Союзного государства. Общая стоимость комплексного проекта составила 220 млн. руб.

«Сегодня трудно представить себе область науки, где использование суперкомпьютеров не давало бы кардинального сокращения сроков исследований. При этом опросы пользователей суперкомпьютеров, проведенные Советом по конкурентоспособности США, наглядно доказывают, что именно доступ к сверхпроизводительным суперкомпьютерам мощностью в десятки терафлоп обеспечивает качественный скачок (по сравнению с меньшими мощностями), ведущий к открытию принципиально новых возможностей и явлений. Я считаю очень важным то, что самая мощная установка «СКИФ Полигона» будет установлена именно в МГУ. Это обеспечит доступ тысяч ученых к вычислительным ресурсам мирового уровня суперкомпьютера СКИФ Т-60, к программным разработкам семейства СКИФ и к уникальному опыту команды НИВЦ МГУ», — заявил Сергей Абрамов, Директор ИПС РАН, научный руководитель программы «СКИФ-ГРИД» от РФ.

«НИВЦ МГУ на протяжении многих лет выполнял роль основного вычислительного центра российской системы образования. Мы накопили колоссальный опыт не только в самостоятельных исследованиях, от фундаментальных проблем создания крупных вычислительно-информационных систем до методов прикладного математического моделирования, но и в работе с десятками научных коллективов по всей стране. Тесные партнерские и дружеские связям с лучшими командами российских вузов, приобретенные в ходе совместных исследований, позволят НИВЦ максимально полно задействовать новые вычислительные ресурсы и дать быстрый старт множеству передовых научных проектов», — сообщил Владимир Воеводин, Зам. директора НИВЦ МГУ им. М.В.Ломоносова.

«Согласно ноябрьскому списку рейтинга 500 наиболее высокопроизводительных вычислительных систем в мире (Top500), 354 позиции в нем занимают SMP-системы и кластеры на базе процессоров Intel. Таким образом, корпорация Intel поставила новый рекорд по использованию ее процессоров в самых мощных суперкомпьютерах планеты – предыдущий рекорд был установлен два года назад и составлял 333 системы, — отметил Дмитрий Конаш, региональный директор Intel в странах СНГ. — Уместно отметить, что Россия в рейтинге Топ500 представлена семью системами и вместе со Швейцарией и Швецией занимает 9 место в списке стран, располагающих самыми высокопроизводительными компьютерами. При этом 6 из 7 российских систем, вошедших в список Тор500, основаны на четырехъядерных и двухъядерных процессорах Intel® Xeon®. С приходом на рынок многоядерных решений от Intel, и тем более решений, созданных на базе 45-нм инновационной технологии, мы видим гигантский всплеск интереса к нашим высокопроизводительным платформам, в том числе и со стороны отечественных потребителей – в данном случае, мы признательны разработчикам суперкомпьютерного комплекса «СКИФ» за сделанный ими выбор».
 «Менее чем за год инновационные технологии Intel в сочетании с российскими разработками обеспечили переход отечественной суперкомпьютерной отрасли на новый уровень вычислительной плотности, что легко демонстрирует сравнение нового суперкомпьютера «СКИФ» для МГУ и «СКИФ Cyberia»: сегодня мы можем построить в 5 раз более мощный суперкомпьютер, увеличив количество стоек и общей занимаемой установкой площади всего на 30%, — сказал Всеволод Опанасенко, Генеральный директор компании «Т-Платформы». — Как и год назад при строительстве «СКИФ Cyberia», мы имеем возможность использовать только пиковые технологии в строительстве наиболее мощных суперкомпьютерных установок России, поддерживая отечественную HPC-отрасль на самом высоком мировом уровне. Мы очень благодарны нашим технологическим партнерам, таким как Intel, за эту возможность».

1 пиковая производительность самого мощного на данный момент на территории России и СНГ суперкомпьютера Межведомственного суперкомпьютерного центра РАН на базе HP Cluster Platform 3000 BL460c c использованием четырехъядерных процессоров Intel Xeon предыдущего поколения составляет 45TFlops.
2 на основе анализа выборки из текущего списка Тор500 самых мощных компьютеров мира от ноября 2007 по сегменту Academic (см. www.top500.org/sublist).
3 на момент поставки на базе процессоров Intel, произведенных по 45-нм техпроцессу (по предварительным данным Intel).
4 По данным, опубликованным на сайте производителя: http://h10010.www1.hp.com/wwpc/ru/ru/sm/WF04a/382783-383839-384315-384315-12489824.html. Самая плотная на сегодняшний день blade-система с поддержкой четырехъядерных процессоров Intel предыдущего и нового поколений HP ProLiant BL460c позволяет разместить 128 процессоров в стойке высотой 42U, достигая максимальной пиковой производительности в 6.5TFlops на стойку. Решение «Т-Платформы» позволяет разместить 160 четырехъядерных процессоров в стандартной стойке, увеличивая максимальную пиковую производительность системы на 18% по сравнению с решением HP.
5 по данным Intel: http://www.intel.com/performance/server/xeon/summary.htm
6 по данным, полученным в результате расчетов энергопотребления конфигурации blade-системы на сайте производителя с помощью конфигуратора HP BladeSystem PowerSizer: http://h71019.www7.hp.com/ActiveAnswers/cache/347628-0-0-0-121.html. При сравнении энергопотребления blade-шасси HP ProLiant BL460c и T-Blade при аналогичной доступной конфигурации blade-модуля (максимальное количество четырехъядерных процессоров Intel Xeon 3.0ГГц, 32МБ ОЗУ, 1 HDD SATA 120ГБ) энергопотребление системы HP составило 495Вт в пересчете на 1 blade-модуль. Энергопотребление решения T-Platforms T-Blade в аналогичной конфигурации составило 435Вт на 1 blade-модуль.

Приложение 1. Основные технические характеристики систем T-Blade производства
«Т-Платформы».

Шасси 
Количество модулей и форм-фактор 10 двухпроцессорных модулей в форм-факторе высотой 5U с «горячей заменой», 80 ядер на шасси
Max. пиковая производительность шасси 960GFlops
Вычислительная плотность в стойке 160 процессоров (640 ядер) в стойке высотой 42U
Max. пиковая производительность в стойке 42U 7.68TFlops
Питание 8 блоков питания по 650Вт с избыточностью N+1
Энергопотребление шасси (max.) 4350Вт
Соотношение производительности к энергопотреблению 0.22Гфлопс/Вт (до 15% лучше чем у существующих решений)
Охлаждение 10 вентиляторов с «горячей заменой»
 
Вычислительный модуль 
Процессор 2 четырехъядерных процессора Intel Xeon E54хх (45-нм)
Набор микросхем Intel 5400 с поддержкой FSB 1600 МГц и PCI-Express 2.0
Оперативная память до 64GB памяти DDR2-667/800 (8 слотов)
Дисковая память 2 диска SATA 2.5” общим объемом 500ГБ
Слоты расширения 1 слот расширения PCI-Express 2.0x16
Сетевой интерфейс 2 порта GbE
Интерконнект любой, включая ConnectX DDR и QDR InfiniBand, а также 10G Ethernet
Пропускная способность сетевых интерфейсов до 20Гб/сек (до 40Гб/сек с выходом QDR InfiniBand)
Управление Модуль управления шасси обеспечивает удаленный контроль за состоянием блоков питания и вентиляторов. Поддержка стандарта IPMI 2.0, KVM over LAN, выделенный порт Ethernet для мониторинга систем питания и охлаждения, сервисная сеть «СКИФ ServfNet» (аппаратный сброс узла, селективное включение/выключение питания, селективный доступ к консоли любого узла, настройка BIOS, управление параметрами загрузки ОС, выполнение консольных команд, аппаратный энергонезависимый буфер памяти с «посмертными» сообщениями ОС)