авторефераты диссертаций БЕСПЛАТНАЯ  БИБЛИОТЕКА

АВТОРЕФЕРАТЫ КАНДИДАТСКИХ, ДОКТОРСКИХ ДИССЕРТАЦИЙ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


XII НАУЧНО-ПРАКТИЧЕСКАЯ КОНФЕРЕНЦИЯ УНИВЕРСИТЕТА ГОРОДА ПЕРЕСЛАВЛЯ. Переславль-Залесский, 2008

С. М. Абрамов, В. Ф. Заднепровский, А. А. Московский

Отечественные СуперЭВМ и

грид-системы.

Проблемы развития национальной

киберинфраструктуры в России

Научный руководитель: С. М. Абрамов

Аннотация. Статья посвящена проблемам развития национальной кибе-

ринфраструктуры в России. Дается анализ развития зарубежной супер-

компьютерной отрасли и указываются возможные направления развития данной отрасли в России.

1. Введение 1.1. Единственный способ победить в конкуренции –– обогнать в вычислениях Критические (прорывные) технологии в государствах, строящих экономику, основанную на знаниях, исследуются и разрабатывают ся (R&D) на базе широкого использования высокопроизводительных вычислений. И другого пути – нет. Без серьезной суперкомпьютерной – инфраструктуры:

• невозможно создать современные изделия высокой (аэрокос мическая техника, суда, энергетические блоки электростан ций различных типов) и даже средней сложности (автомо били, конкурентоспособная бытовая техника и т. п.);

• невозможно быстрее конкурентов разрабатывать новые ле карства и материалы с заданными свойствами;

• невозможно развивать перспективные технологии (биотех нологии, нанотехнологии, решения для энергетики будущего и т. п.) Представлено по тематике: Программное обеспечение для суперЭВМ, Аппа ратные компоненты и системы суперЭВМ.

Отечественные СуперЭВМ и грид-системы Сегодня суперкомпьютерные технологии по праву считаются важ нейшим фактором для обеспечения конкурентоспособности экономи ки страны1, а единственным способом победить конкурентов объяв ляют возможность обогнать их в расчетах. Здесь характерны слова Президента Совета по конкурентоспособности США:

«Технологии, таланты и деньги доступны мно гим странам. Поэтому США стоит перед лицом непредсказуемых зарубежных экономических кон курентов. Страна, желающая победить в конку ренции, должна победить в вычислениях» [2].

Неважно, о конкуренции в каком секторе экономики идет речь:

сказанное верно для добывающих и перерабатывающих секторов эко номики, и особенно это верно при разработке новых технологий. По этому в развитых странах мира для перехода к экономике знаний создается новая инфраструктура государства –– государственная си стема из мощных суперкомпьютерных центров, объединенных сверх быстрыми каналами связи в грид-систему. То есть, по сути, речь идет о национальной научно-исследовательской информационно-вычисли тельной сети. Для такой системы часто используют термин «кибе ринфраструктура»3. В этих странах на создание национальной ки беринфраструктуры выделяются большие финансы из государствен ных бюджетов: в 2005–2007 гг. США тратили на эти цели от 2 до млрд. долларов в год.

1Например, см. доклад Президенту США комитета PITAC «Вычислитель ные науки: обеспечение превосходства (конкурентоспособности) Америки» [1].

2“With technology, talent and capital now available globally, the U.S is facing unprecedented economic competition from abroad. The country that wants to out compete must out-compute,” – Deborah Wince-Smith, President of the Council on – Competitiveness.

3В данной работе оба термина – «национальная научно-исследовательская – информационно-вычислительная сеть» и «киберинфраструктура», – используют – ся как синонимы.

Отечественные СуперЭВМ и грид-системы 2. Природа экономической эффективности национальной киберинфраструктуры Таким образом, в развитых странах национальная киберинфра структура создается в интересах страны в целом, всех отраслей эко номики государства. Национальная киберинфраструктура рассмат ривается как общественное благо, расходы на ее создание и сопро вождение покрываются из национального бюджета.

По мере создания фрагментов киберинфраструктуры (суперком пьютерных центров, сегментов грид-систем) ее ресурсы предостав ляются, как правило, бесплатно для использования подразделени ям исследований и разработок государственных учреждений (нацио нальных научных центров), ВУЗов и коммерческих фирм –– тем, ко му сегодня необходимы максимальные достигнутые вычислительные мощности. Например, вычислительные ресурсы (процессорное время для расчетов) суперкомпьютерных центров национальных лаборато рий США безвозмездно раздаются в виде грантов по конкурсам на лучшие проекты по научным исследованиям и коммерческим инже нерным разработкам (программа INCITE). Тем самым интерес госу дарства и возврат вложенных в киберинфраструктуру бюджетных средств осуществляется не за счет прямой продажи ресурсов наци ональной киберинфраструктуры, а за счет развития конкурентоспо собности экономики, разработки новых технологий, товаров и услуг, расширения присутствия национальной экономики на мировом рын ке, и увеличения налоговых поступлений в национальную казну. То есть речь идет не о коммерческой, а о бюджетной эффективности го сударственных инвестиций в национальную киберинфраструктуру.

3. Рекордные суперЭВМ необходимы Отметим существенное обстоятельство: для успешной конкурен ции в области создания передовых технологий стране необходимо иметь хотя бы одну суперЭВМ рекордного диапазона –– близкую к «первой десятке» рейтинга Top500. Без этого некоторые из необхо димых расчетов выполнить будет невозможно. И причина этого не только в большом объеме вычислений. Для действительно «боль ших» задач в типичных случаях окажутся неверными рассуждения вида: «Наша установка в 5–10 раз менее производительная. Ну и лад но, счет займет в 5–10 раз больше времени, мы подождем...». Дело в том, что менее мощная установка имеет и меньшую оперативную Отечественные СуперЭВМ и грид-системы память. И задача может просто «не поместиться» в память такой су перЭВМ. И расчет будет принципиально невозможен на данной су перЭВМ не только из соображений неприемлемо большого времени счета, но из-за высоких требований по памяти.

4. Необходима система различных по мощности суперЭВМ Обычно национальная киберинфраструктура состоит из супер компьютерных центров нескольких «уровней», объединенных сверх мощными каналами связи и оснащенных грид-решениями, позволя ющими использовать распределенную, гетерогенную сеть суперком пьютеров как единую вычислительную среду.

Например, в США запланировано создание грид-сети, включаю щей три–четыре сверхмощных суперкомпьютерных центров (произ водительностью4 1 Pflops и более), 20–30 крупных суперкомпьютер ных центров (60–350 Tflops) и несколько десятков суперкомпьютер ных центров (20–60 Tflops).

Анализируя данные списка Top500 (редакция за ноябрь 2007 го да), можно сказать, что сегодня в оснащенности суперкомпьютерны ми средствами преимущества США перед Россией можно оценить в 50 раз, преимущества Европы перед Россией можно оценить в 25 раз (Таблица 1).

5. В чем заграница нам никогда не поможет Суперкомпьютерные технологии являются (см. выше) инстру ментом обеспечения конкурентного и технологического превосход ства одного государства над другим. Поэтому Россия никогда не смо жет приобрести у другой страны такую суперкомпьютерную техни ку, которая эффективно обеспечила бы конкурентное и технологиче ское превосходство России над этой страной. И здесь даже не нужны 4Производительность суперкомпьютера определяют количеством операций с плавающей точкой, которые могут быть исполнены за одну секунду. Для со временных суперкомпьютеров используют единицы: 1 Tflops – один триллион – (1012 ) операций в секунду, 1 Pflops – один квадриллион (1015 ) операций в секун – ду. Различают пиковую производительность (предельная, недостижимая произ водительность) и реальную производительность на некоторой задаче. В мировом рейтинге пятисот самых мощных компьютеров мира (www.top500.org, пересмат ривается каждый июнь и ноябрь) суперкомпьютеры ранжируются по произво дительности на задаче Linpack–тесте, связанном с решением огромной системы линейных уравнений. Очень часто суперкомпьютерами называют только те ЭВМ, которые попадали в рейтинг Top500.

Отечественные СуперЭВМ и грид-системы Диапазоны Linpack-производительности и количество суперкомпьютеров данного диапазона (ноябрь 2007 г.) Класс Доля США Европа Россия суперкомпьютеров России Сверхпроизводительные от 85 до 102 и 0% от суперкомпьютерные 478 Tflops 167 Tflops –– США, 0% центры 6 шт. 2 шт. от Европы Крупные 21–82 22–64 5% от 33 Tflops суперкомпьютерные Tflops Tflops США, 8% 1 шт.

центры 20 шт. 12 шт. от Европы 0% от Суперкомпьютерные 9–21 Tflops 9–20 Tflops –– США, 0% центры 60 шт. 55 шт.

от Европы Суперкомпьютеры 5–9 3% от 5–9 Tflops 6–9 Tflops широкого Tflops 80 США, 7% 197 шт. 6 шт.

использования шт. от Европы 4164 2038 2% от 2 Tflops, ВСЕГО Tflops, Tflops, США, 4% 7 шт.

283 шт. 149 шт. от Европы Таблица 1. Оснащенность США, Европы и России суперкомпьютерами (по данным рейтинга Top500, ре дакция за ноябрь 2007 года) никакие государственные запреты: у компаний-поставщиков отлично срабатывают здравый смысл и соображения сохранения своего тех нологического превосходства над Россией.

Это не значит, что совсем невозможно купить суперЭВМ за ру бежом. Однако анализ поставок суперЭВМ из-за рубежа в Россию показывает (cм. [4], слайды 59–62), что поставляется нам то, что не представляет угрозы;

например, то, что заведомо устаревает через полгода–год после поставки.

Другие обстоятельства, которые надо также здесь учесть: зави симость от зарубежной компании по дальнейшим поставкам и серви сам: модернизация оборудования, новые версии программного обес печения, консультации, обслуживание и т. п.

Отечественные СуперЭВМ и грид-системы 6. Магистральные каналы передачи данных для национальной киберинфраструктуры Как было сказано выше, киберинфраструктура государства –– это система мощных суперкомпьютерных центров, объединенных между собой сверхбыстрыми каналами связи в грид-систему. Поэтому ана лиз проблемы будет не полным, если не рассмотреть состояние дел в части магистральных каналов передачи данных для национальной киберинфраструктуры.

Связывание национальных суперкомпьютерных центров в еди ную систему – принципиальный шаг на пути к построению киберин – фраструктуры, поскольку это позволяет (перечисление неполное):

• обеспечивать возможность решения вычислительно слож ных задач, недоступных для решения при помощи отдель ных суперкомпьютерных установок.

• повышать эффективность использования суперкомпьютер ных установок за счет выравнивания нагрузки (обмена вы числительными заданиями).

• развивать новые технологии высокопроизводительных вы числений и обработки данных при помощи географически распределенных вычислительных ресурсов.

• обеспечивать («плавно») развитие национальной киберин фраструктуры, защищать вложенные в нее инвестиции.

Поэтому в ведущих странах уделяется серьезное внимание про блеме создания национальных систем магистральных каналов пере дачи данных для киберинфраструктуры. Так, например, в США на решение этой задачи идет существенная доля из всех средств, вы деляемых в целом на создание национальной киберинфраструкту ры. Аналогичные программы развития суперкомпьютерных центров, компьютерных сетей и грид-систем имеются в Европе, Японии, Китае и других развитых странах.

В части обеспечения сети каналов передачи данных для нацио нальной киберинфраструктуры мировой опыт показывает, что такие сети организуются вне пространства обычных коммерческих интере сов операторов связи и за рамками их обычной ценовой политики.

Здесь в мире в основном применяются следующие решения:

• создание сети передачи данных, которая находится в соб ственности государства (научно-образовательного сообщест ва, государственной эксплуатационной компании) –– данный Отечественные СуперЭВМ и грид-системы путь требует огромных временных и финансовых затрат (на этапах создания и эксплуатации);

• понуждение операторов связи (на уровне политических ре шений) к предоставлению услуг вне рамок обычных коммер ческих условий: как правило, речь идет о предоставлении операторами связи государству в льготную аренду так на зываемых «темных волокон» для создания магистрали на циональной научно-исследовательской информационно-вы числительной сети.

К сожалению, в России сегодня практически все магистральные каналы национальной научно-исследовательской информационно-вы числительной сети образованы за счет покупки канальной емкости у коммерческих операторов связи, а не за счет прокладки собственных линий и не за счет аренды «темных волокон».

Сравнение технических характеристик сегодняшних националь ных научно-исследовательских информационно-вычислительных се тей США, Объединенной Европы и России (Таблица 1, Таблица 2, Рис. 1, Рис. 2 и Рис. 3) показывает драматическое отставание России в данной области:

• в области оснащенности суперкомпьютерными ресурсами, как уже отмечено выше, Россия отстает от США в 50 раз, от Европы – в 25 раз;

– • в технической оснащенности в части передачи данных в ма гистральных национальных научно-исследовательских ин формационно-вычислительных сетях Россия отстает по ха рактеристике скорости передачи данных от США и Европы в 100–50–25 раз, при крайне слабом охвате сетью националь ной территории (по сравнению с охватом территорий США и Европы).

7. Выводы Без экстренной ликвидации данного отставания не могут быть решены задачи получения конкурентных преимуществ результатов исследований и разработок в «прорывных технологиях», не может быть обеспечено ускоренное развитие России и завоевание ею достой ного места в мировой экономике.

Отечественные СуперЭВМ и грид-системы National Lambda Rail: Магистральная сеть на основе каналов с США емкостью 310–10 Гбит/с., охватывает все штаты, принадлежит исследовательским организациям и используется для проведения исследований в области телекоммуникационных технологий нового поколения и базисом грид-проектов (TeraGrid, Open Science Grid) в США – Рис. 1.

– Есть и другие информационно-вычислительные национальные се ти – DOE, DOD, NSA, NSF, NASA и прочие.

– GEANT2: Европейская магистральная сеть на основе темных воло Европа кон и каналов с емкостью 210–2.5 Гбит/с. связывает все научные центры в центральноевропейских странах. Присоединенные к маги страли периферийные сегменты на основе каналов с емкостью 622– 155 Мбит/с – Рис. 2. Есть и другие Европейские информационно – вычислительные сети, обладающие схожими характеристиками, на пример сеть стран северной Европы NORDUnet.

Белоруссия Осенью 2007 года Белоруссия выполнила требования (входной ценз) на вхождение национальной научно-исследовательской ин формационно-вычислительной сети страны в BalticGRID: нацио нальная магистраль в основной части на основе собственных ка налов с емкостью не хуже 1–2 Гбит/с (к 2010 году: 10 Гбит/с), емкость подключения национальной магистрали к узлу BalticGRID не хуже 1–2 Гбит/с Национальная научно-исследовательская информационно-вы Россия числительная сеть – Рис.3, – основана, в основном, на аренде ка – – нальных емкостей у коммерческих операторов связи:

• 2.5 Гбит/с – 1 канал: Москва–Санкт–Петербург, расширен – недавно до 10 Гбит/с;

• 155 Мбит/с – 1 канал: Москва–Самара–Новосибирск–Хаба – ровск;

• 100–10 Мбит/с – 11 каналов: от города Москвы до Екате – ринбурга (71 Мбит/с), Самары (34 Мбит/с), Новосибирска (72Мб/с), Нижнего Новгорода (55 Мбит/с), Ростова на Дону (96 Мбит/с), Твери (40Мб/с), Перми (34Мб/с), Ставрополя (16Мб/с), Новгорода (10Мб/с), Краснодара (10Мб/с), Каза ни (26Мб/с).

• 8–4 Мбит/с – 4 канала: от Москвы до Ярославля, от Ново – сибирска до Хабаровска (6Мб/с), от Новосибирска до Томска (8Мб/с), от Новосибирска до Барнаула (4Мб/с).

• Остальные каналы – менее 4 Мбит/с.

– Характеристика полноты покрытия территории: неудовлетвори тельное и фрагментарное Таблица 2. Сравнение характеристик каналов свя зи национальных научно-исследовательских инфор мационно-вычислительных сетей Отечественные СуперЭВМ и грид-системы Рис. 1. Магистральная сеть National Lambda Rail (США) основана на собственных волоконно-оптиче ских линиях (NLR-owned fibers) 8. Отечественные суперкомпьютерные системы.

Суперкомпьютеры семейства «СКИФ»

В силу сказанного выше, если ставить целью обеспечение конку рентоспособности страны, то невозможно ориентироваться на закуп ки импортных суперЭВМ, и следует обратить внимание на постав щиков отечественных суперЭВМ.

Суперкомпьютерами обычно принято называть установки выс шей производительности. Например, вошедшие в выпуски рейтинга Top500. До ноября 2007 года только следующие четыре отечествен ные5 суперЭВМ вошли в Top500 (Рис. 4):

• МВС1000М, 0.534 Tflops, затем расширен до 0.734 Tflops –– июнь 2002 года, НИИ «Квант», МСЦ, ИПМ им. М. В. Кел дыша РАН;

5Вошедшие в Top500 не как закупки в Россию компьютеров у IBM, Hewlett Packard или Sun Microsystems, а как отечественные разработки – например, с – пометкой «self made».

Отечественные СуперЭВМ и грид-системы Рис. 2. GEANT2: Европейская магистральная сеть на основе «темных волокон» и каналов (с емкостью от 210 до 2.5 Гбит/с) • СКИФ К-500, 0.472 Tflops – ноябрь 2003 года, ОИПИ НАН – Беларуси, НИИ ЭВМ, Т-Платформы, ИПС РАН;

• СКИФ К-1000, 2.032 Tflops – ноябрь 2004 года, ОИПИ НАН – Беларуси, НИИ ЭВМ, Т-Платформы, ИПС РАН;

Отечественные СуперЭВМ и грид-системы Рис. 3. Российская национальная сеть науки и выс шей школы (состояние на февраль 2008 года) • СКИФ Cyberia, 9.019 Tflops – июнь 2007, Т-Платформы, с – участием ИПС РАН.

В июне 2008 года к этому списку, несомненно, добавится:

• СКИФ Урал, 11 Tflops – июнь 2008, Т-Платформы, с уча – стием Института программных систем РАН;

• СКИФ МГУ, 43 Tflops – июнь 2008, Институт программных – систем РАН, Т-Платформы, МГУ имени М. В. Ломоносова.

Таким образом, фактически:

• подавляющее большинство из известных6 отечественных су перЭВМ являются суперкомпьютерами семейства СКИФ;

• с 2003 года все известные отечественные суперЭВМ являют ся суперкомпьютерами семейства СКИФ;

• сегодня проверенная временем команда исполнителей про грамм «СКИФ» и «СКИФ-ГРИД» –– единственная результа тивная российская команда, реально создающая отечествен ные суперкомпьютерные системы.

6Информация о которых опубликована в открытой печати.

Отечественные СуперЭВМ и грид-системы Рис. 4. Отечественные СуперЭВМ в мировом рей тинге Top500 (за всю историю рейтинга и в перспек тиве до июня 2008 года) 9. Суперкомпьютерные программы «СКИФ» и «СКИФ-ГРИД»

Суперкомпьютерные программы «СКИФ»7 и «СКИФ-ГРИД» Союзного государства (Таблица 3) являются научно-производствен ными программами Союзного государства. Данные программы обес печивают присутствие России среди разработчиков (а не только по купателей) суперкомпьютерных технологий мирового класса, о чем будет сказано далее. И этого бы сегодня не было, если бы в деле 7(2000–2004 гг.) 8(2007–2010 гг.) Отечественные СуперЭВМ и грид-системы СКИФ СКИФ-ГРИД Отношение Бюджет Российской Федерации (млн. руб., 157 446.5 284% на весь срок) Бюджет Республики Беларусь (млн. руб., 162 234.5 145% на весь срок) Бюджет всего 319 681 213% (млн. руб., на весь срок) НИОКР, НИР, Вид только 1/3 – привлеченные – бюджет средства Соисполнителей РФ 10 20 (20–30) 200% Грид-технологии.

СуперЭВМ и СуперЭВМ, Объем работ пилотные информационная 200% приложения безопасность и пилотные приложения Таблица 3. Суперкомпьютерные программы Союз ного государства «СКИФ» (2000–2004 гг.) и «СКИФ ГРИД» (2007–2010 гг.) формирования суперкомпьютерных программ «СКИФ» и «СКИФ ГРИД» огромную роль не сыграла бы принципиальная позиция и поддержка программ со стороны:

• Постоянного комитета Союзного государства, а также госу дарственного секретаря П. П. Бородина;

• ряда депутатов Парламентского собрания Союзного госу дарства и Государственной Думы Российской Федерации, особенно: Б. В. Грызлова и А. А. Кокошина.

Отечественные СуперЭВМ и грид-системы 9.1. Общие сведения о Программе «СКИФ»

Полное официальное наименование Программы «СКИФ» –– Раз работка и освоение в серийном производстве семейства моделей вы сокопроизводительных вычислительных систем с параллельной ар хитектурой (суперкомпьютеров) и создание прикладных программ но-аппаратных комплексов на их основе, –– очень хорошо показывает специфику данного проекта:

• мы говорим не о «чисто академическом исследовании», а о доведении дела до серийного производства. Значит, поми мо исследовательских, необходимо выполнение и конструк торских работ. Необходимы: разработка в соответствии со стандартами программной и конструкторской документации (ПД и КД), прохождение в установленном порядке нормо контроля, подготовка производства, выпуск опытных образ цов, проведение предварительных и приемочных (государ ственных) испытаний, выпуск литерной документации (с ли терами «О» и «О1 ») и т. п. Серийное производство означа ет учет требований потенциального рынка. Значит, кроме обеспечения высоких технических показателей нам предсто яло учитывать реальную покупательную способность отече ственных предприятий и учреждений, бороться за прием лемые значения цены и отношения «производительность к цене»;

• целью программы являлся не одиночный уникальный об разец, а семейство моделей (Ряд 1 и Ряд 2) высокопроиз водительных вычислительных систем (суперкомпьютеров), совместимых по программному обеспечению (ПО), имеющих широкий выбор возможных конфигураций, широкий спектр производительности: от единиц и десятков миллиардов опе раций в секунду (1–10–100 Gflops), до триллионов операций в секунду (до 15 Tflops);

• недостаточно было разработать только семейство машин и базовое ПО для них. Для того чтобы обеспечить широкое внедрение суперкомпьютеров семейства «СКИФ», предсто яло разработать прикладные системы и даже законченные прикладные комплексы.

Отечественные СуперЭВМ и грид-системы Программа «СКИФ» выполнялась пять лет, с 2000 по 2004 го ды. В программе были определены государственными заказчиками координаторами:

• от Республики Беларусь – Национальная академия наук Рес – публики Беларусь;

• от Российской Федерации – Федеральное агентство по науке – и инновациям.

Институт программных систем Российской академии наук (ИПС РАН) являлся головным исполнителем программы «СКИФ» от Рос сийской Федерации, головным исполнителем от Республики Беларусь являлся Объединенный институт проблем информатики Националь ной академии наук Республики Беларусь (ОИПИ НАН Беларуси).

Всего в Программе участвовали около двух десятков учреждений и предприятий, примерно поровну – по десятку предприятий от каж – дой страны.

За пять лет исполнения программы «СКИФ» было выпущено шестнадцать опытных образцов [5, 6] суперкомпьютеров семейства «СКИФ», шесть из них было размещено в Беларуси, десять –– в Рос сии. Каждый год создавались установки в широком спектре произво дительности. И среди них всегда была установка с наибольшей (на те кущий год) для семейства «СКИФ» Linpack-производительностью –– так называемое «подсемейство Top-СКИФ» (Таблица 4). Видно, что Linpack-производительность моделей Top-СКИФ росла из года в год почти по экспоненциальному закону и за пять лет выросла в 185 раз (с 11 Gflops до 2032 Gflops).

9.2. Общие сведения о Программе «СКИФ-ГРИД»

Реализация Программы Союзного государства России и Белару си «СКИФ-ГРИД» началась в 2007-м году, после подписания соответ ствующего постановления Председателем Правительства Союзного государства. В Программе «СКИФ-ГРИД» выделены четыре основ ных направления:

• Грид-технологии: исследование, развитие, внедрение вы сокопроизводительных вычислений на основе грид-техноло гий;

развитие, исследование и внедрение средств поддерж ки гетерогенных, территориально-распределенных вычисли тельных комплексов.

Отечественные СуперЭВМ и грид-системы Производительность, Наименование, Количество и вид Год Gflops пиковая/Lin Расположение процессоров pack Первенец 2 экз.: 32Intel Pentium III 2000 20/ Россия и Беларусь (600 MHz) 32Intel Pentium ВМ-5100 Беларусь 2001 45/ III(1400 MHz) 32AMD AthlonMP Первенец-М Россия 2002 90/ 1800+(1533 MHz) СКИФ К-500 128Intel Pentium 2003 717/ Беларусь Xeon (2.8 GHz) СКИФ К-1000 576AMD Opteron 2004 2534/ Беларусь 248 (2.2 GHz) Таблица 4. Основные показатели вычислительных установок с наибольшей для семейства «СКИФ» Lin pack-производительностью на текущий год • Суперкомпьютеры семейства СКИФ (Ряд 3 и 4):

создание суперкомпьютеров «СКИФ» нового поколения на базе новых перспективных процессоров и вычислительных узлов, новых технических средств системной сети, управле ния системой, спецвычислителей и гибридных узлов, разра ботка соответствующего программного обеспечения.

• Защита информации: реализация средств защиты инфор мации (аппаратных и программных) в создаваемых вычис лительных комплексах.

• Пилотные системы: реализация различных прикладных систем в перспективных областях применения создаваемых вычислительных установок, решение актуальных задач на суперкомпьютерах и грид-системах.

9.3. Команда исполнителей Программы «СКИФ-ГРИД»

Головным исполнителем от Российской Федерации по програм мам «СКИФ» и «СКИФ-ГРИД» является Институт программных си стем РАН. Структура исполнения программы «СКИФ-ГРИД» (Рос сийская Федерация, мероприятия 2007–2008 гг.) представлена ниже Отечественные СуперЭВМ и грид-системы Рис. 5. Соисполнители программы «СКИФ-ГРИД», Российская Федерация, мероприятия 2007–2008 гг.

(см. Рис. 5). Исполнители сгруппированы по направлениям: грид-тех нологии (головной – НИИЯФ МГУ), далее – суперкомпьютеры се – – мейства «СКИФ» (компания «Т-Платформы»), инициативные рабо ты (ИППИ РАН и ООО «ЮникАйСиз»), пилотные проекты (НИВЦ МГУ).

9.4. Результаты и заделы, полученные по суперкомпьютерным программам «СКИФ» и «СКИФ-ГРИД»

Основные материальные результаты, полученные по программам «СКИФ» и «СКИФ-ГРИД» – конструкторская документация аппа – ратных средств суперкомпьютеров семейства «СКИФ» и программ ная документация программного обеспечения для них.

Отечественные СуперЭВМ и грид-системы Разработка в рамках программ «СКИФ» и «СКИФ-ГРИД» вы полняется с соблюдением всех требований и стандартов промышлен ной разработки (нормоконтроль, выпуск литерной документации, си стема испытаний).

Разработанные решения позволяют выпускать вычислительные установки широкого диапазона производительности.

Аппаратные разработки основаны на использовании импортной элементной базы: процессоры, модули памяти, диски, компоненты си стемной и вспомогательной сети суперкомпьютеров. Но на уровне схе мотехники (часто на уровне проектирования системной платы), кон структивов, термодизайна, общей архитектуры –– все решения ориги нальные, отечественные.

Еще одной оригинальной отечественной аппаратной разработкой является сервисная сеть ServNet для суперкомпьютеров семейства «СКИФ», аппаратные и программные средства которой созданы в ИПС РАН.

Разработанный комплект ПО для суперкомпьютеров семейства «СКИФ» включает все необходимые компоненты:

• операционная система (ALT Linux СКИФ);

• средства мониторинга параметров аппаратных и программ ных средств, система предсказания вероятных отказов;

• средства администрирования и система очередей;

• стандартные (MPI и OpenMP) и оригинальные отечествен ные (OpenTS, DVM, X-COM, SKIF@HOME) средства напи сания параллельных программ для суперкомпьютеров и рас пределенных систем;

• десятки прикладных и инструментальных систем (для раз работки различных приложений).

В рамках программы «СКИФ-ГРИД» данный набор ПО расши ряется. В том числе, создается ПО промежуточного слоя, для инте грации суперкомпьютеров семейства «СКИФ» в грид-системы. Эти средства поддерживают различные аспекты интеграции и создания распределенных систем:

• объединение вычислительных мощностей;

• унификация доступа к вычислительным ресурсам, к дан ным, к сервисам системы для пользователей (рабочих групп, пользовательских программ);

поддержка гибкого доступа, безопасности и разграничения доступа и прав;

Отечественные СуперЭВМ и грид-системы • организация распределенных хранилищ данных и баз дан ных, интеграция всех источников данных в системе.

9.5. Преимущества суперкомпьютеров семейства «СКИФ» и программного обеспечения для них Решения семейства «СКИФ» позволяют строить суперкомпью терные системы высшего уровня производительности –– без ограни чений, в том числе и такие, на которых можно разрабатывать техно логии для достижения превосходства России над другими странами.

Разработчики решений (отечественная команда) способны обес печить глубокий и качественный уровень поддержки. Здесь имеется в виду и близкое расположение разработчиков к потребителю, и от сутствие для специалистов «темных мест» и «секретов фирмы» в обслуживаемой аппаратуре или программном обеспечении.

Суперкомпьютеры семейства «СКИФ» обладают лучшим показа телем «стоимость/производительность», по сравнению с западными брэндами. Иногда разница приближается к двум разам.

Суперкомпьютеры «СКИФ» показывают отличное качество ис пользования аппаратных средств, лучшие показатели по КПД (отно шение производительности на задаче к пиковой производительности), лучшие абсолютные показатели и масштабируемость на задачах. Вот несколько примеров:

• Ноябрь 2003 года: СКИФ К-500 показывает на 25% лучшее КПД, по сравнению с суперкомпьютером Dell PowerEdge 2650: оба суперкомпьютера показывают практически рав ную Linpack-производительность, используют одни и те же процессоры, только в СКИФ К-500 установлено 128 процес соров, а в Dell их потребовалось гораздо больше –– 160.

• Ноябрь 2004: СКИФ К-1000 занял первое место в мире в рейтинге Top-Crunch. Рейтинг поддержан DARPA, супер ЭВМ ранжируются по реальной производительности не на абстрактных тестах, а на реальных задачах. В рассмотрен ном случае это была задача расчета в системе Linpack ре зультатов столкновения одновременно трех автомобилей.

• Февраль 2007: СКИФ Cyberia по результатам независимых измерений:

– показывает КПД (=Linpack/Peak) на +8..13% лучше, чем у IBM Bladecenter Hs21 Cluster.

Отечественные СуперЭВМ и грид-системы Рис. 6. Первое российское blade-решение –– модуль для суперкомпьютера «СКИФ МГУ» (разработка и производство компании «Т-Платформы») – демонстрирует лучшую масштабируемость9 гидродина мических расчетов на пакете STAR-CD, чем современ ные системы Cray XD1, HP XC, IBM p5-575 (Power5), SUN X2100.

В области аппаратных разработок удается достичь и других ре кордных для отрасли свойств и характеристик. Так, в 2007 году для проектов «СКИФ МГУ» (60 Tflops) и «СКИФ Урал» (15 Tflops) компания «Т-Платформы» разработала и организовала производство первого российского blade-решения (см. Рис. 6). При этом удалось достичь самой большой плотности форм-фактора в индустрии: двухпроцессорных «лезвий» в корпусе высотой всего 5U (20 CPU, ядер, около 0.7 Tflops). Кроме того, данное решение является един ственным blade со стандартными адаптерами PCI-Express, что обес печивает поддержку любых адаптеров (уникальная гибкость по ап паратным средствам).

В этой разработке поддержано резервирование (N+1) и горячая замена вентиляторов и блоков питания шасси, что обеспечивает высо кую надежность изделия и является достоинством, отсутствующим 9В 1.5–2 раза лучше.

Отечественные СуперЭВМ и грид-системы во всех иных аналогичных изделиях. Blade-решение компании «Т Платформы» было номинировано компанией Intel как одна из луч ших разработок года в области высокопроизводительных вычисле ний. Версия сервисной сети для данного blade-решения (ServNet Т 60) разработана в ИПС РАН и изготавливается на производственной базе ИПС РАН.

В области программного обеспечения для суперкомпьютеров се мейства «СКИФ» также немало достижений, получивших признание в мире.

Упомянем разработанную в ИПС РАН систему параллельного программирования OpenTS, реализующую концепцию автоматиче ского динамического распараллеливания программ. OpenTS берет на себя большую часть сложной работы по организации параллельно го счета. За счет этого серьезно упрощается процесс написания па раллельных программ, сокращаются сроки разработки и объем про граммного кода – от 7 до 15 раз на ряде задач. В результате у парал – лельных программ получается лучше читаемость, код яснее и мень ше места для ошибок. Данная разработка заинтересовала корпора цию Microsoft, которая третий год поддерживает работы по переносу OpenTS из ОС Linux-СКИФ в ОС Microsoft Windows Compute Cluster Server –– ОС, созданную корпорацией Microsoft для вычислительных кластеров.

Кроме OpenTS в программах «СКИФ» и «СКИФ-ГРИД» ведет ся развитие других перспективных отечественных средств для раз работки параллельных программ, например, таких как DVM (ИПМ им. М. В. Келдыша РАН), X-COM (НИВЦ МГУ имени М. В. Ломо носова), SKIF@HOME (ИПС РАН).

За полученные в рамках программы «СКИФ» (2000–2004 гг.) вы сокие результаты группа разработчиков была награждена премией Правительства Российской Федерации в области науки и техники за 2006 год.

10. Заключение. Возможные пути решения проблем развития национальной киберинфраструктуры России Отставание России в высокопроизводительных вычислениях ве лико, но не безнадежно. Российские научно-исследовательские ор ганизации способны создавать суперкомпьютерные установки миро вого уровня, оперативно осваивать вновь появляющиеся в мировой Отечественные СуперЭВМ и грид-системы практике и на мировом рынке технологии создания высокопроизво дительных систем.

В то же время, знание тех или иных технологий (или способность воспринять их) не означает использование их на практике. Этого ма ло, и создание национальной киберинфраструктуры требует в первую очередь наличия политической воли, реализованной в политических решениях.

Общая проблема разбивается на две части:

• создание отечественной суперкомпьютерной отрасли и со здание системы суперкомпьютерных центров в России10 –– «пирамида» из 1–3 центров сверхвысокой производительно сти (150–300 Tflops в 2008 году с расширением до 1 Pflops к 2010 году), 10–20 мощных суперкомпьютерных центров (30– 100 Tflops в 2008 году);

40–60 крупных суперкомпьютерных центров в регионах (10–20 Tflops в 2008 году);

• создание мощной магистральной сети передачи данных (с емкостью каналов 1–10 Гбит/с и выше), объединяющей ука занные суперкомпьютерные центры.

Как обсуждалось выше, в части решения проблемы фор мирования суперкомпьютерной отрасли и обеспечения осна щенности суперкомпьютерными ресурсами России можно рас считывать в основном на развитие собственной суперкомпьютерной отрасли, поскольку представляется невероятным получение из дру гих стран суперЭВМ таких характеристик, которые обеспечат конку рентное превосходство России над этими странами. Представляется обоснованным и эффективным использование для этого:

10Считаем, что указанные параметры достижимы. Имеются достаточно про работанные предложения, учитывающие технические возможности, освоенный уровень технологий, наличие готовой команды исполнителей и, даже, возмож ность использования «давних инвестиций». Например, один из сверхмощных су перкомпьютерных центров можно создавать в здании ИПС РАН, которое в 1980 тых годах проектировалось и строилось как суперкомпьютерный центр: имеется до сих пор неиспользованный машинный зал (700 кв.м.), инфраструктура элек тропитания (8 МВт) и т. п. Здесь можно создать суперкомпьютерный центр кол лективного пользования (СЦКП) мощностью 150 Tflops в 2008 году с расши рением до 1 Pflops в 2010 году. Размещения суперкомпьютерных и data-центров вне мегаполисов соответствует мировой практике: такие предприятия не требуют большого количества персонала и их неразумно размещать на территориях с вы сокой стоимостью земли, электроснабжения, квалифицированной рабочей силы и т. п.

Отечественные СуперЭВМ и грид-системы • отечественных решений и существенных заделов, получен ных в последние годы российскими разработчиками супер компьютерных технологий в ходе реализации суперкомпью терных программ «СКИФ» и «СКИФ-ГРИД» и сложившу юся команду исполнителей этих программ – более 20 россий – ских организаций, головной исполнитель от России –– ИПС РАН;

• результатов, заделов и опыта других организаций, ведущих работы в суперкомпьютерной области, например: НИИСИ РАН, РНЦ «Курчатовский институт», НИИ «Квант», МСЦ РАН, ОАО «НИЦЭВТ» и др.

В части решения проблемы обеспечения каналов передачи данных национальной научно-исследовательской информа ционно-вычислительной сети в России следует учесть мировой опыт, который показывает, что такие сети организуются вне про странства обычных коммерческих интересов операторов связи и за рамками их обычной ценовой политики. Здесь в мире применяются следующие решения:

• создание сети передачи данных, которая находится в соб ственности государства – научно-образовательного сообще – ства – данный путь требует огромных временных и финан – совых затрат (на этапах создания и эксплуатации);

• понуждение (на уровне политических решений) операторов связи к предоставлению услуг вне рамок обычных коммер ческих условий: как правило, речь идет о предоставлении операторами связи государству (научно-образовательному сообществу) в льготную аренду так называемых «темных во локон» для создания магистрали национальной научно-ис следовательской информационно-вычислительной сети. При этом необходимо:

– базироваться на сложившихся командах исполнителей проектов создания национальных сетей для науки и об разования (RUNNet, RBNet и др.): ФГУ ГНИИ «Ин формика», РосНИИ РОС, МСЦ РАН, РНЦ «Курчатов ский институт»;

– разработать комплекс политических решений и меро приятий, направленных на предоставление ведущими Отечественные СуперЭВМ и грид-системы российскими операторами связи11 на условиях льгот ной аренды «темных волокон» для создания магистра ли национальной научно-исследовательской информа ционно-вычислительной сети или же создания на ос нове «темных волокон»12 национальной государствен ной научно-исследовательской информационно-вычис лительной сети.

Кроме сказанного, потребуется разработать комплекс мер для обеспечения координации работ:

• по созданию суперкомпьютерной отрасли России;

• по оснащению отечественной суперкомпьютерной техникой ведущих научно-исследовательских центров;

• по развитию магистральных каналов связи национальной научно-исследовательской информационно-вычислительной сети в России;

• по работам в смежных государственных научно-технических программах.

Например:

• планы развертывания суперкомпьютерных центров долж ны быть согласованы с планами развертывания магистраль ных линий связи, и с планами создания научных центров по различным государственным научно-техническим програм мам (нанотехнологии, перспективная энергетика, био-техно логии, нацтехбаза и т. п.);

• планы по разработке элементной базы должны учитывать потребности создаваемой отечественной суперкомпьютерной отрасли и систем высокоскоростной передачи данных.

Такой комплекс усилий в полной мере бы соответствовал поруче нию Президента Российской Федерации по итогам заседания Совета 11Транстелеком, Ростелеком и других.

12Оптические волокна, которые остаются в резерве, то есть не используются, называются «темными» волокнами. Они, как правило, имеются в каждом опти ческом кабеле крупного оператора связи.

Отечественные СуперЭВМ и грид-системы при Президенте Российской Федерации по науке, технологиям и об разованию 30.11.07 Пр-146 в части: «... принять меры по обеспече нию деятельности национальной научно-исследовательской инфор мационно-вычислительной сети, представляющей научным и обра зовательным центрам доступ к распределенным вычислительным средам высокой производительности...».

Благодарности Данная работа была частично поддержана и выполнялась в рамках следую щих проектов:

• Проект 07–07–12038 офи Российского Фонда Фундаментальных Иссле дований «Метапрограммирование на основе шаблонных классов С++ как средство создания высокопроизводительных распределённых при ложений».

• Программа Союзного государства «Разработка и использование про граммно-аппаратных средств Грид-технологий перспективных высоко производительных (суперкомпьютерных) вычислительных систем се мейства «СКИФ», шифр «СКИФ-ГРИД».

• Программа фундаментальных научных исследований ОНИТ РАН «Оп тимизация вычислительных архитектур под конкретные классы задач, информационная безопасность сетевых технологий», проекты:

1.3 «Разработка и реализация языков T# и T++ и соответствующих им средств для эффективной поддержки высокопроизводительного па раллельного счета»;

2.3 «Сравнительное исследование параметров и характеристик пер спективных аппаратно-программных архитектур кластерных мульти процессорных систем»;

• Программа фундаментальных исследований Президиума РАН «Разра ботка фундаментальных основ создания научной распределенной ин формационно-вычислительной среды на основе технологий GRID».

Проект 4.2 «Функционально-ориентированные суперструктуры как эф фективное средство для построения высокопроизводительных распре деленных приложений и сервисов».

Проект 4.5 «Разработка технологий интеграции разнородных, геогра фически распределенных данных в GRID-системах».

• Программа Президиума РАН «Поддержка инноваций и разработок», проект ИПС РАН «Технология и система параллельного программи рования OpenTS»;

• Государственный контракт № 02.514.11.4034 с Федеральным агентством по науке и инновациям по теме: «Эффективные методы создания вы сокопроизводительных параллельных программ на языке C++ и его диалекте Т++ для многоядерных ЭВМ, SMP, кластерных и распреде ленных систем»;

Отечественные СуперЭВМ и грид-системы • Программа Союзного государства (шифр «ТРИАДА») «Развитие и внедрение в государствах-участниках Союзного государства наукоем ких компьютерных технологий на базе мультипроцессорных вычисли тельных систем», проекты:

«Разработка средств параллельной обработки изображений дистанци онного зондирования Земли с динамическим распределением нагрузки.

Разработка прототипа распределенного архива изображений с единым каталогом информации», проекты;

«Создание прототипа системы эффективного сервера приложений для ВМВС»;

«Разработка принципов эффективного отказоустойчивого счета Т++ приложений на априорно неустойчивых (мета-)кластерных конфигу рациях и их программная реализация».

Особая благодарность – М. Г. Химшиашвили за ее самоотвержен – ный труд по корректуре и верстке статьи в программе L TEX.

A Список литературы [1] Computational Science: Ensuring America’s Competitiveness: President’s Infor mation Technology Advisory Committee, June, 2005 (доступно как: http://www.

nitrd.gov/pitac/reports/20050609_computational/computational.pdf). [2] US Competitive Council Meets;

HPC TOPS Agenda // The Global Publication of Record for High Performance Computing: HPC Wire. – Т. 13, № 28, – July 16, 2004 (доступно как: http://www.taborcommunications.com/hpcwire/ hpcwireWWW/04/0716/108016.html). 1. [3] Smogunov A., Dal Corso A., Delin A., Weht R., Tosatti E. «Colossal magnetic anisotropy of monatomic free and deposited platinum nanowires» // Nature Nanotechnology. – Т. 3, № 1, January, 2008 (доступно как: http:

– //www.nature.com/nnano/journal/v3/n1/pdf/nnano.2007.419.pdf), c. 22–25.

[4] Абрамов С. М. Суперкомпьютерная отрасль России и Программы «СКИФ»

и «СКИФ-ГРИД» Союзного государства // Совещание «Развитие высо копроизводительных вычислений (суперЭВМ) в России» под руководством Б. В. Грызлова, Переславль-Залесский: Слайды к докладу на совещании., 09.11.2007 (доступно как: http://skif.pereslavl.ru/psi-info/hpc911/). [5] ИПС РАН. Сайт Суперкомпьютерной программы «СКИФ» Союзного го сударства, Образцы СКИФ – Кластерные системы СКИФ (доступно как:

– http://skif.pereslavl.ru/). 9. [6] Абламейко С. В., Абрамов С. М., Анищенко В. В., Парамонов Н. Н., Чиж О. П. Суперкомпьютерные конфигурации «СКИФ». – Минск: ОИПИ НАН – Беларуси, 2005. – ISBN 985-6744-19-9, 170 c. 9. – 152020, Переславль-Залесский, м. Ботик, Институт программных си стем РАН.

Отечественные СуперЭВМ и грид-системы S. M. Abramov, W. F. Zadneprovsky, A. A. Moskovsky. Russian supercomput ers and grid-systems.

Problems of the national cyberinfrastructure in Russia. (in Russian.) Abstract. The paper is devoted to the national cyberinfrastructure development in Russia.

Trends in high-performance computing eld are analysed and possible future development path for Russia is outlined.

Перевод проверен: А. А. Московский

 


 
2013 www.netess.ru - «Бесплатная библиотека авторефератов кандидатских и докторских диссертаций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.