Презентация на тему «Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS»

Системное программное обеспечение суперкомпьютеров «СКИФ» и система

программирования OpenTS

Абрамов С. М. Научная сессия ОИТВС Москва, ИПУ РАН, 2006-04-20

1

Что войдет в доклад

Научные интересы — в области системного программирования:

Программное обеспечение для региональных компьютерных сетей Nadmin: система администрирования Botik Tools: пакет программ для абонентов (Botik Tester, Botik Key, Botik Look) Botik Mon и Botik Map — мониторинг и спец. ГИС Метавычисления и их приложения функциональное программирование и реализация языка рефал (различных диалектов и на различных платформах) теоретические основы информатики Системное программное обеспечение для параллельных архитектур (для суперкомпьютеров семейства «СКИФ») Т-Система — система программирования параллельных приложений OpenTS — Т-система с открытой архитектурой

2

Суперкомпьютерная программа «СКИФ» Союзного государства

Системное программное обеспечение для суперкомпьютеров «СКИФ»

3

Суперкомпьютерный проект СКИФ Союзного государства

2000-2004 10 + 10 исполнителей $10M (на 5 лет на 20 предприятий) ИПС РАН — головной по России ОИПИ НАН Беларуси – головной по Белоруссии Hardware, Software, Applications, Aux.

4

Выпуск образцов (16)

5

Linpack-производительность образцов

185 раз

2032

472

57

26

11

6

Флагман: «СКИФ К-1000»

Пиковая производи-тельность: 2,5 Tflops Linpack-производи-тельность: 2,0 Tflops КПД=80.1 %

Ноябрь 2004: Наиболее мощная машина на территории СССР (сегодня: второе место 2) Ноябрь 2004: № 98 в Top500

7

Комплект ПО КУ, литера «О1»

ядро ОС Linux-SKIF PVFS-SKIF — параллельная файловая система OpenPBS-SKIF — система очередей FLAME-SKIF — система мониторинга и управления (reset, power on/off) установками семейства «СКИФ»

8

Комплект ПО КУ, литера «О1»

OpenTS — Т-система с открытой архитектурой компилятор TG++ для языка T++ транслятор TF2TC (T-Fortran ? T++) TDB — распределенный интерактивный отладчик MPI-программ, с поддержкой отладки Т-программ (замена TotalView)

9

Комплект ПО КУ, литера «О1»

6 прикладных программных систем в среде OpenTS 12 адаптированных свободных пакетов, библиотек и приложений 14 приложений собственной разработки (из них 3 в области ИИ) Совместимость платформы с коммерческими инженерными пакетами (более 6 отраслей реальных применений)

10

Основные идеи Т-Системы и обзор архитектуры Open TS

11

Т-Система

История

Середина 80-ых Основные идеи Т-Системы 1990-ые Первая реализация Т-Системы 2000-2002, Программа «СКИФ» GRACE — Graph Reduction Applied to Cluster Environment 2003-сегодня, Программа «СКИФ» Open TS — Open T-system (открытая архитектура)

12

Сравнение: Т-Система и MPI

Sequential

Parallel

13

Open TS: основные свойства

Автоматическое динамическое распараллеливание программ Много платформ — один инструмент разные ОС, multicore, SMP, кластеры, GRID Сочетание парадигм: функциональной и императивной (ООП) Высокоуровневое программирование: Т++ язык — «диалект» C++ незабытое старое: популярно с 90-ых

14

Т++ новые ключевые слова

tfun — Т-функция tval — Т-переменная (Т-значение) tptr — Т-указатель tout — Выходной параметр (аналог &) tdrop — Разорвать связь поставщик- потребитель (сделать готовым) twait — Редкое: ждать готовности tct — Т-контекст

15

Т-Подход

«Чистые» функции (tfunc) — их вызовы способны порождать гранулы параллелизма Т-Программы: Функциональны – на верхнем уровне Императивны – на нижнем уровне (C/C++/ASM оптимизации) C-совместимая модель исполнения Неготовые значения, многократные присваивания Гладкие расширения языков: C, Fortran, рефал

16

Open TS: полноценная система программирования

Средства разработки T++ Компилятор (входной модуль gcc) T++ ? C++ конвертор компиляторы для других языков Средства отладки и трассировки (TGDB, tracing) Микроядро Т-системы и библиотека поддержки времени исполнения

17

Многопоточность и коммуникации

Легковесные потоки (lightweight threads): раскрепощение программиста Пример программы: +1 000 000 потоков на процессор Асинхронные взаимодействия Нити A требуется неготовое значение Передается асинхронный запрос (Active messages & Signals), чтобы стимулировать передачу данных к нити A Выделяется квант на коммуникации (нет ли чего в нашем процессоре?) и переход (context switch) на другую готовую нить Эффект сокрытия задержек (Latency Hiding) в коммуникациях

18

DMPI

Dynamic MPI автоматический подбор реализации MPI динамическая загрузка и связывание (dynamic loading and linking) Семь реализаций MPI поддержаны: LAM MPICH SCALI MPI MVAPICH IMPI MPICH-G2 PACX-MPI Еще: PVM и TCP/IP могут быть использованы DMPI в качестве транспорта вместо MPI

Для территориально- распределенных установок (GRID)

19

2005 — Сравнение: Open TS vs MPI

20

Заказчик: Microsoft

2004: Microsoft создал подразделение HPC 2005: демонстрация намерений Microsoft в области HPC Осень 2005: бета-версии Microsoft MPI и Microsoft Windows Computing Cluster Server Осень 2004: знакомство Microsoft с OpenTS 2005: контракт «Сравнение Open TS с MPI» 2006: контракт «Перенос Open TS на Microsoft Windows Computing Cluster Server»

21

Приложения

Популярные и широко используемые Разработаны независимыми MPI-эксперта-ми (без «связей» с Т-Системой) PovRay – Persistence of Vision Ray-tracer, С-пакет + C/MPI-patch ALCMD/MP_lite – молекулярная динамика (Ames Lab) Фортран-программа + MP_Lite/MPI

22

Ключевой вопрос:

Позволяет ли Т-Система легко, удобно создавать прикладные системы? Экономится ли труд программиста? Действительно ли более читабельный и более компактный код? (less space for bugs) И при этом мы не сильно жертвуем производительностью (до 30% от MPI)?

23

T-povray vs MPI povray: сложность кода

Программа

Объем исходного кода

MPI модуль для povray 3.10g

1,500 строк

MPI «заплатка» для povray 3.50c

3,000 строк

T++ модуль (для двух версий 3.10g и 3.50c)

200 строк

24

T-povray vs MPI povray: производительность

16 dual Athlon 1800, AMD Athlon MP 1800+ RAM 1GB, FastEthernet, LAM 7.0.6

25

T-povray vs MPI povray: производительность

2CPUs AMD Opteron 248 2.2 GHz RAM 4GB, GigE, LAM 7.1.1

26

ALCMD/MPI vs ALCMD/OpenTS

Библиотека MP_Lite (кусочек) переписана на T++ Fortran-код остался нетронутым

27

Ключевой вопрос:

Позволяет ли Т-Система легко, удобно создавать библиотеки (подобные MP_Light) для дальнейшей разработки прикладных систем? Экономится ли труд программиста? Действительно ли более читабельный и более компактный код? (less space for bugs) И при этом мы не сильно жертвуем производительностью (до 30% от MPI)?

28

ALCMD/MPI vs ALCMD/opents : сложность кода

Программа

Объем исходного кода

MP_Lite/MPI

~3,500 строк

MP_Lite/OpenTS

500 строк

29

ALCMD/MPI vs ALCMD/opents: производительность

2CPUs AMD Opteron 248 2.2 GHz RAM 4GB, GigE, LAM 7.1.1, Lennard-Jones MD, 512000 atoms

30

ALCMD/MPI vs ALCMD/OpenTS: performance

2CPUs AMD Opteron 248 2.2 GHz RAM 4GB, InfiniBand,MVAMPICH 0.9.4, Lennard-Jones MD,512000 atoms

31

Приложения, написанные на Open TS

32

Т-Приложения

MultiGen – оценка биологической активности веществ Дистанционное зондирование Земли (ДЗЗ) Моделирование плазмы Моделирование белков Аэромеханика Query engine for XML ИИ-приложения (3 штуки) и др.

33

Multi-conformation model

MultiGen Челябинский Государственный Университет

Level 0

Level 1

Level 2

К0

К11

К12

К22

К21

34

MultiGen: Speedup

Substance

Substance

Atom number

Atom number

Rotations number

Rotations number

Conformers

Conformers

Exectution time (min.:С)

Exectution time (min.:С)

Exectution time (min.:С)

1 node

4 nodes

16 nodes

NCI-609067

28

4

13

9:33

3:21

1:22

TOSLAB A2-0261

82

18

49

115:27

39:23

16:09

NCI-641295

126

25

74

266:19

95:57

34:48

35

National Cancer Institute USA Reg.No. NCI-609067 (AIDS drug lead)

National Cancer Institute USA Reg.No. NCI-641295 (AIDS drug lead)

TOSLAB company (Russia-Belgium) Reg.No. TOSLAB A2-0261 (antiphlogistic drug lead)

Аэромеханика НИИ механики МГУ им

М.В.Ломоносова

36

Аэромеханика НИИ механики МГУ им

М.В.Ломоносова

37

Восстановление изображения по данным бортовой РЛС («Алмаз»)

38

Моделирование перспективной широкополосной РЛС

39

Классификация изображений (Landsat)

Вычислительный Web-сервис

40

Дальнейшие планы

Более глубокая поддержка многоядерных CPU (Территориально-) Распределенные системы Планировщик Другие коммуникационные реализации DMPI Интерфейсы к Web-сервисам Счет, устойчивый к отказам (fault-tolerance) Перенос на другие архитектуры (IBM Blue Gene), оптимизация под различные современные CPU Скелеты алгоритмов, шаблоны и параллельные библиотеки высокого уровня: sum = fold + minimum = fold min prod = fold *

41

За рамками доклада

Другие Т-диалекты: T-Refal, T-Fortan Мемоизация (табулирование) функций Автоматическое переключение между call-стилем и fork-стилем при вызове Т-функций Контрольные точки (Checkpointing) Heartbeat-механизм Ароматы (Flavours) tptr-указателей: “normal”, “glue” and “magnetic” — ленивые, жадные и супержадные передачи данных

42

Благодарности

Суперкомпьютерная программа «СКИФ» Союзного государства Программы РАН ОИВТС: «Высокопроизводительные вычислительные системы с новыми принципами организации вычислительных процессов» Президиум: «Создание основы для внедрения распределенных научных информационно-вычислительных сред на GRID технологиях» РФФИ: грант 05-07-08005-офи_а Microsoft – контракты «Open TS vs MPI case study» и «Porting Open TS @ Microsoft Windows Computing Cluster Server»

43

Спасибо за внимание

..

… … Готов ответить на вопросы … …

44

Т-Система: иллюстрация идеи

45

Т-Система: иллюстрация идеи

46

Т-Система: иллюстрация идеи

47

Т-Система: иллюстрация идеи

48

Т-Система: иллюстрация идеи

49

Т-Система: иллюстрация идеи

50

Т-Система: иллюстрация идеи

51

Т-Система: иллюстрация идеи

52