Задачи
<<  Математические модели документального поиска Сказочная арифметика  >>
Методы распределённых вычислений на основе модели потока данных
Методы распределённых вычислений на основе модели потока данных
Высокопроизводительные системы
Высокопроизводительные системы
Вопрос технологий HPC программирования - открыт
Вопрос технологий HPC программирования - открыт
Предпринимаются попытки
Предпринимаются попытки
Модель потока данных (data flow)
Модель потока данных (data flow)
Предлагаемая методика
Предлагаемая методика
Правила
Правила
Высокопроизводительная программа:
Высокопроизводительная программа:
Процесс выполнения
Процесс выполнения
Пример счетной программы
Пример счетной программы
Пример файла запуска
Пример файла запуска
Пример работы
Пример работы
Преимущества методики
Преимущества методики
Преимущества методики
Преимущества методики
Реализация
Реализация
Первые программы
Первые программы
Реализация
Реализация
Распределённое хранилище данных
Распределённое хранилище данных
WWW
WWW

Презентация: «Методы распределённых вычислений на основе модели потока данных. Прототип системы». Автор: Asus. Файл: «Методы распределённых вычислений на основе модели потока данных. Прототип системы.pptx». Размер zip-архива: 99 КБ.

Методы распределённых вычислений на основе модели потока данных. Прототип системы

содержание презентации «Методы распределённых вычислений на основе модели потока данных. Прототип системы.pptx»
СлайдТекст
1 Методы распределённых вычислений на основе модели потока данных

Методы распределённых вычислений на основе модели потока данных

Прототип системы.

М.О. Бахтерев, П.А. Васёв ИММ УрО РАН, Екатеринбург

XII Международный семинар «Супервычисления и математическое моделирование» РФЯЦ-ВНИИЭФ, Саров 2010

2 Высокопроизводительные системы

Высокопроизводительные системы

Системы с общей памятью (быстрый обмен между потоками) Параллельные среды (кластер с хорошими внутренними сетевыми связями) Распределённые среды (медленные сетевые связи между группой кластеров/узлов)

3 Вопрос технологий HPC программирования - открыт

Вопрос технологий HPC программирования - открыт

Не смотря на наличие MPI OpenMP Почему? Сложные технологии. А если необходима оптимальность – то крайне сложные. Не учитывают современные тенденции (GPGPU, грид, облачные вычисления).

4 Предпринимаются попытки

Предпринимаются попытки

Автоматическое и автоматизированное распараллеливание (DVM) Технологии решения определённых классов задач (Map/Reduce) Инструменты упрощения параллельного программирования (TBB) Некоторые подобные решения предлагают смену парадигмы вычислений.

5 Модель потока данных (data flow)

Модель потока данных (data flow)

Открытый вопрос - конкретная интерпретациия и реализации этой модели. Размер блоков (инструкции...этапы вычислений). Язык описания потока (расширение, новые языки). И так далее (множество деталей).

6 Предлагаемая методика

Предлагаемая методика

Базовые элементы: Хранилище – содержит именованные данные. Имена: «x15», «matr_220_517». Данные: бинарные. Задачи – программы, которые читают данные из хранилища, и пишут в хранилища новые данные. Правила – определяют условия и параметры запуска задач.

7 Правила

Правила

Каждое правило содержит в себе: Список имён данных, которые необходимы для выполнения задачи. Имя задачи, которую необходимо запустить. Список соответствия глобальных имён данных локальным именам. Действия при успешном завершении. Правило срабатывает, когда все исходные данные готовы.

8 Высокопроизводительная программа:

Высокопроизводительная программа:

Набор вычислительных программ Файл запуска – с описанием начальных данных и правил

9 Процесс выполнения

Процесс выполнения

Запуск файла начальных данных и правил Поиск правил, готовых к исполнению Поиск подходящих ресурсов для готовых правил Размещение (части) правил на ресурсах В результате исполнения правил порождаются новые данные => новые готовые правила и свободные ресурсы

10 Пример счетной программы

Пример счетной программы

#include "ride.h“ int main(int argc, char *argv[]) { int n,k; if (ride_get(“in“,&n,sizeof(n)) != RIDE_GOOD) { return -1; } // ************ eval k ********************** k = n + 1 ride_put( “out", ride_data(&k,sizeof(k)) ); return 0; }

11 Пример файла запуска

Пример файла запуска

Ride.put("var1",1 ) for i in (1..10) do r = Rule.new r.feed("var#{i} ", “in") r.mask("var#{i+1}",“out") r.run("sample1/release/sample1.exe") r.save end Ride.run puts Ride.get("var11")

12 Пример работы

Пример работы

Видео-файл

13 Преимущества методики

Преимущества методики

Разделение уровней вычисления и взаимодействия. Произвольные языки программирования вычислительных программ (с внедренными функциями get и put) Отсутствие ограничений на внутреннюю сложность вычислительных программ. Возможность участия в рамках одного вычисления программ различных платформ (ОС, языки, процессоры и GPGPU).

14 Преимущества методики

Преимущества методики

Возможность подключать и отключать вычислительные ресурсы «на лету». Встроенная поддержка контрольных точек (состояние хранилища). Возможность полностью остановить счёт и в будущем продолжить его. Перспективы умного размещения правил, в том числе на основе статистики предыдущих запусков. Поддержка общей памяти. В итоге – поддержка всех уровней HPC-сред и их комбинаций.

15 Реализация

Реализация

Run Side 1

Runner

Run Side 2

Run Side N

Storage

16 Первые программы

Первые программы

Поиск дискретных логарифмов Автор: Илья Альбрехт Эффект: сокращение коммуникаций с 500 строк MPI-кода до 100 строк RIDE-кода Умножение матриц Автор: Михаил Бахтерев Эффект: множество идей по вопросу упрощения языка правил RIDE

17 Реализация

Реализация

Run Side 1

Runner

Run Side 2

Run Side N

Storage

18 Распределённое хранилище данных

Распределённое хранилище данных

Неодинаковые по мощности узлы Неоднородные связи между узлами Подключение и отключение на лету Явное управление репликами Встроенное обнаружение готовых правил Parallel FS, SQL Cluster, DHT, Kademlia/P2P Идея обходчиков и заявок. В разработке.

19 WWW

WWW

RIDEHQ.NET

- Информация о разработке системы

XII Международный семинар «Супервычисления и математическое моделирование» РФЯЦ-ВНИИЭФ, Саров 2010

«Методы распределённых вычислений на основе модели потока данных. Прототип системы»
http://900igr.net/prezentacija/matematika/metody-raspredeljonnykh-vychislenij-na-osnove-modeli-potoka-dannykh.-prototip-sistemy-229253.html
cсылка на страницу

Задачи

45 презентаций о задачах
Урок

Математика

71 тема
Слайды
900igr.net > Презентации по математике > Задачи > Методы распределённых вычислений на основе модели потока данных. Прототип системы