Просмотр исходного текста страницы Параллельные вычисления с передачей сообщений

'''Параллельные вычисления с передачей сообщений''' (''message passing''): [[модель параллельных вычислений|модель]] (образец, парадигма) параллельных вычислений, в которой рабочая память, используемая в расчёте, распределена между различными вычислительными машинами. Одна из наиболее давно и широко распространённых моделей (парадигм) параллельных вычислений; ставит минимум требований к исполняющему оборудованию и может быть осуществлена на широком наборе архитектур.

Основные особенности модели: 1) полное адресное пространство физически разделено на части и 2) поддерживается только явная, эксплицитная [[параллелизация]]. Исполнение параллельной программы, построенной по модели с передачей сообщений, включает ''p'' [[процесс, программа|процессов]], каждый из которых единолично владеет отдельным адресным пространством и может обмениваться данными с прочими процессами.

Некоторые типы параллельного вычислительного оборудования, поддерживающего данную модель: [[вычислительный кластер|вычислительные кластеры]], параллельные ЭВМ с необщей памятью.

Некоторые программные средства, воплощающие данную модель: среда [[MPI]]; формально — любая среда, обеспечивающая обмен данными по сети, например, [[TCP/IP]].

== Особенности программирования ==

Из физической разделенности адресного пространства вытекают два следствия, первое из которых: каждый элемент данных должен находиться в одной из частей адресного пространства, и, следовательно, данные должны явно подразделяться и размещаться; это усложняет программирование, но позволяет повышать производительность за счёт бо́льшей ме́стности доступа (locality of access).

Поскольку в данной модели требуется чтобы [[параллелизм]] переводился в форму программного кода <u>явным</u> образом, программист отвечает за анализ наличного последовательного алгоритма (программы) и должен самостоятельно отыскивать способы декомпозиции расчёта и выявления параллелизма. В результате программирование в данной модели обычно трудно и предъяляет высокие требования к подготовке. С другой стороны, правильно составленные программы с передачей сообщений могут достигать достаточно высокой производительности и масштабироваться на большое число процессов.

Второе следствие физической разделенности адресного пространства: все взаимодействия процессов по данным, как чтение, так и чтение-запись, требуют сотрудничества двух процессов — владеющего данными и запрашивающего доступ к ним; это требование существенно усложняет производство расчёта, поскольку процесс, владеющий данными, должен участвовать в их пересылке, даже если не имеет логической привязки к событиям в запрашивающем процессе; в определённых обстоятельствах, это, по мнению некоторых авторов, ведёт к появлению запутанных программ; в особенности сложным может получаться код для динамических и (или) неструктурированных взаимодействий.

С другой стороны, существенным преимуществом явных двусторонних взаимодействий между процессами является то, что стоимость всех таких не-местных (между процессами на разных машинах) взаимодействий заведомо известна, и при программировании могут быть использованы оптимальные алгоритмы и размещения данных, сокращающие количество не-местных взаимодействий.

— [[user:Yury Tarasievich|Ю.Т.]]

== Источники ==
* Введение в параллельное программирование...
[[category:параллельные вычисления]]