Архитектура параллельных ЭВМ
Архитектура параллельного (распределённого) вычислительного оборудования имеет два основных конструктивных исполнения: (вычислительный) кластер и массово-параллельная система (машина); см. далее в тексте.
По способу программной организации параллельной обработки оборудование разделяется на классы Флинна.
Помимо указанных двух классификаций – существенно необходимых для понимания вопроса, разработано множество прочих, чаще – узкоспециальных классификаций аппаратно-программных и аппаратных параллельно-вычислительных решений.
См. также: параллельные вычисления с общей памятью, параллельные вычисления с передачей сообщений.
Кластер
Кла́стер (англ. cluster — скопление): термин, принимающий различный смысл у различных авторов. Вообще, кластером может считаться любое множество вычислительных машин, соединённое в сеть, если эти машины каким-то образом объединены для решения какой-то задачи.
Вычислительный кластер строится, исходя из достижения наибольшей возможной и/или экономически выгодной производительности в отношении вычислений большого объёма.
Так, множество машин с установленной на них средой типа MPI, включенных в сегмент Ethernet, может рассматриваться и использоваться как вычислительный кластер.
Следует заметить, что специализированные распределённые вычислительные решения (здесь – кластеры) обладают рядом преимуществ перед «случайными», «приспособленными»: лучшее использование кубатуры помещения, более надёжные решения по охлаждению и климатизации, общая надёжность конструктивного исполнения и подобное.
Кроме того, бывают кластеры, построенные для того, чтобы повысить их совокупную надёжность или производительность обработки сетевого потока данных (соответственно, «дублирование» – технологии типа CARP, VRRP и подобные, и «уравновешивание нагрузки» (load balancing), и т.д.
Массово-параллельная система
Массово-параллельная система (англ. MPP – massive parallel processing [system]): вычислительная система, построенная из множества независимых вычисляющих устройств или процессоров, работающих параллельно (совместно). Число устройств в системе может достигать сотен и тысяч («массовость»). Главное отличие от кластерных систем в том, что устройства конструктивно образуют единую вычислительную машину (систему).
Суперкомпьютер
«Суперкомпьютер»: условное название вычислительной машины или комплекса в произвольном конструктивном исполнении, имеющего сравнительно очень высокую, на данное время, производительность.
Внутренняя сеть
Поскольку вычислительные устройства в составе параллельной ЭВМ (ПарВМ) работают совместно и, следовательно, должны обмениваться данными, важнейшей проблемой при построении ПарВМ является построение сети внутренней сети обмена данными, соединяющей устройства, а это, в свою очередь, означает оптимизацию таких параметров сети, как пропускная способность (т.наз. «скорость передачи»; throughput, bandwidth) и задержка начала поступления данных или задержка появления данных (т.наз. «латентность»; latency) линий связи между вычислительными устройствами – внутренней сети.
При построении внутренней сети простейшим способом, через локальные сети технологии Ethernet, главной проблемой является большое (до единиц миллисекунд) время задержки появления данных (high latency) у адресата при сравнительно высокой (сотни и тысячи мегабит в секунду) пропускной способности самого канала.
Данную проблему призваны решать специальные быстродействующие сети с малым временем задержки (SCI, Myrinet, Infiniband и др.). В таких сетях пропускная способность достигает десятков гигабит в секунду при задержке порядка единиц микросекунд. Однако это достигается за счёт усложнения конструкции связных устройств и повышения стоимости оборудования.
— Ю.Т.
