Кластерні системи. Компанія мехатроніка. Beowulf, або Обчислювальна потужність

Високопродуктивний кластер (група комп'ютерів)

Комп'ютерний кластер - це група комп'ютерів об'єднаних між собою високошвидкісними лініями зв'язку, які спільно обробляють одні й ті ж запити і представляються з боку користувача як єдина обчислювальна система.

До основних рис кластерів

Кластери складаються з декількох комп'ютерних систем;

Вони працюють як одна обчислювальна система (не всі);

Кластер управляється і представляється користувачеві як одна обчислювальна система;

Навіщо потрібні кластери

Кластери можна використовувати в різних цілях. Кластери можуть створювати відмовостійкі системи, можуть служити для підвищення продуктивності комп'ютерного вузла, а можуть бути використанні для трудомістких обчислень.

Які бувають кластери

відмовостійкі кластери

Подібні кластера створюють для забезпечення високого рівня доступності сервісу подається кластером. чим більше кількість комп'ютерів входять в кластер, тим менше ймовірність відмови акредитуючої сервісу. Комп'ютери, які входять в кластер, рознесені географічно, так само забезпечують захист від стихійних лих, терористичних атак та інших загроз.

Дані кластера можуть бути побудовані за трьома основними принципами

кластери з холодним резервом - це коли активний вузол обробляє запити, а пасивний бездіяльний, і просто чекає відмови активного. Пасивний вузол починає працювати тільки після відмови активного. Кластер, побудований за даному принципу, Може забезпечити високу відмовостійкість, але в момент виключення активного вузла, запити обробляються їм в цей момент можуть бути загублені.
кластер з гарячим резервом - це коли всі вузли системи спільно обробляють запити, а в разі відмови одного або декількох вузлів, навантаження розподіляється між рештою. даний тип кластера можна так само назвати кластер розподілу навантаження про який ми поговоримо далі, але з підтримкою розподілу запитів при відмові одного або декількох вузлів. При використанні даного кластера, так само є ймовірність втрати даних, які обробляються вузлом, який дав збій.
кластер з модульної надмірністю - це коли всі комп'ютери кластера обробляють одні й ті ж запити паралельно один одному, а після обробки береться будь-яке значення. Подібна схема гарантує виконання запиту, так як можна узятий будь-який результат обробки запиту.

Кластер розподілу навантаження

Ці кластера створюють в основному для підвищення продуктивності, але їх можна використовувати і для підвищення відмовостійкості, як у випадку з ВІДМОВОСТІЙКО кластером гарячого резерву. В даних кластера запити розподіляються через вхідні вузли на всі інші вузли кластера.

обчислювальні кластери

Даний тип кластерів, використовується як правило в наукових цілях. У даних системах, завдання розбивається на частини, паралельно-виконувані на всіх вузлах кластера. Це дозволяє істотно скоротити час обробки даних в порівнянні з поодинокими комп'ютерами.

Не забуваємо залишати

Одне з найсучасніших напрямків в області створення обчислювальних систем - це кластеризація. За продуктивністю і коефіцієнту готовності кластеризація є альтернативою симетричним мультипроцесорним системам.

Як ми вже відзначали, обчислювальний кластер - це М1МР-система (мультікомпьютер), що складається з безлічі окремих комп'ютерів (вузлів обчислювального кластера), об'єднаних єдиною комунікаційним середовищем.

Як вузла кластера може виступати як однопроцесорна ВМ, так і ВС типу SMP або МРР. Кожен вузол в змозі функціонувати самостійно і окремо від кластера.

Кожен вузол має свою локальну оперативну пам'ять. При цьому загальної фізичної оперативної пам'яті для вузлів, як правило, не існує. Комунікаційне середовище обчислювальних кластерів зазвичай дозволяє вузлам взаємодіяти між собою тільки за допомогою передачі повідомлень. В цілому обчислювальний кластер слід розглядати як єдину апаратно-програмну систему, що має єдину комунікаційну систему, єдиний центр управління і планування завантаження.

Архітектура кластерних обчислень зводиться до об'єднання декількох вузлів високошвидкісною мережею. Поряд з терміном «кластерні обчислення», часто застосовуються такі назви, як кластер робочих станцій (workstation cluster), гіпервичісленія (hypercomputing), паралельні обчислення на базі мережі (network-based concurrent computing).

Перед кластерами ставляться два завдання:

досягти великої обчислювальної потужності;
забезпечити підвищену надійність ВС.

Перший комерційний кластер створений корпорацією «DEC» на початку 80-х рр. минулого століття. Як вузлів кластерів можуть використовуватися як однакові ВС (гомогенні кластери), так і різні (гетерогенні кластери). За своєю архітектурою кластерна ВС є слабо зв'язаної системою.

Переваги, що досягаються за допомогою кластеризації:

абсолютна масштабованість. Можливе створення великих кластерів, що перевершують по обчислювальної потужності навіть найпродуктивніші поодинокі ВМ. Кластер в змозі утримувати десятки вузлів, кожен з яких представляє собою мультиплексор;
нарощувана масштабованість. Кластер будується так, що його можна нарощувати, додаючи нові вузли невеликими порціями;
високий коефіцієнт готовності. Оскільки кожен вузол кластера - самостійна ВМ або ВС, відмова одного з вузлів не призводить до втрати працездатності кластера. У багатьох системах відмовостійкість автоматично підтримується програмним забезпеченням;
чудове співвідношення ціна / продуктивність. Кластер будь-якої продуктивності можна створити, поєднуючи стандартні

ВМ, при цьому його вартість буде нижче, ніж у одиночній ВМ

з еквівалентної обчислювальною потужністю.

На рівні апаратного забезпечення кластер - це просто сукупність незалежних обчислювальних систем, об'єднаних мережею. При з'єднанні машин в кластер майже завжди підтримуються прямі межмашинного зв'язку. Рішення можуть бути простими, які базуються на апаратурі Ethernet, або складними з високошвидкісними мережами з пропускною спроможністю в сотні мегабайт в секунду (система /? 5/6000 SP компанії «1ВМ», системи фірми «Digital» на основі Memory Channel, ServerNet корпорації «Compaq»).

Вузли кластера контролюють працездатність один одного і обмінюються специфічною інформацією. Контроль працездатності здійснюється за допомогою спеціального сигналу, званого heartbeat ( «серцебиття»). Цей сигнал передається вузлами кластера один одному, щоб підтвердити їх нормальне функціонування.

Невід'ємною частиною кластера є спеціалізоване програмне забезпечення (ПО), на яку покладається завдання забезпечення безперебійної роботи при відмові одного або декількох вузлів. Таке ПО виробляє перерозподіл обчислювального навантаження при відмові одного або декількох вузлів кластера, а також відновлення обчислень при збої в вузлі. Крім того, при наявності в кластері спільно використовуваних дисків кластерне програмне забезпечення підтримує єдину файлову систему.

Вузли обчислювального кластера можуть функціонувати під управлінням різних операційних систем. Однак найчастіше використовуються стандартні UNIX-подібні системи. Зауважимо, що з точки зору розробки прикладних паралельних програм немає будь-яких принципових відмінностей між однорідними обчислювальними кластерами і МРР-системами.

Класифікація обчислювальних кластерів за типом

вузлових процесорів

Обчислювальні кластери класифікуються перш за все за характером вузлових процесорів (рис. 9.10).

Як вузлів обчислювального кластера зазвичай використовують персональні комп'ютери, робочі станції і ^ МР-сервери. Якщо в якості вузла кластера використовується SMP-система, то такий обчислювальний кластер називається * 5ЖР-кластером.

Якщо в якості вузлів обчислювального кластера використовуються персональні ЕОМ або робочі станції, то звичайною є си-

Мал. 9.10.

туація, коли під час вирішення завдання на кластері на вузлах цього кластера продовжують виконуватися послідовні завдання користувачів. В результаті відносна продуктивність вузлів кластера змінюється випадковим чином і в широких межах. Рішенням проблеми було б написання самоадаптірующейся користувальницької програми. Однак ефективне рішення цієї задачі є досить проблематичним. Ситуація ускладнюється, якщо серед вузлових комп'ютерів обчислювального кластера є файлові сервери. При цьому під час вирішення завдання на кластері в широких межах може змінюватися завантаження комунікаційного середовища, що робить непередбачуваними комунікаційні витрати завдання.

Класифікація обчислювальних кластерів по однорідності вузлів

Як і всякі А // А //) - системи, обчислювальні кластери поділяються на однорідні кластерні системи (однорідні обчислювальні кластери) і різнорідні кластерні системи (гетерогенні обчислювальні кластери).

Зазвичай, коли говорять про обчислювальних кластерах, мають на увазі однорідні обчислювальні кластери. Однак часто при нарощуванні кластеру доводиться використовувати процесори, що відрізняються не тільки по продуктивності, але і по архітектурі від вузлових процесорів кластера. Тому поступово однорідний обчислювальний кластер може стати неоднорідним. Ця неоднорідність створює такі проблеми: відмінність в продуктивності процесорів ускладнює завдання розподілу робіт між процесорами; відмінність в архітектурі процесорів вимагає підготовки різних виконуваних файлів для різних вузлів, а в разі відмінностей в уявленні даних може зажадати і перетворення їх форматів при передачі повідомлень між вузлами.

Класифікація обчислювальних кластерів по функціональності вузлів

Вузли обчислювального кластера можуть являти собою повно-функціональні комп'ютери, які можуть працювати і як самостійні одиниці. Продуктивність такого кластера зазвичай невисока.

Для створення високопродуктивних обчислювальних кластерів системні блоки вузлових комп'ютерів роблять значно простішими, ніж в першому випадку (неполнофункціональнимі). Тут немає необхідності постачати комп'ютери вузлів графічними картами, моніторами, дисковими накопичувачами і іншим периферійним обладнанням. Периферійне устаткування встановлюється тільки на одному або небагатьох керівників комп'ютерах (ЯОУГ-комп'ютерах). Такий похід дозволяє значно зменшити вартість системи.

При класифікації кластерів використовується і ряд інших класифікаційних ознак (рис. 9.11).

Мал. 9.11.

класифікація по стандартності комплектуючих;
класифікація по функціональної спрямованості. Класифікація обчислювальних кластерів по стандартності комплектуючих. З точки зору стандартності комплектуючих можна виділити два класи кластерних систем:
- 1) обчислювальний кластер будується цілком із стандартних комплектуючих;
- 2) при побудові кластера використовуються ексклюзивні або нешироко поширені комплектуючі.

Обчислювальні кластери першого класу мають низькі ціни і просте обслуговування. Широке поширення кластерні технології отримали як засіб створення саме відносно дешевих систем суперкомп'ютерного класу з складових частин масового виробництва.

Кластери другого класу дозволяють отримати дуже високу продуктивність, але є, природно, більш дорогими.

Класифікація обчислювальних кластерів по їх функціональної спрямованості. З функціональної точки зору кластерні системи можна розділити:

На високошвидкісні кластерні системи (High Performance) -

ЯР-кластери;

Кластерні системи високої готовності (High Availability) - НА-

кластери.

високошвидкісні кластери використовуються в областях, які вимагають значної обчислювальної потужності. Кластери високої готовності використовуються всюди, де вартість можливого простою перевищує вартість витрат, необхідних для побудови відмовостійкої системи.

Продуктивність обчислювального високошвидкісного кластера, очевидно, заздрості від продуктивності його вузлів. З іншого боку, продуктивність кластера, як і будь-якої системи з розподіленою пам'яттю, сильно залежить від продуктивності комунікаційного середовища. Зазвичай при побудові обчислювальних кластерів використовують досить дешеві комунікаційні середовища. Такі середовища забезпечують, на один - два порядки нижчу продуктивність ніж продуктивність комунікаційних середовищ суперкомп'ютерів. Тому знаходиться не так багато завдань, які можуть досить ефективно вирішуватися на великих кластерних системах.

Вплив продуктивності комунікаційного середовища на загальну продуктивність кластерної системи залежить від характеру виконуваної завдання. Якщо завдання вимагає частого обміну даними між подзадачами, які вирішуються на різних вузлах обчислювального кластера, то швидкодії комунікаційного середовища слід приділити максимум уваги. Відповідно, чим менше взаємодіють частини завдання між собою, тим менше уваги можна приділити швидкодії комунікаційного середовища.

Розроблено безліч технологій з'єднання комп'ютерів в кластер.

Для того щоб обчислювальна система мала високими показниками готовності, необхідно, щоб її компоненти були максимально надійними, щоб система була відмовостійкої, а також щоб була можливою «гаряча» заміна компонентів (без зупинки системи). Завдяки кластеризації при відмові одного з комп'ютерів системи завдання можуть бути автоматично (операційною системою) перерозподілені між іншими (справними) вузлами обчислювального кластера. Таким чином, відмовостійкість кластера забезпечується дублюванням всіх життєво важливих компонентів обчислювальної системи. Найпопулярнішими комерційними відмовостійкими системами в даний час є двовузлового кластери.

Виділяється ще один клас обчислювальних кластерів - обчислювальні мережі (GRID), об'єднують ресурси безлічі кластерів, багатопроцесорних і однопроцесорних ЕОМ, які можуть належати різним організаціям і бути розташованими в різних країнах.

Розробка паралельних програм для обчислювальних мереж ускладнюється через наступних проблем. Ресурси (кількість вузлів, їх архітектура, продуктивність), які виділяються задачі, визначаються тільки в момент обробки мережею замовлення на виконання цього завдання. Тому програміст не має можливості розробити програму для конкретної конфігурації обчислювальної мережі. Програму доводиться розробляти так, щоб вона могла динамічно (без перекомпіляції) самонастроюватися на виділену конфігурацію мережі. Крім того, до неоднорідності комунікаційного середовища додається мінливість її характеристик, що викликається змінами завантаження мережі. У кращому випадку програма повинна розроблятися з урахуванням цієї неоднорідності комунікаційного середовища, що являє собою досить непросте завдання. Як ми зазначали вище, подібна проблема має місце і для обчислювальних кластерів, побудованих на основі персональних комп'ютерів або робочих станцій.

Ефективна продуктивність кластерних обчислювальних систем (real applications performance, RAP) оцінюється як 5-15% від їх пікової продуктивності (Peak Advertised Performance, PAP). Для порівняння: у кращих малопроцессорних систем з векторних процесорів це співвідношення оцінюється як 30-50%.

Blue Gene / L і сімейства SGI Altix.

В якості базового програмного забезпечення для організації обчислень на кластерних системах розглядається Windows Compute Cluster Server (CCS) 2003. Дається його загальна характеристика і склад сервісів, що працюють на вузлах кластерів.

На закінчення даного розділу, наводяться правила роботи з консоллю запуску та управління завданнями CCS. Описуються подробиці роботи планувальника CCS при виконанні послідовностей завдань на кластері.

1.1. Архітектура високопродуктивних процесорів і кластерних систем

В історії розвитку архітектури комп'ютерних процесорів можна виділити два великих етапи:

1-й етап - збільшення тактової частоти роботи процесорів (до 2000 р),
2-й етап - поява багатоядерних процесорів (після 2000) р

Таким чином, підхід на основі SMP (Symmetrical MultiProcessing), який розвивався при побудові високопродуктивних серверів, в яких кілька процесорів поділяють ресурс системи, і, в першу чергу, оперативну пам'ять (див. Рис 1.1), змістився "вниз" на рівень ядер всередині процесора.

Мал. 1.1.

На шляху до багатоядерним процесорам, першою з'явилася технологія Hyper-Threading, вперше застосована в 2002 р в процесорах Intel Pentium 4:

Мал. 1.2.

У цій технології два віртуальних процесора поділяють між собою всі ресурси одного фізичного процесора, а саме, кеші, конвеєр виконання і окремі виконавчі пристрої. При цьому, якщо один віртуальний процесор зайняв загальний ресурс, то другий чекатиме його звільнення. Тим самим, процесор з Hyper-Threading можна порівняти з багатозадачного операційною системою, що забезпечує кожному працюючому в ній процесу свій віртуальний комп'ютер з повним набором засобів і займається плануванням порядку і часу роботи цих процесів на фізичному обладнанні. Тільки у випадку з Hyper-Threading, все це відбувається на значно нижчому апаратному рівні. Проте, два потоку команд дозволяють більш ефективно завантажити виконавчі пристрої процесора. Реальний приріст продуктивності процесора від застосування технології Hyper-Threading оцінюється від 10 до 20 відсотків.

Повноцінний двоядерний процесор (див. Рис 1.3), на окремих завданнях демонструє приріст продуктивності від 80 до 100 відсотків.

Мал. 1.3.

Таким чином, двоядерний і, в загальному випадку, багатоядерний процесор, можна розглядати як SMP-систему в мініатюрі, в якій відсутня необхідність використання складних і дорогих багатопроцесорних материнських плат.

Більш того, кожне ядро \u200b\u200bможе (як, наприклад, в процесорі Intel Pentium Extreme Edition 840) підтримувати технологію Hyper-Threading, а тому такого роду двоядерний процесор може виконувати чотири програмних потоку одночасно.

На початку 2007 р, корпорація Intel представила 80-ядерний однокристальний процесор, який отримав назву Teraflops Research Chip (http://www.intel.com/research/platform/terascale/teraflops.htm). Цей процесор може досягати продуктивності 1,01 терафлопс при мінімальній тактовій частоті ядра 3,16 ГГц і напрузі 0,95 В. При цьому загальне енергоспоживання чіпа складає всього 62 Вт.

За прогнозами Intel, комерційні варіанти процесорів з великим числом ядер з'являться в найближчі 5 років, а до 2010 р чверть обсягу всіх поставляються серверів матимуть терафлопного продуктивність.

Кластерні обчислювальні системи і їх архітектура

кластер - це локальна (розташована територіально в одному місці) обчислювальна система, що складається з безлічі незалежних комп'ютерів і мережі, що зв'язує їх. Крім того, кластер є локальною системою тому, що він керується в рамках окремого адміністративного домену як єдина комп'ютерна система.

Комп'ютерні вузли з яких він складається, є стандартними, універсальними (персональними) комп'ютерами, використовуваними в різних областях і для різноманітних додатків. Обчислювальний вузол може містити або один мікропроцесор, або кілька, утворюючи, в останньому випадку, симетричну (SMP-) конфігурацію.

Мережева компонента кластера може бути або звичайною локальною мережею, Або бути побудована на основі спеціальних мережевих технологій, Що забезпечують надшвидку передачу даних між вузлами кластера. Мережа кластера призначена для інтеграції вузлів кластера і, звичайно, відокремлена від зовнішньої мережі, через яку здійснюється доступ користувачів до кластеру.

Програмне забезпечення кластерів складається з двох компонент:

засобів розробки / програмування та
засобів управління ресурсами.

До засобів розробки відносяться компілятори для мов, бібліотеки різного призначення, засоби вимірювання продуктивності, а також отладчики, що, все разом, дозволяє будувати паралельні програми.

До програми керування ресурсами відносяться засоби інсталяції, адміністрування і планування потоків робіт.

Хоча для паралельної обробки існує дуже багато моделей програмування, але, на даний момент, домінуючим підходом є модель на основі "передачі повідомлень" (message passing), реалізована у вигляді стандарту MPI (Message Passing Interface). MPI - це бібліотека функцій, за допомогою яких в програмах на мовах C або Фортран можна передавати повідомлення між паралельними процесами, а також керувати цими процесами.

Альтернативами такому підходу є мови на основі так званого "глобального розподіленого адресного простору" (GPAS - global partitioned address space), типовими представниками яких є мови HPF (High Performance Fortran) і UPC (Unified Parallel C).

Матеріал з Вікіпедії - вільної енциклопедії

Кластери розподілу навантаження (Network Load Balancing, NLB)

Принцип їх дії будується на розподілі запитів через один або кілька вхідних вузлів, які перенаправляють їх на обробку в інші, обчислювальні вузли. Початкова мета такого кластера - продуктивність, однак, в них часто використовуються також і методи, що підвищують надійність. Подібні конструкції називаються серверними фермами. Програмне забезпечення (ПО) може бути як комерційним (OpenVMS, MOSIX, Platform LSF HPC, Solaris Cluster, Moab Cluster Suite, Maui Cluster Scheduler), так і безкоштовним (OpenMosix, Sun Grid Engine, Linux Virtual Server).

обчислювальні кластери

Кластери використовуються в обчислювальних цілях, зокрема в наукових дослідженнях. Для обчислювальних кластерів істотними показниками є висока продуктивність процесора в операціях над числами з плаваючою точкою (flops) і низька латентність об'єднує мережі, і менш істотними - швидкість операцій введення-виведення, яка більшою мірою важлива для баз даних і web-сервісів. Обчислювальні кластери дозволяють зменшити час розрахунків, у порівнянні з одиночним комп'ютером, розбиваючи завдання на паралельно виконуються гілки, які обмінюються даними по зв'язує мережі. Одна з типових конфігурацій - набір комп'ютерів, зібраних із загальнодоступних компонентів, з встановленої на них операційної системою Linux, І пов'язаних мережею Ethernet, Myrinet, InfiniBand або іншими відносно недорогими мережами. Таку систему прийнято називати кластером Beowulf. Спеціально виділяють високопродуктивні кластери (Позначаються англ. Абревіатурою HPC Cluster - High-performance computing cluster). Список найпотужніших високопродуктивних комп'ютерів (також може позначатися англ. Абревіатурою HPC) Можна знайти в світовому рейтингу TOP500. У Росії ведеться рейтинг самих потужних комп'ютерів СНД.

Системи розподілених обчислень (grid)

Такі системи не прийнято вважати кластерами, але їх принципи в значній мірі схожі з кластерної технологією. Їх також називають grid-системами. Головна відмінність - низька доступність кожного вузла, тобто неможливість гарантувати його роботу в заданий момент часу (вузли підключаються і відключаються в процесі роботи), тому завдання повинна бути розбита на ряд незалежних один від одного процесів. Така система, на відміну від кластерів, не схожа на єдиний комп'ютер, А служить спрощеним засобом розподілу обчислень. Нестабільність конфігурації, в такому випадку, компенсується великим числом вузлів.

Кластер серверів, організованих програмно

Кластерні системи займають гідне місце в списку найшвидших, при цьому значно виграючи у суперкомп'ютерів в ціні. На липень 2008 року на 7 місці рейтингу TOP500 знаходиться кластер SGI Altix ICE 8200 (Chippewa Falls, Вісконсін, США).

Порівняно дешеву альтернативу суперкомп'ютерів представляють кластери, засновані на концепції Beowulf, які будуються із звичайних недорогих комп'ютерів на основі безкоштовного програмного забезпечення. Один з практичних прикладів такої системи - Stone Soupercomputer в Національній лабораторії Ок-Рідж (Теннессі, США, 1997).

Найбільший кластер, що належить приватній особі (з 1000 процесорів), був побудований Джоном Коза (John Koza).

Історія

Історія створення кластерів нерозривно пов'язана з ранніми розробками в області комп'ютерних мереж. Однією з причин для появи швидкісного зв'язку між комп'ютерами стали надії на об'єднання обчислювальних ресурсів. На початку 1970-х років групою розробників протоколу TCP / IP і лабораторією Xerox PARC були закріплені стандарти мережевої взаємодії. З'явилася і операційна система Hydra для комп'ютерів PDP-11 виробництва DEC, створений на цій основі кластер був названий C.mpp (Піттсбург, штат Пенсільванія, США, 1971 рік). Проте, тільки близько 1983 року було створено механізми, що дозволяють з легкістю користуватися розподілом завдань і файлів через мережу, здебільшого це були розробки в SunOS (операційній системі на основі BSD від компанії Sun Microsystems).

Першим комерційним проектом кластера став ARCNet, створений компанією Datapoint в 1977 році. Прибутковим він не став, і тому будівництво кластерів не розвивалося до 1984 року, коли DEC побудувала свій VAXcluster на основі операційної системи VAX / VMS. ARCNet і VAXcluster були розраховані не тільки на спільні обчислення, але і спільне використання файлової системи і периферії з урахуванням збереження цілісності і однозначності даних. VAXCluster (званий тепер VMSCluster) - є невід'ємною компонентою операційної системи OpenVMS, що використовують процесори DEC Alpha і Itanium.

Два інших ранніх кластерних продукту, які отримали визнання, включають Tandem Hymalaya (1994, клас) і IBM S / 390 Parallel Sysplex (1994).

Історія створення кластерів з звичайних персональних комп'ютерів багато в чому зобов'язана проекту Parallel Virtual Machine. У 1989 році це програмне забезпечення для об'єднання комп'ютерів у віртуальний суперкомп'ютер відкрило можливість миттєвого створення кластерів. В результаті сумарна продуктивність усіх створених тоді дешевих кластерів обігнала по продуктивності суму потужностей «серйозних» комерційних систем.

Створення кластерів на основі дешевих персональних комп'ютерів, об'єднаних мережею передачі даних, продовжилося в 1993 році силами Американського аерокосмічного агентства NASA, потім в 1995 році отримали розвиток кластери Beowulf, спеціально розроблені на основі цього принципу. Успіхи таких систем підштовхнули розвиток grid-мереж, які існували ще з моменту створення UNIX.

програмні засоби

Широко поширеним засобом для організації межсерверного взаємодії є бібліотека MPI, що підтримує мови та Fortran. Вона використовується, наприклад, в програмі моделювання погоди.

Операційна система Solaris надає програмне забезпечення Solaris Cluster, яке служить для забезпечення високої доступності і безвідмовності серверів, що працюють під управлінням Solaris. Для OpenSolaris існує реалізація з відкритим кодом під назвою OpenSolaris HA Cluster.

Серед користувачів GNU / Linux популярні кілька програм:

distcc, MPICH і ін. - спеціалізовані засоби для розпаралелювання роботи програм. distcc допускає паралельну компіляцію в GNU Compiler Collection.
Linux Virtual Server, Linux-HA - вузлове ПО для розподілу запитів між обчислювальними серверами.
MOSIX, openMosix, Kerrighed, OpenSSI - повнофункціональні кластерні середовища, вбудовані в ядро, автоматично розподіляють завдання між однорідними вузлами. OpenSSI, openMosix і Kerrighed створюють між вузлами.

Кластерні механізми планується вмонтувати і в ядро \u200b\u200bDragonFly BSD, відгалузилося в 2003 році від FreeBSD 4.8. У далеких планах також перетворення її в середу єдиної операційної системи.

Компанією Microsoft випускається HA-кластер для операційної системи Windows. Існує думка, що він створений на основі технології Digital Equipment Corporation, підтримує до 16 (з 2010 року) вузлів в кластері, а також роботу в мережі SAN (Storage Area Network). Набір API-інтерфейсів служить для підтримки розподілених додатків, є заготовки для роботи з програмами, які не передбачають роботи в кластері.

Windows Compute Cluster Server 2003 (CCS), випущений в червні 2006 року розроблений для високотехнологічних додатків, які вимагають кластерних обчислень. Видання розроблено для розгортання на безлічі комп'ютерів, які збираються в кластер для досягнення потужностей суперкомп'ютера. Кожен кластер на Windows Compute Cluster Server складається з одного або декількох керуючих машин, які розподіляють завдання і декількох підлеглих машин, що виконують основну роботу. У листопаді 2008 року представлений Windows HPC Server 2008, покликаний замінити Windows Compute Cluster Server 2003.

Напишіть відгук про статтю "Кластер (група комп'ютерів)"

Примітки

Див. також

посилання



загальні положення

рівні паралелізму

потік виконання

теорія

елементи

взаємодія

програмування

Комп'ютерна техніка

API

проблеми

Уривок, що характеризує Кластер (група комп'ютерів)

- Ну, БГ "ат, тепег" ь поїдемо обсушити, - сказав він Петі.
Під'їжджаючи до лісової сторожці, Денисов зупинився, вдивляючись в ліс. За лісі, між дерев, великими легкими кроками йшов на довгих ногах, з довгими мотати руками, людина в куртці, постолах і казанської капелюсі, з рушницею через плече і сокирою за поясом. Побачивши Денисова, людина цей поспішно жбурнув що то в кущ і, знявши з відвислими полями мокру капелюх, підійшов до начальника. Це був Тихон. Порите віспою і зморшками обличчя його з маленькими вузькими очима сяяло самовдоволеним веселощами. Він, високо піднявши голову і ніби утримуючись від сміху, втупився на Денисова.
- Ну де пг "опадав? - сказав Денисов.
- Де пропадав? За французами ходив, - сміливо і поспішно відповідав Тихон хрипким, але співучим басом.
- Навіщо ж ти днем \u200b\u200bполіз? Скотина! Ну що ж, не взяв? ..
- Взяти то взяв, - сказав Тихін.
- Де ж він?
- Так я його взяв спершу наперво на світанку ще, - продовжував Тихон, переставляючи ширше плоскі, вивернуті в постолах ноги, - та й звів в ліс. Бачу, що не ладен. Думаю, дай сходжу, іншого поаккуратнее якого візьму.
- Бач, шельма, так і є, - сказав Денисов Есаулов. - Навіщо ж ти цього не пг "Івела?
- Так що ж його водити то, - сердито і поспішно перебив Тихон, - І не гожа. Хіба я не знаю, яких вам треба?
- Ека бестія! .. Ну? ..
- Пішов за іншим, - продовжував Тихон, - Підполоззя я таким манером в ліс, та й ліг. - Тихон несподівано і гнучко ліг на черево, представляючи в особах, як він це зробив. - Один і напевно, - продовжував він. - Я його таким манером і сграбіть. - Тихон швидко, легко скочив. - Підемо, кажу, до полковника. Як загалдіт. А їх тут четверо. Кинулися на мене з шпажками. Я на них таким манером сокирою: що ви, мовляв, Христос з вами, - скрикнув Тихон, размахнув руками і грізно хмурячись, виставляючи груди.
- Те то ми з гори бачили, як ти стречка ставив через калюжі то, - сказав Есаулов, звужуючи свої блискучі очі.
Петі дуже хотілося сміятися, але він бачив, що все утримувалися від сміху. Він швидко переводив очі з особи Тихона на обличчя Есаулов та Денисова, не розуміючи того, що все це означало.
- Ти дуг "ака щось не уявляй, - сказав Денисов, сердито покашлюючи. - Навіщо пег" вого НЕ пг "Івела?
Тихон став чухати однією рукою спину, інший голову, і раптом вся пика його розтяглася в сяючу дурну посмішку, яка відкрила недолік зуба (за що він і прозваний Щербатий). Денисов посміхнувся, і Петя залився веселим сміхом, до якого приєднався і сам Тихон.
- Так що, зовсім несправностей, - сказав Тихін. - одежину поганенька на ньому, куди ж його водити то. Та й грубіян, ваше благородіє. Як же, каже, я сам анаральскій син, не піду, каже.
- Ото вже скотина! - сказав Денисов. - Мені розпитати треба ...
- Так я його питав, - сказав Тихін. - Він каже: погано зн АКОМ. Наших, каже, і багато, та все погані; тільки, каже, одна назви. Ахнете, каже, гарненько, всіх заберете, - уклав Тихон, весело і рішуче глянувши в очі Денисова.
- Ось я ті всиплю сотню Гог "ячих, ти і будеш дуг" ака то ко "чить, - сказав Денисов строго.
- Так що ж сердитися то, - сказав Тихін, - що ж, я не бачив французів ваших? Ось дай позатемняет, я табе яких хошь, хоч трьох приведу.
- Ну, поїдемо, - сказав Денисов, і до самої вартівні він їхав, сердито насупившись і мовчки.
Тихон зайшов ззаду, і Петя чув, як сміялися з ним і над ним козаки про якісь чоботях, які він кинув у кущ.
Коли пройшов той оволодів їм сміх при словах і посмішці Тихона, і Петя зрозумів на мить, що Тихон цей вбив людину, йому зробилося ніяково. Він озирнувся на полоненого барабанщика, і що то кольнуло його в серце. Але ця незручність тривала тільки одну мить. Він відчув необхідність вище підняти голову, підбадьорити і розпитати Есаулов з значним видом про завтрашній підприємстві, з тим щоб не бути недостойним того суспільства, в якому він знаходився.
Посланий офіцер зустрів Денисова на дорозі зі звісткою, що Долохов сам зараз приїде і що з його боку все благополучно.
Денисов раптом повеселішав і покликав до себе Петю.
- Ну, г "асскажі ти мені пг" про себе, - сказав він.

Петя при виїзді з Москви, залишивши своїх рідних, приєднався до свого полку і скоро після цього був узятий ординарцем до генерала, який командував великим загоном. З часу свого виробництва в офіцери, і особливо з надходження в діючу армію, де він брав участь в Вяземському битві, Петя перебував в постійно щасливо збудженому стані радості на те, що він великий, і в постійно захопленої поспішності не пропустити якого-небудь випадку справжнього геройства . Він був дуже щасливий тим, що він бачив і пережив у армії, але в той же час йому все здавалося, що там, де його немає, там то тепер і відбувається справжнісіньке, геройське. І він поспішав встигнути туди, де його не було.
Коли 21 го жовтня його генерал висловив бажання послати кого небудь в загін Денисова, Петя так жалісно просив, щоб послати його, що генерал не міг відмовити. Але, відправляючи його, генерал, поминаючи божевільний вчинок Петі в Вяземському битві, де Петя, замість того щоб їхати дорогою туди, куди він був посланий, поскакав в ланцюг під вогонь французів і вистрілив там два рази зі свого пістолета, - відправляючи його, генерал саме заборонив Петі брати участь в яких би то не було діях Денисова. Від цього то Петя почервонів і змішався, коли Денисов запитав, чи можна йому залишитися. До виїзду на узлісся Петя вважав, що йому треба, суворо виконуючи свій обов'язок, зараз же повернутися. Але коли він побачив французів, побачив Тихона, дізнався, що в ніч неодмінно атакують, він, з швидкістю переходів молодих людей від одного погляду до іншого, вирішив сам з собою, що генерал його, якого він до сих пір дуже поважав, - дрянь, німець, що Денисов герой, і Есаулов герой, і що Тихон герой, і що йому було б соромно виїхати від них у важку хвилину.
Вже сутеніло, коли Денисов з Петром і Есаулов під'їхали до сторожці. У напівтемряві виднілися коні в сідлах, козаки, гусари, прилаштовувати курені на галявині і (щоб не бачили диму французи) розводили красневшій вогонь в лісовому яру. У сінях маленької хатинки козак, засукавши рукава, рубав баранину. У самій хаті були троє офіцерів з партії Денисова, устроівавшіе стіл з дверей. Петя зняв, віддавши сушити, своє мокре плаття і відразу заходився сприяти офіцерам в пристрої обіднього столу.
Через десять хвилин був готовий стіл, покритий серветкою. На столі була горілка, ром в пляшці, білий хліб і смажена баранина з сіллю.
Сидячи разом з офіцерами за столом і розриваючи руками, за якими текло сало, жирну запашну баранину, Петя перебував в захопленому дитячому стані ніжної любові до всіх людей і внаслідок того впевненості в такій же любові до себе інших людей.
- Так що ж ви думаєте, Василь Федорович, - звернувся він до Денисову, - нічого, що я з вами залишуся на день? - І, не чекаючи відповіді, він сам відповідав собі: - Адже мені велено дізнатися, ну ось я і дізнаюся ... Тільки ви мене пустите в саму ... в головну. Мені не потрібно нагород ... А мені хочеться ... - Петя зціпив зуби і озирнувся, смикаючи догори піднятою головою і розмахуючи рукою.
- У найголовнішу ... - повторив Денисов, посміхаючись.
- Тільки вже, будь ласка, мені дайте команду зовсім, щоб я командував, - продовжував Петя, - ну що вам варто? Ах, вам ножик? - звернувся він до офіцера, який хотів відрізати баранини. І він подав свій складаний ножик.
Офіцер похвалив ножик.
- Візьміть, будь ласка, собі. У мене багато таких ... - почервонівши, сказав Петя. - Батюшки! Я і забув зовсім, - раптом скрикнув він. - У мене родзинки чудовий, знаєте, такий, без кісточок. У нас маркітант новий - і такі прекрасні речі. Я купив десять фунтів. Я звик що небудь солодке. Хочете? .. - І Петя побіг у сіни до свого козака, приніс торби, в яких було фунтів п'ять родзинок. - Їжте, панове, їжте.
- А то чи не потрібно вам кавник? - звернувся він до Есаулов. - Я у нашого маркітанта купив, чудовий! У нього прекрасні речі. І він чесний дуже. Це головне. Я вам пришлю неодмінно. А може бути ще, у вас вийшли, обілісь кремені, - адже це буває. Я взяв з собою, у мене ось тут ... - він показав на торби, - сто кременів. Я дуже дешево купив. Візьміть, будь ласка, скільки потрібно, а то і все ... - І раптом, злякавшись, що не забрехався він, Петя зупинився і почервонів.
Він став згадувати, чи не зробив він ще якихось дурниць. І, перебираючи спогади нинішнього дня, спогад про француза барабанщика уявляється йому. «Нам то відмінно, а йому як? Куди його поділи? Погодували його? Чи не образили чи що? » - подумав він. Але помітивши, що він забрехався про кременях, він тепер боявся.
«Спитати б можна, - думав він, - хай серед: сам хлопчик і хлопчика пошкодував. Я їм покажу завтра, який я хлопчик! Соромно буде, якщо я запитаю? - думав Петя. - Ну, так все одно! » - і негайно ж, почервонівши і злякано дивлячись на офіцерів, чи не буде в їхніх обличчях глузування, він сказав:
- А можна покликати цього хлопчика, що взяли в полон? дати йому чого небудь поїсти ... може ...
- Так, жалюгідний хлопчисько, - сказав Денисов, мабуть, не знайшовши нічого соромно в цьому нагадуванні. - Покликати його сюди. Vincent Bosse його звуть. Покликати.
- Я покличу, - сказав Петя.
- Поклич, поклич. Жалюгідний хлопчисько, - повторив Денисов.
Петя стояв біля дверей, коли Денисов сказав це. Петя проліз між офіцерами і близько підійшов до Денисову.
- Дозвольте вас поцілувати, голубчику, - сказав він. - Ах, як чудово! як добре! - І, поцілувавши Денисова, він побіг на двір.
- Bosse! Vincent! - прокричав Петя, зупинившись біля дверей.
- Вам кого, пане, треба? - сказав голос з темряви. Петя відповідав, що того хлопчика француза, якого взяли нині.
- А! Весняного? - сказав козак.
Ім'я його Vincent вже переробили: козаки - в Весняного, а мужики і солдати - в висіння. В обох бувальцях це нагадування про весну сходилося з поданням про молоденькому хлопчика.
- Він там біля багаття грівся. Гей, висіння! Висіння! Весняний! - почулися в темряві передаються голосу і сміх.
- А хлоп'ят спритний, - сказав гусар, що стояв біля Петі. - Ми його погодували недавно. Пристрасть голодний був!
У темряві почулися кроки і, човгаючи босими ногами по бруду, барабанщик підійшов до дверей.
- Ah, c "est vous! - сказав Петя. - Voulez vous manger? N" ayez pas peur, on ne vous fera pas de mal, - додав він, боязко і ласкаво дотрогіваясь до його руки. - Entrez, entrez. [Ах, це ви! Хочете їсти? Не бійтеся, вам нічого не зроблять. Заходьте, заходьте.]
- Merci, monsieur, [Дякую, пане.] - відповідав барабанщик тремтячим, майже дитячим голосом і став обтирати об поріг свої брудні ноги. Петі багато хотілося сказати барабанщику, але він не смів. Він, переминаючись, стояв при ньому в сінях. Потім в темряві взяв його за руку і потиснув її.
- Entrez, entrez, - повторив він тільки ніжним шепотом.
«Ах, що б мені йому зробити!» - промовив сам з собою Петя і, відчинивши двері, пропустив повз себе хлопчика.
Коли барабанщик увійшов в хатинку, Петя сіл подалі від нього, вважаючи для себе принизливим звертати на нього увагу. Він тільки обмацував в кишені гроші і був в сумнів, чи не соромно буде дати їх барабанщику.

Від барабанщика, якого за наказом Денисова дали горілки, баранини і якого Денисов велів одягнути в російський кафтан, з тим, щоб, не відсилаючи з полоненими, залишити його при партії, увагу Петі було відвернуто приїздом Долохова. Петя в армії чув багато розповідей про надзвичайні хоробрість і жорстокість Долохова з французами, і тому з тих пір, як Долохов увійшов до хати, Петя, не зводячи очей, дивився на нього і все більше підбадьорювати, смикаючи піднятою головою, з тим щоб не бути негідним навіть і такого суспільства, як Долохов.
Зовнішність Долохова дивно вразила Петю своєю простотою.
Денисов одягався в чекмень, носив бороду і на грудях образ Миколая чудотворця і в манері говорити, в усіх прийомах виявляв особливість свого становища. Долохов же, навпаки, перш, в Москві, який носив перський костюм, тепер мав вигляд самого манірного гвардійського офіцера. Обличчя його було чисто виголене, одягнений він був у гвардійський ваточний сюртук з Георгієм в петлиці і в прямо одягненою простий кашкеті. Він зняв в кутку мокру бурку і, підійшовши до Денисову, що не вітаючись ні з ким, негайно ж почав розпитувати про справу. Денисов розповідав йому про задуми, які мали на їх транспорт великі загони, і про надсилання Петі, і про те, як він відповідав обом генералам. Потім Денисов розповів все, що він знав про становище французького загону.
- Це так, але треба знати, які і скільки військ, - сказав Долохов, - треба буде з'їздити. Не знаючи вірно, скільки їх, пускатися в справу не можна. Я люблю акуратно справу робити. Ось, чи не хоче хто з панів з'їздити зі мною в їх табір. У мене мундири з собою.
- Я, я ... я поїду з вами! - скрикнув Петя.
- Зовсім і тобі не потрібно їздити, - сказав Денисов, звертаючись до Долохову, - а вже його я ні за що не пущу.
- Ось чудово! - скрикнув Петя, - чому ж мені не їхати? ..
- Та тому, що нема чого.
- Ну, вже ви мене вибачте, тому що ... тому що ... я поїду, ось і все. Ви візьмете мене? - звернувся він до Долохову.
- Чому ж ... - неуважно відповідав Долохов, вдивляючись в обличчя французького барабанщика.
- Давно в тебе молодик цей? - запитав він у Денисова.
- Нині взяли, та нічого не знає. Я залишив його пг "і собі.
- Ну, а інших ти куди діваєш? - сказав Долохов.
- Як куди? Відсилаю під г "аспіскі! - раптом почервонівши, скрикнув Денисов. - І сміливо скажу, що на моїй совісті немає жодної людини. Хіба тобі тг" удно відіслати тг "ідцать чи, тг" Іста людина під конвоєм в Гог "од, ніж маг "ать, я пг" ямо скажу, честь солдата.
- Ось молоденькому графчіку в шістнадцять років говорити ці люб'язності пристойно, - з холодною усмішкою сказав Долохов, - а тобі то вже це залишити пора.
- Що ж, я нічого не кажу, я тільки кажу, що я неодмінно поїду з вами, - несміливо сказав Петя.
- А нам з тобою пора, брат, кинути ці люб'язності, - продовжував Долохов, наче він знаходив особливе задоволення говорити про цей предмет, дратує Денисова. - Ну цього ти навіщо взяв до себе? - сказав він, похитуючи головою. - Потім, що тобі його шкода? Адже ми знаємо ці твої розписки. Ти пошлеш їх сто чоловік, а прийдуть тридцять. Помруть з голоду або поб'ють. Так чи не все одно їх і не брати?

Кластер (група комп'ютерів)

Кластери розподілу навантаження

обчислювальні кластери

Кластери використовуються в обчислювальних цілях, зокрема в наукових дослідженнях. Для обчислювальних кластерів істотними показниками є висока продуктивність процесора в операціях над числами з плаваючою точкою (flops) і низька латентність об'єднує мережі, і менш істотними - швидкість операцій введення-виведення, яка більшою мірою важлива для баз даних і web-сервісів. Обчислювальні кластери дозволяють зменшити час розрахунків, у порівнянні з одиночним комп'ютером, розбиваючи завдання на паралельно виконуються гілки, які обмінюються даними по зв'язує мережі. Одна з типових конфігурацій - набір комп'ютерів, зібраних із загальнодоступних компонентів, з встановленої на них операційною системою Linux, і пов'язаних мережею Ethernet, Myrinet, InfiniBand або іншими відносно недорогими мережами. Таку систему прийнято називати кластером Beowulf. Спеціально виділяють високопродуктивні кластери (Позначаються англ. Абревіатурою HPC Cluster - High-performance computing cluster). Список найпотужніших високопродуктивних комп'ютерів (також може позначатися англ. Абревіатурою HPC) Можна знайти в світовому рейтингу TOP500. У Росії ведеться рейтинг найпотужніших комп'ютерів СНД.

Системи розподілених обчислень (grid)

Такі системи не прийнято вважати кластерами, але їх принципи в значній мірі схожі з кластерної технологією. Їх також називають grid-системами. Головна відмінність - низька доступність кожного вузла, тобто неможливість гарантувати його роботу в заданий момент часу (вузли підключаються і відключаються в процесі роботи), тому завдання повинна бути розбита на ряд незалежних один від одного процесів. Така система, на відміну від кластерів, не схожа на єдиний комп'ютер, а служить спрощеним засобом розподілу обчислень. Нестабільність конфігурації, в такому випадку, компенсується великим числом вузлів.

Кластер серверів, організованих програмно

Порівняно дешеву альтернативу суперкомп'ютерів представляють кластери, засновані на концепції Beowulf, які будуються з звичайних недорогих комп'ютерів на основі безкоштовного програмного забезпечення. Один з практичних прикладів такої системи - Stone Soupercomputer (Оак Рідж, Теннессі, США,).

Найбільший кластер, що належить приватній особі (з 1000 процесорів), був побудований Джоном Коза (John Koza).

Історія

Історія створення кластерів нерозривно пов'язана з ранніми розробками в області комп'ютерних мереж. Однією з причин для появи швидкісного зв'язку між комп'ютерами стали надії на об'єднання обчислювальних ресурсів. На початку 1970-х рр. групою розробників протоколу TCP / IP і лабораторією Xerox PARC були закріплені стандарти мережевої взаємодії. З'явилася і операційна система Hydra ( «Гідра») для комп'ютерів PDP-11 виробництва DEC, створений на цій основі кластер був названий C.mpp (Піттсбург, шт. Пенсільванія, США,). Проте, тільки біля м були створені механізми, що дозволяють з легкістю користуватися розподілом завдань і файлів через мережу, здебільшого це були розробки в SunOS (операційній системі на основі BSD від компанії Sun Microsystems).

Першим комерційним проектом кластера став ARCNet, створений компанією Datapoint в м Прибутковим він не став, і тому будівництво кластерів не розвивалося до м, коли DEC побудувала свій VAXcluster на основі операційної системи VAX / VMS. ARCNet і VAXcluster були розраховані не тільки на спільні обчислення, але і спільне використання файлової системи і периферії з урахуванням збереження цілісності і однозначності даних. VAXCluster (званий тепер VMSCluster) - є невід'ємною компонентою операційної системи OpenVMS, що використовують процесори Alpha і Itanium.

Два інших ранніх кластерних продукту, які отримали визнання, включають Tandem Hymalaya (, клас HA) і IBM S / 390 Parallel Sysplex (1994).

Історія створення кластерів з звичайних персональних комп'ютерів багато в чому зобов'язана проекту Parallel Virtual Machine. В м це ПО для об'єднання комп'ютерів у віртуальний суперкомп'ютер відкрило можливість миттєвого створення кластерів. В результаті сумарна продуктивність усіх створених тоді дешевих кластерів обігнала по продуктивності суму потужностей «серйозних» комерційних систем.

Створення кластерів на основі дешевих персональних комп'ютерів, об'єднаних мережею передачі даних, продовжилося в м силами Американського аерокосмічного агентства (NASA), потім в м отримали розвиток кластери Beowulf, спеціально розроблені на основі цього принципу. Успіхи таких систем підштовхнули розвиток grid-мереж, які існували ще з моменту створення UNIX.

програмні засоби

Серед користувачів GNU / Linux популярні кілька програм:

distcc, MPICH і ін. - спеціалізовані засоби для розпаралелювання роботи програм. distcc допускає паралельну компіляцію в GNU Compiler Collection.
Linux Virtual Server, Linux-HA - вузлове ПО для розподілу запитів між обчислювальними серверами.
MOSIX, openMosix, Kerrighed, OpenSSI - повнофункціональні кластерні середовища, вбудовані в ядро, автоматично розподіляють завдання між однорідними вузлами. OpenSSI, openMosix і Kerrighed створюють між вузлами.

Кластерні механізми планується вмонтувати і в ядро \u200b\u200bDragonFly BSD, відгалужуючись в 2003 році від FreeBSD 4.8. У далеких планах також перетворення її в середу єдиної операційної системи.

Windows Compute Cluster Server 2003 (CCS), випущений в червні 2006 року розроблений для високотехнологічних додатків, які вимагають кластерних обчислень. Видання розроблено для розгортання на безлічі комп'ютерів, які збираються в кластер для досягнення потужностей суперкомп'ютера. Кожен кластер на Windows Compute Cluster Server складається з одного або декількох керуючих машин, які розподіляють завдання і декількох підлеглих машин, що виконують основну роботу. У листопаді 2008 представлений Windows HPC Server 2008, покликаний замінити Windows Compute Cluster Server 2003.