Operačný systém klastra. Abstrakt: klastrové systémy. Sieťové vybavenie a protokoly

Oddelenie 29 "Intelektuálne systémy manažérov"

Abstrakt na tému:

Klasterové systémy

Vykonané:

Študentská skupina K9-292.

Popov i.a.

Moskva 2001.

1. Úvod

2. Základné triedy moderných paralelných počítačov

3. Klasterová architektúra paralelných počítačov

4. Ciele vytvárania klastrových systémov

5. ZAHRANIČNÉ KLUSTERS

6. Vysoko výkonné klastre

7. Projekt Beowulf.

8. ZÁVER

9. Literatúra

Úvod

Vývoj multiprocesorových počítačových systémov

Vývoj tradičných architektúr na výstavbu výpočtových systémov, ako je SMP, MPP, vektorové paralelné systémy prebiehajú pomerne rýchlo. Zvýšenie produktivity, spoľahlivosti a chybovosti tolerancie sa zvyšuje. Tieto architektúry však majú jednu nevýhodu - náklady na vytvorenie systémov, niekedy neprístupné pre mnohých užívateľov takýchto systémov - vzdelávacie a výskumné organizácie. Má veľmi vysokú vďaka komplikácii hardvérových a softvérových komponentov systému, ktoré sú potrebné na poskytnutie takýchto mier rastu produktivity. Potreba výpočtových zdrojov je však v súčasnosti veľmi vysoká v mnohých oblastiach vedeckých a praktických aktivít a chýbajú zdroje tradičných superpočítačových systémov.

Klasterové systémy vznikli ako lacnejšie riešenie problému nedostatku počítačových zdrojov a sú založené na využívaní rozšírených a relatívne lacných technológií vo svojej architektúre, hardvéru a softvér, ako napríklad PC, Ethernet, Linux, atď. Využívanie masovej technológie v kazetových systémoch sa stalo možnosťou z dôvodu významného pokroku vo vývoji zložiek konvenčných počítačových systémov, ako sú centrálne procesory, operačné systémy, komunikačné médiá.

Keďže kazetové systémy sú architektonicky, vývoj systémov s hromadnou rovnobežnosťou MPP, hlavnou úlohou v ich rozvoji je pokrok v oblasti sieťových technológií. Doteraz sa objavili lacné, ale efektívne komunikačné riešenia. To vopred určené rýchly vzhľad a vývoj systémov cluster computing. Ďalšie faktory tiež prispeli k pokroku vývoja klastrových systémov.

Výkonnosť osobných počítačov na základe procesorov Intel sa v posledných rokoch výrazne výrazne zvýšil. Takéto počítače začali vytvárať vážnu súťaž na pracovné stanice založené na drahších a výkonných procesoroch RISC. Zároveň sa začala získať rastúcu popularitu operačného systému Linuxu - bezplatne Distribuovanú verziu UNIX. V rovnakej dobe, vo vedeckých organizáciách a univerzitách, kde sa vyvíja väčšina klastrových systémov, spravidla sú odborníci v Linuxe OS.

Vysoký stupeň vývoja klastrových systémov k dnešnému dňu ukazuje skutočnosť, že v zozname najvýkonnejších superpočítačov sveta top500 - 11 klastrových inštalácií.

Základné triedy moderných paralelných počítačov

Klasterové systémy sú vývojom paralelných systémov. Aby ste urobili miesto klastrových systémov okrem iných typov paralelných architektúr výpočtových systémov, musíte dať ich klasifikáciu. Paralelné systémy môžu byť klasifikované rôznymi kritériami.

Z hardvérového hľadiska je hlavným parametrom pre klasifikáciu paralelných počítačov dostupnosť všeobecnej (SMP) alebo distribuovanej pamäte (MPP). Niečo, čo je priemer medzi SMP a MPP, je numa architektúra, kde je pamäť fyzicky distribuovaná, ale je logicky prístupná.

Symetrické multiprocessorové systémy

SMP Systém pozostáva z niekoľkých homogénnych procesorov a všeobecného radu pamäte. Jedným z často používaných prístupov SMP k tvorbe škálovateľného, \u200b\u200bverejného pamäťového systému, spočíva v jednotnom organizácii pre prístup k pamäti organizovaním kalióny procesorov škálovateľného pamäte:

Každá operácia prístupu k pamäti je interpretácia ako transakcia cez zbernicu procesora. Koherencia cache je udržiavaná hardvérom.

V SMP má každý procesor aspoň jednu vlastnú pamäť cache (a možno niekoľko).

Je možné povedať, že systém SMP je jeden počítač s niekoľkými rovnakými procesormi. Všetko ostatné je v jednom prípade: jedna pamäť, jeden I / O subsystém, jeden operačný systém. Slovo "rovné" znamená, že každý procesor môže urobiť všetko, čo bykoľvek. Každý procesor má prístup k všetkej pamäti, môže vykonávať akúkoľvek prevádzku vstupu / výstupu, prerušiť ostatné procesory atď.

Nevýhodou tejto architektúry je potreba usporiadať procesorové procesory s veľmi vysokou šírkou pásma.

Masívne-paralelné systémy

Masívny-paralelný systém MPP pozostáva z homogénnych výpočtových uzlov, vrátane:

jeden alebo viac centrálnych procesorov (zvyčajne RISC)
miestna pamäť (priamy prístup k pamäti iných uzlov je nemožný)
komunikačný procesor alebo sieťový adaptér
pevné disky a / alebo iné zariadenia v / in

Špeciálne I / O komponenty a riadiace uzly môžu byť pridané do systému. Uzly sú spojené prostredníctvom niektorých komunikačných prostredí (vysokorýchlostná sieť, prepínač atď.)

Systémy s nerovnomerný prístup k pamäti NUMA

NUMA (neuniformný pamäťový prístup) Na rozdiel od zvyčajného SMP zdieľanej architektúry je niekoľko samostatných procesorov, z ktorých každá má okrem vlastnej vyrovnávacej pamäte lokálnu pamäť:

V takejto architektúre sú procesor a pamäťové moduly úzko integrované, preto rýchlosť prístupu k lokálnej pamäti je oveľa vyššia ako na pamäti "susedného" procesora. I / O Subsystémy môžu byť súčasťou každého uzla alebo konsolidované na vybraných I / O uzlov. Ak je koherencia vyrovnávacej pamäte udržiavaná v celom systéme, potom sa takáto architektúra nazýva CC-NUMA.

Najjednoduchší spôsob, ako opísať systém NUMA, ktorý predstavuje veľký systém SMP, rozdelený na niekoľko častí, tieto časti sú spojené s komunikačnou diaľnicou pripojenou k systémovým pneumatikám a každá časť obsahuje vlastnú základnú pamäť a vstupný / výstupný subsystém. Toto je NUMA: Veľký SMP, rozbitý do sady menších a jednoduchých SMPS. Hlavným problémom Numa je zabezpečiť súdržnosť vyrovnávacej pamäte. Zariadenie vám umožňuje pracovať so všetkými samostatnými zariadeniami hlavnej pamäte komponentov systému (volal zvyčajne uzly) ako s jedinou obrie pamäťou.

Architektúra klastra

Zvážte umiestnenie kazetovej architektúry výpočtových systémov v tejto klasifikácii.

Klaster je zviazaný súbor plnohodnotných počítačov používaných ako jeden zdroj. Pod pojmom "plnohodnotný počítač" sa rozumie dokončeným počítačový systémMať všetko, čo je potrebné pre jeho prevádzku, vrátane procesorov, pamäte, I / O subsystému, ako aj operačný systém, subsystémy, aplikácie atď. Zvyčajne sú vhodné osobné počítače alebo paralelné systémy, ktoré môžu mať architektúry SMP a dokonca aj NUMA. Klastre sú slabými stratenými systémami, uzla odkazy používajú jeden zo štandardných sieťových technológií (Fast / Gigabit Ethernet, MyRinet) na základe architektúry autobusu alebo prepínača. Preto sú lacnejšie pri výstavbe modifikácie architektúry MPP.

Klastená architektúra paralelných počítačov

Všeobecné zásady

Ako už bolo spomenuté vyššie, výpočtový klaster je súbor počítačov v kombinácii v určitej sieti na vyriešenie jednej úlohy (obr. 3), ktorý je predložený pre používateľa ako jeden zdroj. Takáto koncepcia klastra bola prvýkrát navrhnutá a implementovaná na začiatku 80. rokov Corporation Digital Equipment, ktorý tento deň rozvíja túto technológiu

Koncepcia "jednotného zdroja" znamená dostupnosť softvéru, ktorý vám poskytuje možnosť užívateľom, administrátorom a aplikačným programom, aby ste predpokladali, že existuje len jeden subjekt, s ktorým pracujú, je klastra. Napríklad systém spracovania klastra vám umožňuje poslať úlohu pre spracovanie klastra a nie určitému počítaču. Komplexnejší príklad sú databázové systémy. Takmer všetci výrobcovia databázových systémov majú verzie v paralelnom režime na niekoľkých klastrových strojoch. V dôsledku aplikácie pomocou databázy sa nebudú starať o tom, kde sa vykonáva ich práca. DBMS je zodpovedný za synchronizáciu paralelného pôsobenia a udržiavať integritu databázy.

Počítače, ktoré tvoria klastra - takzvané klastrové uzly - sú vždy relatívne nezávislé, čo umožňuje zastavenie alebo vypnutie niektorého z nich preventívna práca Alebo inštalácia dodatočného vybavenia bez prerušenia výkonu celého klastra.

Ako výpočtové uzly v klastri sa zvyčajne používajú osobné počítače s jedným procesorom, dva alebo štvorcestné servery SMP procesorov. Každý uzol je spustený kópiu operačného systému, ktorý je najčastejšie používaný štandardnými operačnými systémami: Linux, NT, Solaris atď. Zloženie a sila uzlov sa môžu líšiť aj v rámci toho istého klastra, čo umožňuje schopnosť vytvárať nehomogénne systémy. Voľba určitého komunikačného média je určená mnohými faktormi: charakteristiky triedy riešených úloh, potreba následného rozšírenia klastra atď. Je možné povoliť špecializované počítače v konfigurácii, ako je súborový server, a spravidla je k dispozícii možnosť vzdialeného prístupu k klastru cez internet.

Z definície architektúry klastrových systémov vyplýva, že obsahuje veľmi širokú škálu systémov. Vzhľadom na extrémne bodky sa klaster môže považovať za pár PC pripojeného miestnym 10-megabitovým sieťovým sieti Ethernet a počítačový systém vytvorený ako súčasť projektu CPLANT v Národnom laboratóriu Sandia: 1400 pracovných staníc založených na alfa procesoroch spojených s a Vysokorýchlostná sieť myrinet.

Je teda vidieť, že existuje veľa rôznych možností výstavby klastra. Použité komunikačné technológie a normy sú zároveň dôležité v architektúre klastry. Vo veľkej miere určujú rozsah úloh, pre ktoré sa môžu použiť klastre vybudované na základe týchto technológií.

Komunikačné technológie pre stavebné klastre

Klastre môžu stáť tak na základe špecializovaných vysokorýchlostných pneumatík prenosu údajov a na základe technológií masovej siete. Medzi hromadné komunikačné štandardy sú teraz najčastejšie používané siete Ethernet alebo viac jeho produktívnej možnosti - Fast Ethernet, spravidla na základe spínačov. Veľké režijné reporty pre odosielanie správ v rámci Fast Ethernet však vedú k vážnym obmedzeniam rozsahu úloh, ktoré môžu byť účinne riešené na takomto klastri. Ak sa klastra vyžaduje veľký výkon a všestrannosť, je potrebné použiť viac rýchlostí a špecializovaných technológií. Patrí medzi ne SCI, MYRINET, CLAN, SERVERNET, atď. Porovnávacie charakteristiky týchto technológií sú uvedené v
Stôl 1.

			Servernet	Rýchly ethernet
LAENCE (MPI)
Šírka pásma (MPI)				180 MB / C
Šírka pásma (hardvér)	400 MB / C	160 MB / C	150 MB / C		12,5 MB / C
Implementácia MPI		HPVM, MPICH-GM, atď.

Stôl 1.

Výkon komunikačných sietí v kazetových systémoch je určená niekoľkými numerickými vlastnosťami. Hlavné charakteristiky sú dve: latencia - počiatočná doba oneskorenia pri odosielaní správ a šírky pásma siete, ktorá určuje rýchlosť prenosu informácií prostredníctvom komunikačných kanálov. Zároveň nie je toľko maximálnych charakteristík uvedených v štandarde rovnako ako skutočné, dosiahnuté na úrovni užívateľských aplikácií, napríklad na úrovni aplikácie MPI. Najmä po napadnutí užívateľom odoslania posielať správu (), správa bude konzistentne prejsť celým súborom vrstiev určených vlastnosťami softvérovej organizácie a vybavenia, pred opustením procesora - preto existuje významné plánovanie normy hodnôt latencie. Prítomnosť latencie vedie k tomu, že maximálna rýchlosť prenosu cez sieť nie je možné dosiahnuť na správach s malou dĺžkou.

Rýchlosť prenosu dát cez sieť v rámci technológie Fast Ethernet a škálovateľné koherentné rozhrania (SCI) závisí od dĺžky správy. Pre rýchly ethernet je charakterizovaná veľká škála latencie - 160-180 μs, zatiaľ čo latencia pre SCI je hodnota asi 5,6 μs. Maximálna rýchlosť prenosu týchto rovnakých technológií 10 MB / C a 80 MB / S.

Ciele vytvárať klastrové systémy

Vývojári architektúr klastra systému kontrolovali rôzne účely pri ich vytvorení. Prvým bolo digitálne vybavenie s klastrami VAX / VMS. Účelom vytvorenia tohto vozidla bolo zlepšiť spoľahlivosť systému, čím sa zabezpečí vysoká dostupnosť a tolerancia poruchy systému. V súčasnosti existuje mnoho podobných systémov architektúry od iných výrobcov.

Ďalším cieľom vytvárania klastrových systémov je vytvoriť lacné vysoko výkonné paralelné výpočtové systémy. Jeden z prvých projektov, ktoré poskytli meno do celej triedy paralelných systémov - BEWULF CLUSTER - vznikli v strede Nasa Goddard Space Flight Centre na podporu potrebných výpočtových zdrojov projektu Zeme a vesmírnych vedy. Projekt Beowulf začal v lete 1994, a čoskoro bol zhustený 16-spracovateľský klaster na procesoroch Intel 486DX4 / 100 MHz. Každý uzol bol nainštalovaný 16 MB náhodný vstup do pamäťe a 3 sieťové ethernetové adaptéry. Tento systém bol veľmi úspešný vo vzťahu k cenu / výkonu, takže takáto architektúra začala rozvíjať a široko využívať v iných vedeckých organizáciách a inštitúciách.

Pre každú triedu klastrov sú charakteristické architektúry a hardvér. Podrobnejšie ich zvážiť.

Zhluky zlyhania

Zásady výstavby

Aby sa zabezpečila spoľahlivosť a odchýlka poruchy počítačových systémov, mnoho rôznych hardvérových a softvérových riešení sa aplikujú. Napríklad v systéme môžu byť duplikované všetky predmety, ktoré sú predmetom porúch - napájacie zdroje, procesory, prevádzkové a externé pamäť. Takéto systémy tolerantné poruchy s rezerváciou komponentov sa používajú na riešenie problémov, v ktorých nie je dostatok spoľahlivosti konvenčných počítačových systémov, ktoré sa v súčasnosti odhadujú pravdepodobnosťou. bezproblémová práca 99%. Tieto úlohy si vyžadujú pravdepodobnosť 99,999% a vyššej. Takáto spoľahlivosť môže byť dosiahnutá použitím rôznych metód zvyšovania tolerancie na poruchu. V závislosti od úrovne pripravenosti výpočtového systému sa prideľujú štyri typy spoľahlivosti:

Úroveň pripravenosti,%	Max. prestoj	Typ systému
	3,5 dňa ročne	Konvenčné)
	8,5 hodín ročne	Vysoká presnosť (vysoká dostupnosť)
	1 hodina ročne	Porucha pružnosti)
	5 minút ročne	ODOLNÉ PROTI CHYBÁM)

Tabuľka 2.

Na rozdiel od systémových systémov tolerantu chýb s prebytočnými zložkami, ako aj rôznymi variantmi multiprocesovania, zoskupenia kombinujú relatívne nezávislé stroje, z ktorých každý môže byť zastavený na prevenciu alebo rekonfiguráciu, bez toho, aby sa porušila pracovná kapacita klastra ako celku. Vysoký výkon klastra a minimalizácia prestojov aplikácií sa dosiahne z dôvodu skutočnosti, že:

v prípade výpadku napájania na jednom z uzlov, aplikácia naďalej funguje alebo automaticky reštartuje na iných uzlov klastra;
zlyhanie jedného z uzlov (alebo niekoľkých) nebude viesť k kolapsu celého klastrového systému;
preventívne a opravárenské práce, rekonfigurácia alebo zmena softvérových verzií, spravidla, môžu byť vykonávané v klastrových uzlov striedavo, bez prerušenia operácií iných uzlov.

Neoddeliteľnou súčasťou klastra je špeciálny softvér, ktorý v skutočnosti rieši problém obnovy uzla v prípade zlyhania, a tiež rieši iné úlohy. Klastrový softvér má zvyčajne niekoľko vopred určených skriptov obnovy systému a môže tiež poskytnúť administrátorovi možnosť konfigurovať takéto scenáre. Obnova po zlyhaniach môžu byť podporované tak pre uzol ako celok a pre jednotlivé komponenty - aplikácie, objemy disku atď. Táto funkcia sa automaticky iniciuje v prípade zlyhania systému a môže správca prevádzkovať aj, ak je napríklad nutné, je potrebné vypnúť jeden z uzlov na rekonfiguráciu.

Klastre môžu mať spoločnú pamäť na externé disky spravidla, na pole RAID disku. Array z RAID je subsystém Server I / O pre veľké ukladanie údajov. V poli RAID sa na ukladanie veľkých množstiev dát, ako aj poskytujú vyššiu spoľahlivosť a redundanciu, používa sa významný počet diskov vzhľadom na nízku kapacitu. Podobné pole je vnímané počítačom ako jediné logické zariadenie.

Obnova po zlyhaniach môžu byť podporované tak pre uzol ako celok a pre jednotlivé komponenty - aplikácie, objemy disku atď. Táto funkcia sa automaticky iniciuje v prípade zlyhania systému a môže správca prevádzkovať aj, ak je napríklad nutné, je potrebné vypnúť jeden z uzlov na rekonfiguráciu.

Klasterové uzly ovládajú informácie o výkone a výmene špecifické "klastrové" informácie, napríklad konfiguráciu klastra, ako aj prenos údajov medzi zdieľanými diskami a koordinovať ich používanie. Kontrola pomoci sa vykonáva pomocou špeciálneho signálu, že klastrové uzly prenášajú navzájom, aby sa potvrdili ich normálne fungovanie. Ukončenie signalizácie z jedného z uzlov signálov Cluster softvér o zlyhaní sa vyskytla a potreba prerozdeliť zaťaženie zostávajúcich uzlov. Ako príklad, zvážte chybník-tolerantný klastra VAX / VMS.

Klaster VAX / VMS

Dec prvýkrát oznámil koncept klastrového systému v roku 1983, ktorý ho určuje ako skupina kombinovaných počítačových strojov, ktoré sú jedinou jednotkou spracovania informácií. V podstate je klastra VAX je slabo spojený multifakterový systém so spoločnou externou pamäťou, ktorá poskytuje jediný mechanizmus riadenia a podávania.

Klaster VAX má nasledujúce vlastnosti:

Oddelenie zdrojov. VAX počítače v klastri môžu zdieľať prístup k zdieľaným páskám a diskovým jednotkám. Všetky VAX počítače v klastri môžu pristupovať k samostatným dátovým súborom ako lokálne.

Vysoká pripravenosť. Ak jeden z počítačov VAX zlyhá, úlohy jej používateľov môžu byť automaticky prenesené do iného klastrového počítača. Ak existuje niekoľko HSC regulátorov v systéme a jeden z nich odmieta, ostatné HSC regulátory automaticky vyzdvihnú jeho prevádzku.

Veľký prietok . Počet aplikačných systémov môže použiť možnosť paralelného vykonávania úloh na viacerých počítačoch klastrov.

Pohodlie údržby systému . Zdieľané databázy môžu byť podávané z jedného miesta. Aplikované programy môžu byť inštalované iba raz spoločné disky Klaster a rozdelený medzi všetky klastrové počítače.

Rozťažnosť . Zvýšenie výkonu cluster computingu sa dosahuje pripojením ďalších počítačov VAX. Ďalšie pamäťové zariadenia na magnetických diskoch a magnetických páskiach sú k dispozícii pre všetky počítače zahrnuté v klastri.

Prevádzka klastra VAX je určená dvoma hlavnými komponentmi. Prvým komponentom je vysokorýchlostný komunikačný mechanizmus a druhý je systémový softvér, ktorý poskytuje zákazníkom transparentný prístup k systémovej službe. Fyzicky, vo vnútri klastra je implementovaný s použitím troch rôznych technológií pneumatík s rôznymi výkonovými charakteristikami.

Základné komunikačné metódy vo VACK CLUSTER sú uvedené na obr. štyri.

Obr. 4 VAX / VMS CLUSTER

CI počítačová zbernica (Počítačové prepojenie) beží s rýchlosťou 70 Mbps a slúži na pripojenie VaAX Computers a HSC regulátory pomocou spínača Spínača hviezd. Každé pripojenie CI má dvojité redundantné čiary, dva pre prenos a dva, aby prijímať, s použitím základnej technológie CSMA, ktorá používa špecifické oneskorenie tohto uzla na odstránenie kolízií. Maximálna dĺžka CI komunikácie je 45 metrov. Hviezdový spínač STAR SPOJEHOPORUJÚCICH STAVY môže podporiť pripojenie až 32 pneumatík CI, z ktorých každý je navrhnutý tak, aby pripojil Computer VAX alebo regulátor HSC. Regulátor HSC je inteligentné zariadenie, ktoré riadi prevádzku diskov a páskových diskov.

VAX počítače môžu byť kombinované do klastra aj prostredníctvom lokálnej siete.

Ethernet pomocou NI - sieťového prepojenia (tzv. Miestne klastre VAX), ale výkon takýchto systémov je relatívne nízka kvôli potrebe zdieľať šírku pásma siete Ethernet medzi klastrami počítačmi a inými klientmi siete.

Tiež klastre môžu stáť pneumatiky DSSI (prepojenie digitálneho skladovacieho systému). Na autobusom DSSI je možné kombinovať do štyroch počítačov VAX nižšia a stredná trieda. Každý počítač môže podporovať viac adaptérov DSSI. Samostatná zbernica DSSI pracuje s rýchlosťou 4 MB / s (32 Mbps) a umožňuje pripojenie až 8 zariadení. Podporované sú nasledujúce typy zariadení: DSSI System Adapter, RF radič RF série a Radič TF Series Radič. DSSI obmedzuje vzdialenosť medzi uzlami v klastri 25 metrov.

Systémový softvér VAX klastre

Ak chcete zaručiť správnu interakciu procesorov navzájom pri prístupe k zdieľaným zdrojom, ako sú disky, dec používa distribuovaný DLM Lock Manager (distribuovaný manažér uzamknutia). Veľmi dôležitou funkciou DLM je zabezpečiť koherentný stav diskových cawes pre operačný systém I / O operácie a aplikačné programy. Napríklad relačné aplikácie DLM sú zodpovedné za zachovanie dohodnutého stavu medzi databázovými rezervami na rôznych clusterových počítačoch.

Úlohou zachovania súdržnosti pamäte I / O vyrovnávacej pamäte medzi procesormi v klastri je podobná problému udržiavania súdržnosti vyrovnávacej pamäte v silne pripojenom multiprocssor systému postavenej na základe určitej pneumatiky. Dátové bloky sa môžu súčasne objaviť v niekoľkých cache a ak jeden procesor modifikuje jednu z týchto kópií, iné existujúce kópie neodrážajú aktuálny stav dátového bloku. Koncepcia zachytávania bloku (vlastníctvo bloku) je jedným zo spôsobov, ako zvládnuť takéto situácie. Predtým, ako môže byť jednotka upravená vlastníctvom bloku.

Práca s DLM je spojená s významnými režijnými nákladmi. Režijné náklady v prostredí VAX / VMS môžu byť veľké vyžadujúce prenos až šesť správ nad autobusom CI pre jednu I / O operácie. Teržiarne náklady môžu dosiahnuť hodnoty 20% pre každý procesor v klastri.

Vysoko výkonné klastre

Zásady výstavby

Architektúra vysoko výkonných zoskupení sa objavila ako vývoj princípov konštrukcií MPP systémov na menej produktívnych a hromadných komponentov kontrolovaných celkovým využívaním všeobecného účelu. Klastre, ako aj MPP systémy pozostávajú zo slabo spojených uzlov, ktoré môžu byť homogénne a na rozdiel od MPP, rôzne alebo heterogénne. Osobitná pozornosť v konštrukcii vysoko výkonnej architektora klastry sa vypláca za zabezpečenie vysokej účinnosti komunikačnej pneumatiky pripojte klusové uzly. Vzhľadom k tomu, že sú často masívne relatívne nízke výkonové pneumatiky v klastrov, je potrebné prijať niekoľko opatrení na vylúčenie ich nízkej šírky pásma v oblasti klastra a organizácie účinnej rovnobežnosti v klastri. Napríklad šírka pásma jedného z najviac vysokorýchlostných technológií Ethernet na objednávky je nižšia ako prepojenia v moderných superpočítačov MRR architektúry.

Na vyriešenie problémov s nízkym výkonom produktu sa používajú niekoľko metód:

Klaster je rozdelený do niekoľkých segmentov, v ktorom sú uzly spojené vysoko výkonnou pneumatikou typu MyRineT a spojenie medzi uzlami rôznych segmentov sa vykonávajú nízko výkonnými sieťami typu Ethernet / Fast Ethernet. To vám umožní znížiť náklady na klastre s významným zvýšením výkonu takýchto klastrov pri riešení úloh s intenzívnou výmenou údajov medzi procesmi.

Použitie tzv. "Trunking", t.j. Kombinácia viacerých kanálov Fast Ethernet na jeden spoločný vysokorýchlostný kanál spájajúci viac prepínačov. Zjavnou nevýhodou tohto prístupu je "strata" portov prístavov zapojených do prepojenia spínačov.

Na zlepšenie výkonu sa vytvárajú špeciálne výmeny informácií o týchto sieťach, ktoré vám umožňujú efektívnejšie používať šírku pásma kanálov a odstrániť niektoré obmedzenia prekrývajúce sa štandardnými protokolmi (TCP / IP, IPX). Táto metóda sa často používa v systémoch triedy Beowulf.

Hlavná kvalita, ktorá by mala mať vysokovýkonný klaster, bude horizontálna škálovateľnosť, pretože jedna z hlavných výhod, ktoré poskytuje architektúra klastra poskytuje schopnosť zvýšiť výkon existujúci systém Jednoduchým pridaním nových uzlov do systému. Okrem toho sa zvýšenie výkonu vyskytuje takmer v pomere k silu pridaných zdrojov a môže sa vykonať bez zastavenia systému počas jej prevádzky. V systémoch s inou architektúrou (najmä MPP) je zvyčajne možná iba vertikálna škálovateľnosť: pridanie pamäte, zvyšovanie počtu procesorov v multiprocesorových systémoch alebo pridať nové adaptéry alebo disky. Umožňuje dočasne zlepšiť výkon systému. Systém sa však nastaví na maximálny podporovaný počet pamäte, procesorov alebo diskov, systémové zdroje budú vyčerpané a zvýšiť produktivitu, budete musieť vytvoriť nový systém alebo výrazne spracovať staré. Klasterový systém tiež pripúšťa vertikálnu škálovateľnosť. Tak, vertikálnym a horizontálnym škálovaním, klasterový model poskytuje väčšiu flexibilitu a jednoduchosť zvyšujúceho sa výkonu systému.

Projekt Beowulf.

Beowulf je škandinávsky epos, ktorý rozpráva o udalostiach VII - prvej tretiny 6. storočia, ktorého účastník je hrdina rovnakého mena, ktorý sa oslavoval v bitkách.

Jedným z príkladov implementácie klastra systému takejto štruktúry je klastre beowulf. Byowulfový projekt zjednotený asi jeden a pol tucta organizácií (najmä univerzít) v Spojených štátoch. Vedúci vývojári projektov sú špecialisti na agentúru NASA. V tejto forme klastrov môžete prideliť nasledujúce hlavné funkcie:

Klaster Beowulf sa skladá z niekoľkých samostatných uzlov, v kombinácii do spoločnej siete, celkové zdroje klastra uzlov sa nepoužívajú;

OPTIMAL sa považuje za zostavenie klastrov na základe dvojceračných systémov SMP procesorov;

Aby sa znížila réžia interakcie medzi uzlami, sa používa full-duplex 100 MB Fast Ethernet (SCI je menej časté), vytvorte viac sieťových segmentov alebo pripojte klasterové uzly cez spínač;

Ako softvér sa používa Linux a voľne distribuované komunikačné knižnice (PVM a MPI);

História projektu Beowulf.

Projekt začal v lete 1994 v SVA Space Center - Goddard Space Flight Center (GSFC), presnejšie v CESDIS vytvorenej na jej základe (centrum excelentnosti vo vesmírnych údajoch a informačných vedách).

Prvý klastra Beowulf bol vytvorený na základe počítače Intel Architektúra pod Linuxom OS. Bol to systém pozostávajúci z 16 uzlov (na procesoroch 486DX4 / 100MHz, 16 MB pamäte a 3 sieťových adaptérov na každom uzle, 3 "paralelné" ethernetové káble pre 10Mbit). Bol vytvorený ako výpočtový zdroj projektu "Earth a Space Sciences Project" (ESS).

Ďalej v GSFC a iných divíziách NASA boli zhromaždené ďalšie silnejšie klastre. Napríklad, veľmi-paralelné integrované virtuálne prostredie) obsahuje 64 uzlov 2 PEntium Pro / 200MHz a 4 GB pamäťových procesorov v každej 5 rýchlych spínačov Ethernet. Celkové náklady na tento klaster sú približne 210 tisíc dolárov. Projekt Beowulf vyvinul niekoľko vysoko výkonných a špecializovaných sieťových ovládačov (najmä vodiča na používanie viacerých ethernetových kanálov súčasne).

Architektúra Beowulf.

Klastrové uzly.

Toto je buď jedno-procesor PC alebo SMP servery s malým počtom procesorov (2-4, prípadne až 6). Z nejakého dôvodu sa optimálne považuje za zostavenie klastrov na základe dvoch procesorových systémov, napriek tomu, že v tomto prípade bude nastavenie klastra bude o niečo zložitejšie (najmä preto, že nie je povolené relatívne lacné základné dosky pre 2 procesory Pentium II / III ). Stojí za to inštalovať pre každý RAM 64-128MB uzol (pre dvojprocesorové systémy 64-256MB).

Jedna z automobilov by sa mala zvýrazniť ako centrálna (hlava), kde nainštalovať pomerne veľké hdd, možno silnejší procesor a viac pamäte ako zvyšné (pracovné) uzly. Má zmysel poskytovať (chránené) pripojenie tohto stroja s vonkajším svetom.

Keď sú pracovné komponenty nakonfigurované, je celkom možné opustiť pevné disky - tieto uzly si stiahli OS prostredníctvom siete z centrálneho stroja, ktorý okrem záchranárskych fondov umožňuje konfigurovať OS a všetko, čo potrebujete len 1 Čas (na centrálnom stroji). Ak tieto uzly nie sú súčasne používané ako vlastné pracovné miesta, nie je potrebné nainštalovať grafické karty a monitory. Je možné inštalovať uzly v stojane (Rackmounding), ktorý zníži miesto obsadené uzlami, ale bude stáť trochu drahšie.

Je možné organizovať klastre založené na existujúcich sieťach pracovných staníc, t.j. Užívateľské pracovné stanice môžu byť použité ako klastrové uzly v noci a cez víkendy. Systémy tohto typu sa niekedy nazývajú krava (klastra pracovných staníc).

Počet uzlov by sa mal zvoliť na základe potrebných výpočtových zdrojov a dostupných finančných zdrojov. Malo by byť zrejmé, že s veľkým počtom uzlov bude tiež musieť vytvoriť zložitejšie a drahé sieťové zariadenia.

Hlavnými typmi lokálnych sietí zapojených do projektu Beowulf sú Gigabit Ethernet, Fast Ethernet a 100-VG Anylan. V najjednoduchšom prípade sa používa ethernetový segment (10Mbit / s na krútený pár). Lacnosť takejto siete však v dôsledku kolízií sa zmení na veľké režijné náklady na výmeny interprocesorov; A dobrý výkon takéhoto klastra by sa mal očakávať len na úlohách s veľmi jednoduchou paralelnou štruktúrou a s veľmi zriedkavými interakciami medzi procesmi (napríklad možnosti bustovania).

Na získanie dobrej externého výmeny výmeny, plnohodnotné rýchle ethernet sa používa na 100mbit / s. Zároveň znížiť počet kolízií alebo nastaviť niekoľko "paralelných" ethernetových segmentov, alebo pripojte klastrové uzly cez spínač (spínač).

Drahšia, ale aj populárna možnosť je použitie prepínačov typu MyRinet (1,28GBIT / SEC, plná duplex).

Menej populárne, ale skutočne používané pri budovaní klastrov sieťové technológie Sú Clan, SCI a Gigabit Ethernet Technologies.

Niekedy pre komunikáciu medzi klastrovými uzlami sa paralelne používa niekoľko telekomunikačných kanálov - takzvané "kanálové lepenie" (spájanie kanálov), ktoré sa bežne používa pre Fast Ethernet technológie. V tomto prípade je každý uzol pripojený k rýchlemu ethernetovému spínaču s viac ako jedným kanálom. Na dosiahnutie tohto cieľa sú uzly vybavené viacerými sieťovými kartami alebo fast ethernetovými multipozičnými doskami. Použitie viazania kanálov v uzlach so softvérom Linux umožňuje usporiadať jednotnú distribúciu príjmu / prenosu medzi príslušnými kanálmi.

Systémový systém

Operačný systém. Systém Linuxu sa zvyčajne používa vo verziách špeciálne optimalizovaných pre distribuované paralelné výpočty. Jadro Linux 2.0 bolo rafinované. V procese stavebných zoskupení sa ukázalo, že štandardné ovládače sieťových zariadení v Linuxe sú veľmi neúčinné. Preto boli nové ovládače vyvinuté, predovšetkým pre Fast Ethernet a Gigabit Ethernet siete a je možné logicky kombinovať niekoľko paralelných sieťových pripojení medzi osobnými počítačmi (podobne ako viazanie hardvérového kanála), čo umožňuje lacné lokálne siete s nízkym Šírka pásma, vybudovať sieť s vysokou kumulatívnou šírkou pásma.

Rovnako ako v akomkoľvek klasteku, existuje kópia jadra OS na každom uzle klastra. Vďaka finalizácii sú zabezpečené jedinečnosť identifikátorov procesov v rámci celého klastra a nie jednotlivé uzly.

Komunikačné knižnice. Najbežnejšie paralelné programovacie rozhranie v modeli prenosu správ je MPI. Odporúčaná bezplatná implementácia MPI - MPICH balíček vyvinutý v Národnom laboratóriu Argón. Pre klastrov založené na MyRinet Switch, bol vyvinutý systém HPVM, ktorý zahŕňa aj implementáciu MPI.

Pre efektívnu organizáciu paralelizmu v rámci jedného SMP-systémov sú možné dve možnosti:

Pre každý procesor v SMP stroj generuje samostatný proces MPI. MPI procesy vo vnútri tohto systému výmenu správ prostredníctvom zdieľanej pamäte (podľa toho je potrebné konfigurovať MPICH podľa toho).
Na každom počítači začína len jeden proces MPI. Vo vnútri každého procesu MPI je paralelizácia vyrobená v modeli "Zdieľaná pamäť", napríklad pomocou smerníc OpenMP.

Po inštalácii implementácie MPI má zmysel testovať skutočný výkon Sieťové zásielky.

Okrem MPI existujú aj iné knižnice a paralelné programovacie systémy, ktoré môžu byť použité na klastre.

Príklad implementácie klastra Beowulf - Avalon

V roku 1998, v Národnom laboratóriu Los Alamos Astrophysicik Michael Warren a iní vedci zo skupiny teoretickej astrofyziky postavili avalonový superpočítač, ktorý je beowulf-claster založený na procesoroch deges alfa / 533MHz. Avalon pôvodne pozostával zo 68 procesorov, potom bol rozšírený na 140. V každom uzle, 256 MB pamäte RAM, pevný disk EDE na 3,2 GB, sieťový adaptér z Kingston (celkové náklady na uzol je $ 1700). Uzly sú spojené pomocou 46-36-port prepínačov rýchleho ethernetu a "v centre" 12-port prepínač Gigabit Ethernet z 3com.

Celkové náklady Avalon je 313 tisíc dolárov a jeho výkon LINPACK (47,7 GFLOPS) mu umožnil prijať 114. miesto v 12. vydaní zoznamu TOP500 (vedľa 152 IBM SP2 procesorového systému). 70-procesorová konfigurácia Avalonu na mnohých testoch ukázala rovnaký výkon, pretože 64-procesor SGI originál2000 / 195MHz procesorový systém presahuje $ 1 milión.

V súčasnosti sa Avalon aktívne používa v astrofyzikálnych, molekulárnych a iných vedeckých výpočtoch. Na konferencii SC "98, Avalon's Creaters prezentovali správu s názvom" Avalon: Alpha / Linux Cluster dosahuje 10 Gflops za $ 150K "a zaslúži si cenu z hľadiska ceny / výkonu (" 1998 Gordon Bell Cenová cena / výkon ").

Záver

Vedúci výrobcovia mikroprocesorov: Sun Microsystems, Dell a IBM majú rovnaký pohľad na budúcnosť superpočítačov priemyslu: Ak chcete nahradiť jednotlivca, nezávislí superpočítače musia prísť skupinu vysoko výkonných serverov kombinovaných do klastra. Už dnes sú distribuované klastrové systémy pred modernými klasickými superpočítačmi z hľadiska výkonu: najvýkonnejší počítač vo svete - IBM ASCI WHITE - má kapacitu 12 Teraflops, výkon siete [Chránené e-mail] Odhaduje sa na približne 15 Teraflops. Zároveň bol IBM ASCI WHITE predaný za 110 miliónov dolárov a v celej histórii existencie [Chránené e-mail] Strávil asi 500 tisíc dolárov.

Literatúra

2. http://www.beowulf.com.

3. http://newton.gsfc.nasa.gov/theHive/

4. lobos, http://www.lobos.nih.gov.

5. http://parleled.ru/news/KENTUCKY_KLAT2.html.

6. http://parlell.ru/news/anl_chiberta.html

7. http://parlell.ru/cluster/

8. http://www.ptc.spbu.ru.

Počítače MIMD

MIMD počítač má N. spracovateľov nezávisle vykonávania N. Príkazové prúdy a spracovanie N. Dátové toky. Každý procesor pracuje pod kontrolou svojho vlastného prúdu príkazov, to znamená, že počítač MIMD môže vykonávať úplne rôzne programy paralelne.

Architektúra MIMD je ďalej klasifikovaná v závislosti od fyzická organizácia Pamäť, to znamená, či má procesor svoju vlastnú miestnu pamäť a odkazuje na iné pamäťové bloky pomocou spínacej siete, alebo spínacia sieť spája všetky procesory na verejnú pamäť. Na základe organizácie pamäte rozlišujú tieto typy paralelných architektúr:

Počítače s distribuovanou pamäťou (Distribuovaná pamäť.)
Procesor môže pristupovať k lokálnej pamäti, môže posielať a prijímať správy prenášané cez sieťové pripojenie procesorov. Správy sa používajú na komunikáciu medzi procesormi alebo ekvivalentné čítaniu a písaniu diaľkových pamäťových blokov. V idealizovanej sieti, náklady na odoslanie správy medzi dvoma sieťovými uzlami nezávisia od umiestnenia oboch uzlov aj sieťovej prevádzky, ale závisia od dĺžky správy.

Počítače so všeobecnou (zdieľanou) pamäťou (Skutočná zdieľaná pamäť)
Všetky spracovatelia sú spoločne označované na spoločnú pamäť, zvyčajne cez pneumatiku alebo hierarchiu. V idealizovanom kočíku (paralelný náhodný prístupový stroj - paralelný stroj s ľubovoľným prístupom), model, často používaný vo teoretických štúdiách paralelných algoritmov, akýkoľvek procesor môže v rovnakom čase pristupovať k ľubovoľnej pamäťovej bunke. V praxi, škálovateľnosť tejto architektúry zvyčajne vedie k určitej forme hierarchie pamäte. Frekvencia prístupu k celkovej pamäti možno znížiť uložením kópií často používaných údajov v pamäti cache spojenej s každým procesorom. Prístup k tejto hotovosti je oveľa rýchlejší ako priamo prístup k celkovej pamäti.

Počítače s virtuálnou zdieľanou (zdieľanou) pamäťou (Virtuálna zdieľaná pamäť.)
Celková pamäť chýba. Každý procesor má svoju vlastnú miestnu pamäť a môže pristupovať k miestnej pamäti iných procesorov pomocou "globálnej adresa". Ak sa "globálna adresa" označuje nie je lokálna pamäť, potom je prístup pamäte implementovaný pomocou správ odoslaných komunikačnou sieťou.

Príklad strojov so zdieľanou pamäťou môže byť:

Sun Microsystems (MultiProcessorové pracovné stanice)
Silikónová grafická výzva (MultiProcessorové pracovné stanice)
Sekventná symetria.
Konvexný
CRAY 6400.

Nasledujúce počítače patria do triedy strojov s distribuovanou pamäťou.

IBM-SP1 / SP2
Parytec GC.
CM5 (Thinking Machine Corporation)
CRAY T3D.
Paragon (Intel Corp.)
ncube.
Meiko CS-2
AVX (Alex paralelné počítače)
IMS B008.

Architektúra MIMD s distribuovanou pamäťou je možné klasifikovať aj na šírke pásma dochádzky. Napríklad v architektúre, v ktorých sú páry z procesora a pamäťového modulu (procesorový prvok) pripojený sieťou s topológiami schgtka Každý procesor má rovnaký počet sieťových pripojení, bez ohľadu na počet počítačových procesorov. Celková šírka pásma takejto siete rastie lineárne vzhľadom na počet procesorov. Na druhej strane architektúra so sieťou s topológiami hyperkub Počet pripojení procesora do siete je logaritmická funkcia z počtu procesorov a šírka pásma siete sa zvyšuje rýchlejšie ako lineárne vo vzťahu k počtu procesorov. V topológii clite Každý procesor musí byť pripojený ku všetkým ostatným procesorom.

Sieť s topológiou 2D schgtka (tor)

Sieť s topológiou 2D tor

Sieť s topológiou clite

Národné centrum pre superpočítačové aplikácie (University PC. Illinois, Urbana-Champaign)

MPI: Správa prechádzajúca rozhranie

Názov "Rozhranie prenosu správ", hovorí za seba. Toto je dobre štandardizovaný mechanizmus pre budovanie paralelných programov v modeli správ. Existujú štandardné "väzby" MPI na jazyky C / C ++, Fortran 77/90. Existujú slobodné a komerčné implementácie pre takmer všetky superpočítačové platformy, ako aj pre siete pracovných staníc UNIX a Windows NT. V súčasnosti je MPI najpoužívanejšou a dynamicky sa rozvíjajúcou rozhraním z jeho triedy.

Beowulf - Clusters založené na Linuxe OS

Mikhail Kuzminsky

"Otvorené systémy"

Na prahu tisícročia máme každú šancu na svedčenie monopolizácie počítačového priemyslu, ktorý môže pokryť mikroprocesory a operačné systémy. Samozrejme, hovoríme o mikroprocesoroch z Intel (Mercored ohrozuje procesory Architektúry RISC) a OS od spoločnosti Microsoft.

V oboch prípadoch je úspech vo veľkej miere určený silou marketingového stroja, a nie len "spotrebiteľské" vlastnosti vyrobených výrobkov. Podľa môjho názoru počítačová komunita ešte neznamenala rozsah možných následkov.

Niektorí odborníci porovnávajú potenciálnu monopolizáciu trhu počítačového trhu s monopolnou dominanciou IBM pozorovaná v 70. rokoch - obaja v oblasti sálových a operačných systémov. Pracujem s touto technikou na dlhú dobu a ako UNIX je distribuovaný v našej krajine, čoraz viac si uvedomuje mnoho výhod operačného systému IBM MVS. Zdieľam však spoločný názor, že takýto monopol neprispel k zrýchleniu pokroku.

Západné univerzity, ktorí sa naraz medzi prvými prešli na používanie UNIX, stále vo svojom sľubnom vývoji spoliehajú na tento systém, a Linux sa stále viac zvolení ako platforma. Tento článok je venovaný jednému z inštruktívnych akademických vývoja.

Linux ako spoločenský fenomén

Už nie sme prekvapení skutočnosťou, že Linux ukázal výrazný fenomén počítačového života. V kombinácii s najbohatším súborom voľne rozloženého softvéru GNU sa tento operačný systém stal mimoriadne populárnym u nekomerčných užívateľov, ako máme aj v zahraničí. Jeho popularita sa zvyšuje. Verzie Linux Existujú nielen pre intel platformy X86, ale aj pre iné architektúry procesorov, vrátane DEC ARRHA, a sú široko používané na internetové aplikácie, ako aj úlohy odhadovaného charakteru. Stručne povedané, Linux sa stal druhom "operačného systému ľudí". Takmer však hovoria, že Linux nemá žiadne slabé miesta; Jedným z nich je nedostatočná podpora pre architektúry SMR.

Najlacnejší spôsob, ako budovať počítačové zdroje, vrátane výpočtovej energie, je vybudovanie klastra. Masívne-paralelné superpočítače s fyzicky a logicky distribuovanou prevádzkovou pamäťou sa môžu považovať za zvláštne klastre. Najviac živým príkladom takejto architektúry je slávny počítač IBM SP2.

Celá otázka je, že počítače (uzly) v klastri sa viaže. V "skutočných" superpočítačoch, špecializovaných, a preto drahé vybavenie určené na poskytovanie vysokej šírky pásma. V klastrov sa spravidla uplatňujú bežné normy siete - Ethernet, FDDI, ATM alebo HIRI.

Klasterové technológie pomocou operačného systému Linux sa začali vyvíjať pred niekoľkými rokmi a stal sa k dispozícii dlho predtým, ako sa objaví Wolfrack pre Windows NT. Takže v polovici 90. rokov vznikol projekt Beowulf.

Hrdina epickej básne

Beowulf je škandinávsky epos, ktorý rozpráva o udalostiach VII - prvej tretiny 7. storočia, ktorého účastník je hrdina rovnakého mena, ktorý sa oslavoval v bitkách. Nie je známe, či boli autori projektu koncipované, s ktorým teraz bude bojovať za Beowulf (pravdepodobne s Windows NT?), Avšak, hrdinský obraz umožnil spojiť asi jednu a pol desiatok organizácií v konzorciu (hlavne Univerzity) v Spojených štátoch. Nedá sa povedať, že medzi účastníkmi projektu dominujú superpočítačové centrá, avšak, Loki a Megalon Clusters sú inštalované vo svetoznásobných vysoko výkonných výpočtových centrách, ako je Los Alamos a Sandia Laboratory of Americal of Energy; Vedúci vývojári projektov sú špecialisti na agentúru NASA. Všeobecne platí, že bez výnimky, zhluky vytvorené účastníkmi projektu dostávajú hlasné mená.

Okrem Beowulf je známa ešte jedna úzka technológia klastra - teraz. Osobné počítače v súčasnosti zvyčajne obsahujú informácie o sebe a úlohách, a povinnosti správcu systému takéhoto klastra zahŕňajú tvorbu týchto informácií. Beowulf klastre v tomto ohľade (to znamená z hľadiska správcu systému) je jednoduchšie: Tam individuálne uzly nevedia o konfigurácii klastra. Iba jeden vybraný uzol obsahuje informácie o konfigurácii; A len on má pripojenie k sieti s vonkajším svetom. Všetky ostatné klastrové uzly sú kombinované s lokálnou sieťou a je pripojený len "tenký most" z riadiacej jednotky s vonkajším svetom.

Uzly v technológii Beowulf sú PC základné dosky. Zvyčajne sa nachádzajú lokálne pevné disky aj do uzlov. Na pripojenie uzlov sa používajú štandardné typy miestnych sietí. Túto otázku zvážime nižšie, najprv sa zastavíme na softvéri.

Jeho základom v Beowulf je obvyklý komerčne dostupný Linux OS, ktorý je možné zakúpiť na CD-ROM. Najprv väčšina účastníkov projektu sa zameriavala na CD publikované Slackware, a teraz preferencie uprednostňuje verziu REDHAT.

V obvyklom Linuxe operačný systém môžete nainštalovať známym prostriedkom paralelnosti v modeli správ (LAM MRE 6.1, PVM 3.3.11 a ďalšie). Môžete tiež použiť štandard R-nite a štandardné prostriedky interakcie intermocesora, ktoré sú zahrnuté v každom systéme UNIX V. Ako súčasť projektu Beowulf, bol vykonaný vážny dodatočný vývoj.

V prvom rade by sa malo poznamenať, že zjemnenie jadra Linuxu 2.0. V procese stavebných zoskupení sa ukázalo, že štandardné ovládače sieťových zariadení v Linuxe sú veľmi neúčinné. Preto boli vyvinuté nových vodičov (podľa väčšiny vývojov - Donald Becker), predovšetkým pre Fast Ethernet a Gigabit Ethernet siete, a je možné logicky kombinovať niekoľko paralelných sieťových spojení medzi osobnými počítačmi, čo umožňuje lacné miestne siete s viac ako Skromná rýchlosť., Vytvorte sieť s vysokou kumulatívnou šírkou pásma.

Rovnako ako v každom klastri, vlastná kópia jadra OS žije v každom uzle. Vďaka finalizácii sú zabezpečené jedinečnosť identifikátorov procesov v rámci celého klastra a nie jednotlivé uzly, ako aj "diaľkové dodanie" signálov OS systému Linuxu.

Okrem toho je potrebné, aby ste mohli sťahovať cez sieť (netbooting) pri práci s doskovými doskami Intel PR 440FX, a môžu byť tiež použité na prácu s inými základnými doskami vybavenými AMI BIOS.

Veľmi zaujímavé funkcie poskytujú sieťové virtuálne pamäťové mechanizmy alebo DSM zdieľaná distribuovaná pamäť (distribuovaná zdieľaná pamäť), čo vám umožní vytvoriť špecifickú "ilúziu" celkovej pamäte uzlov.

Sieť - jemná hmota

Vzhľadom k tomu, že sú potrebné paralelizovať superpočítačové aplikácie vo všeobecnosti a najmä s klastra, vysoká šírka pásma a nízke oneskorenia v správach medzi uzlami, sú potrebné, sieťové charakteristiky sa stávajú parametrami, ktoré definujú výkon klastra. Výber mikroprocesorov pre uzly je zrejmé - to sú štandardné procesory výroby Intel; Ale s topológiou klastra, typu siete a sieťových obvodov môžete experimentovať. Je v tejto oblasti, že sa uskutočnil hlavný výskum.

Pri analýze rôznych sieťových kariet PC prezentovaných dnes na trhu sa osobitná pozornosť venovala takýmto vlastnostiam ako efektívnej podpory vysielania (multicasting), podporujúce prácu s veľkými veľkosťami veľkostí, atď Hlavné typy miestnych sietí zapojených do projektu Beowulf, - Toto je Gigabit Ethernet, Fast Ethernet a 100-VG Anylan. (Kapacity technológií ATM boli tiež aktívne študované, ale pokiaľ je autor známy, bol vykonaný mimo rámca tohto projektu.)

Ako zbierať superpočítač

Po analýze výsledkov práce vykonanej v projekte Beowulf môžete prísť do nasledujúceho záveru: Zistené riešenia vám umožňujú nezávisle namontovať vysoko výkonný klaster na základe štandardných komponentov pre komponenty PC a používať obvyklý softvér. Medzi najväčšími inštanciami nie je možné neoznačiť 50-uzlový klaster v CESDIS, ktorý zahŕňa 40 uzlov spracovania údajov (na základe jedného a dvoj-procesor Rentémium Рro / 200 MHz) a 10 mierkovacích uzlov (Dual-procesorová doska Rentiat Р / 166 MHz). Pomer nákladov / špičkového výkonu v takomto klastri je veľmi úspešný. Otázkou je, ako efektívne je možné pararallovať aplikácie - inými slovami, čo bude skutočný, a nie špičkový výkon. Účastníci projektu teraz pracujú na riešení tohto problému.

Treba poznamenať, že výstavba klastrov z obyčajných počítačov sa dnes stáva celkom módne vo vedeckom prostredí. Niektoré akademické inštitúcie v našej krajine plánujú tiež vytvoriť podobné klastre.

Pri kombinovaní počítačov v klastri rôzneho výkonu alebo rôznej architektúry hovoria heterogénne (nehomogénne) klastre. Klasterové uzly môžu byť súčasne použité ako vlastné pracovné stanice. V prípade, že nie je potrebné, uzly môžu byť výrazne uľahčené a / alebo inštalované v stojane.

Štandardné pracovné stanice OS sa používajú, najčastejšie, voľne distribuované - Linux / FreeBSD, spolu so špeciálnym prostriedkom na podporu paralelného programovania a distribúcie zaťaženia. Programovanie spravidla v rámci modelu prenosu správ (najčastejšie - MPI). V nasledujúcom odseku sa podrobnejšie diskutuje.

História rozvoja klastrovskej architektúry.

Dec prvýkrát oznámil koncept klastrového systému v roku 1983, ktorý ho určuje ako skupina kombinovaných počítačových strojov, ktoré sú jedinou jednotkou spracovania informácií.

Jeden z prvých projektov, ktoré dali meno do celej triedy paralelných systémov - BEWULF CLUSTERS - vznikli v centre Nasa Goddard Space Flight Center, aby podporili potrebné výpočtové zdroje projektu Zeme a vesmírnych vedy. Projekt Beowulf sa začal v lete 1994, a 16-spracovateľský klaster bol zozbieraný čoskoro na procesoroch Intel 486DX4 / 100 MHz. Každý uzol bol nainštalovaný 16 MB pamäte RAM a 3 sieťových adaptérov. Ak chcete pracovať v takejto konfigurácii, boli vyvinuté špeciálne ovládače rozdeľujúce prevádzku medzi dostupnými sieťovými kartami.

Neskôr v GSFC, zoskupenia tematického - vysoko-paralelného integrovaného virtuálneho prostredia, ktorej štruktúra je znázornená na obr. 2. Tento klaster sa skladá zo štyroch subkulátorov E, B, G a DL, ktorý kombinuje 332 procesorov a dvoch vybraných hostiteľov. Všetky uzly tohto klastra beží RedHat Linux.

V roku 1998, v Los Alamos Národné laboratórium Astrofysikák Michaela Warren a ďalších vedcov zo skupiny teoretického astrofysikánu postavili superpočítač Avalon, ktorý je klastra Linuxu založený na procesoroch alfa 21164A s hodinskou frekvenciou 533 MHz. Spočiatku Avalon pozostával z 68 procesorov, potom rozšírené na 140. V každom uzle, 256 MB pamäte RAM, pevný disk na 3 GB a rýchly sieťový adaptér Ethernet bol nainštalovaný. Celkové náklady projektu AVALON predstavovali 313 tisíc dolárov a výkon uvedený na Linpack Test - 47,7 GFLOPS, dovolil mu prijať 114. miesto v 12. vydaní zoznamu TOP500 vedľa 152 IBM RS / 6000 SP procesu systému. V tom istom roku 1998, na najprestížnejšej konferencii v oblasti vysoko výkonnej výpočty SuperComputing'98, Avalon urobil správu "Avalon: alfa / Linux Cluster dosahuje 10 Gflops za $ 150K", ktoré dostali prvú cenu v nominácii "Najlepšia cena / výkon" nominácia.

V apríli tohto roku, zoskupenie rýchlosti +, pozostávajúci z 64 uzlín s dvoma procesormi PENTIUMI / 733 MHz a 2 GB RAM každého, a 2 GB pamäte RAM a s celkovým diskom 27 GB boli inštalované pre biomedicínske štúdie. Uzly pracujú pod ovládanie systému Windows 2000 a v kombinácii Giganet Clan.

Veľa boxov na projekte shifts je implementované v Národnom inštitúte USA v apríli 1997 a je zaujímavé používať Gigabit Ethernet ako komunikačné prostredie. Po prvé, klaster pozostával zo 47 uzlov s dvoma procesormi Pentium Pro / 200 MHz, 128 MB RAM a Disk 1,2 GB na každom uzle. V roku 1998 bol implementovaný

Ďalšou fázou projektu je LOBOS2, počas ktorej boli uzly transformované na stolové počítače pri zachovaní kombinácie do klastra. Teraz LOBOS2 pozostáva zo 100 výpočtových uzlov obsahujúcich dva procesory PENTIUM II / 450 MHz, 256 MB prevádzky a 9 GB pamäte disku. Okrem klastra sú pripojené 4 riadiace počítače s celkovou kapacitou RAID-ARAY 1,2 TB.

Jedným z posledných vývoja klastra bol superpočítač AMD PreSTO III, ktorý je klastra v Beowulf 78 Athlon procesorov. Počítač je inštalovaný v Tokijskom technologickom ústave. K dnešnému dňu, AMD vybudoval 8 superpočítačov United v klastrov pomocou metódy Beowulf beží Linux OS.

IBM klastre

Rs / 6000.

IBM ponúka niekoľko typov nedostatočne súvisiacich systémov založených na Rs / 6000, v kombinácii do klastrov a beží pod kontrolou softvérový produkt Vysoká dostupnosť ROZPÚČENÁ MULTIPROOCESSOR / 6000 (HACMP / 6000).

Klastrové uzly pracujú paralelne, zdieľajú prístup k logickým a fyzickým zdrojom pomocou možností manažéra zámku zahrnuté v HAKMP / 6000.

Počnúc reklamou v roku 1991 sa produkt HACMP / 6000 neustále vyvíja. Obsahuje paralelný manažér zdrojov, distribuovaný manažér uzamknutia a paralelný manažér hlasitosti logiky a tieto poskytli možnosť vyváženia zaťaženia na úrovni celého klastra. Maximálny počet uzlov v klastri sa zvýšil na ôsmich. V súčasnosti sa na klastri objavili uzly so symetrickým spracovaním multipropatu, ktoré sú postavené s použitím prepínača údajov, ktorý poskytuje lineárny rast výkonu so zvýšením počtu procesorov.

Klastre RS / 6000 sú postavené na základe miestnych sietí Ethernet, Token Ring alebo FDDI a môžu byť konfigurované rôznymi spôsobmi, pokiaľ ide o zlepšenie vysokej spoľahlivosti:

Alebo ľahké prepínanie v prípade zlyhania. V tomto režime aktívny uzol vykoná úlohy aplikácií a záloha môže vykonávať nekritické úlohy, ktoré možno v prípade potreby zastaviť, ak je potrebná aktívna zostava.
Symmetrická rezerva. Podobne ako horúca rezerva, ale úloha hlavných a záložných uzlov nie je stanovená.
Vzájomné vyzdvihnutie alebo režim s distribúciou záťažov. V tomto režime môže každý uzol v klastri "vyzdvihnúť" úlohy, ktoré sa vykonávajú na akomkoľvek inom uzle klastra.

IBM SP2.

IBM SP2 vedie v zozname najväčších superpočítačov Top500 z hľadiska inštalačného čísla (141 inštalácie av celkovej hodnote, 8275 Takéto počítače pracujú s celkovým počtom uzlov nad 86 tisíc. Základ týchto superpočítačov je založený na architektúre Ako klastrový prístup pomocou výkonného centrálneho spínača. IBM používa tento prístup po mnoho rokov.

Všeobecná architektúra SP2.

Celkový pohľad na Architektúru SP2 dáva Rice. 1. Jej hlavnou črtou architektúry je použitie vysokorýchlostného spínača s nízkymi oneskoreniami na pripojenie uzlov medzi sebou. Táto externe extrémne jednoduchá schéma, ako ukázala skúsenosť, bola mimoriadne flexibilná. Po prvé, uzly SP2 boli jednoprocesorom, potom sa objavili uzly s architektúrou SMP.

V skutočnosti sú všetky detaily ukryté v štruktúre uzlov. Okrem toho, uzly sú rôzne typy, a dokonca aj spracovatelia v susedných uzloch môžu byť iné. To poskytuje

veľká flexibilita výberu konfigurácie. Celkový počet uzlov v počítačovom systéme môže dosiahnuť 512. Uzly SP2 sú vlastne nezávislé počítače a ich priame analógy sa predávajú IBM pod nezávislými menami. Najvýraznejším príkladom toho je štvorprocesor SMP server Rs / 6000 44P-270 s mikroprocesormi Power3-II, ktorý sama osebe môže pripísať triede počítačov strednej triedy alebo dokonca na mini superpočítače.

Mikroprocesory so sídlom v uzloch SP2 vyvinuté v dvoch architektonických linkách: Power - Power2 - Power3 - Power3-II a Linka PowerPC až do modelu 604e s hodinskou frekvenciou 332 MHz.

Tradičné pre SP2 sú "tenké" (široké uzol) a "široké" (široké uzol) uzly s architektúrou SMP. Môžu byť inštalované obaja PowerPC 604e (od dvoch do štyroch procesorov) a Power3-II (až štyri). Kapacita batérie uzlov je od 256 mb do 3 GB (pri použití Power3-II - až 8 GB). Hlavné rozdiely medzi tenkými a širokými uzlami sa týkajú subsystému I / O. Široké uzly sú určené pre úlohy, ktoré vyžadujú silnejšie vstupné / výstupné funkcie: majú desať slotov PCI (vrátane troch 64-bitov) proti dvom slotám v tenkých uzloch. V súlade s tým, počet montážnych priestorov pre disk zariadenia V širokom uzloch viac.

Rýchlosť prepínača je charakterizovaná nízkymi hodnotami oneskorenia: 1,2 ms (až 2 ms s počtom uzlov nad 80). Toto je rádovo lepšie ako to, čo možno získať v moderných klastrov Linuxu-klastre. Peak šírka pásma každého portu: Je to 150 MB / s v jednom smere (to znamená 300 MB / s na duplexnú prevodovku). Rovnaká šírka pásma má prepínačové adaptéry umiestnené v uzloch SP2. IBM tiež poskytuje vynikajúce oneskorenia a výsledky šírky pásma.

Najvýkonnejšie uzly SP2 sú "vysoké" (vysoký uzol). Vysoký uzol je komplex pozostávajúci z výpočtového uzla s pripojenými vstupnými / výstupnými / výstupnými zariadeniami v množstve až do šiestich kusov. Takýto uzol má tiež architektúru SMP a obsahuje až 8 procesorov Power3 s frekvenciou hodín 222 alebo 375 MHz.

Okrem toho uzol tohto typu obsahuje vstupný / výstupný poplatok, ktorý je tiež pripojený k systémovej doske. Doska I / O obsahuje dve symbolické logické bloky sabier, prostredníctvom ktorých sa údaje prenášajú do externých zariadení

ako disky a telekomunikačné zariadenia. Na doske I / O sa nachádzajú štyri PCI 64-bitové štrbiny a jeden 32-bitový slot (frekvencia 33 MHz), ako aj integrované UltraSCSCSY Controllers, Ethernet 10/100 Mbps, tri po sebe idúce a jeden paralelný port.

S príchodom vysokých uzlov a mikroprocesorov Power3-II / 375 MHz na linpackových testoch systému IBM SP2 dosiahli výkon 723,4 gflops. Tento výsledok sa dosiahne pri použití 176 uzlov (704 procesorov). Vzhľadom na to, že uzly môžu byť nastavené až do 512, tento výsledok ukazuje, že sériovo produkovaný IBM SP2 je potenciálne blízko 1 TFlops.

Klaster Sun Solutions Sun Microsystems

Sun Microsystems ponúka klasterové riešenia založené na svojom produkte SparkClaster PDB Server, v ktorých sa používajú ako uzly, a Sparcserver 1000 môže zadať až osem procesorov a v SPARCCENTER 2000 až 20 Supersparc procesorov. Nasledujúce komponenty zahŕňajú nasledujúce komponenty: Dve klastrové uzly založené na sparcserverom 1000 / 1000E alebo SPARCCENTER 2000 / 2000E, DVOJOVACÍCH DVOJOVACÍCH ROZHODNOSTI DISKOVACÍCH ROZHODNOSTI, ako aj balíček pre budovanie klastra, vrátane duplicitných komunikačných zariadení, triedna konzumácia Console Console Console, SparkKlaster PDB softvér softvér a balík klastrov.

Aby sa zabezpečil vysoký výkon a dostupnosť komunikácie, klaster podporuje plnú duplikáciu všetkých spúšťačov údajov. Klastrové uzly sú kombinované s kanálmi sunfafternet s 100 Mbps šírku pásma. Ak chcete pripojiť podsystémy disku, rozhrania vlákien-optického vláknového kanála s šírkou pásma 25 Mbps, ktorý pripúšťa odstránenie pohonov a uzlov od seba do vzdialenosti až do 2 km. Všetky odkazy medzi uzlami, uzlami a podsystémami diskov sú duplikované na úrovni hardvéru. Sieť hardvéru, softvéru a klastra znamená poskytnúť absenciu takéhoto miesta v systéme, jedno zlyhanie alebo zlyhanie, ktoré by odvodili celý systém.

Univerzitné projekty

Zaujímavý rozvoj univerzity v Kentucky - Klat2 Cluster (Kentucky Linux Athlon Testbed BESTED 2). Systém KLAT2 sa skladá zo 64 ziskových uzlov s procesormi AMD Athlon / 700 MHz a 128 MB RAM na každom. Softvér, kompilátory a matematické knižnice (Scawapack, Blacs a Atlas) boli dokončené, aby efektívne používali technológiu 3dnow! AMD procesory, ktoré umožnili zvýšiť produktivitu. Významným záujmom je o použité rozhodnutie o sieti, pomenované "ploché susedské siete" (FNN). Každý uzol má štyri fast ethernetové sieťové adaptéry z SmartLink a uzly sú pripojené pomocou deviatich 32-portových spínačov. Zároveň pre všetky dva uzly je vždy priame spojenie cez jeden zo spínačov, ale nie je potrebné pripojiť všetky uzly cez jeden spínač. Vďaka optimalizácii softvéru v rámci architektúry AMD a topológie FNN bolo možné dosiahnuť pomer rekordnej ceny / výkonu - 650 dolárov za 1 gflops.

Myšlienka rozdelenia klastra do sekcií dostala zaujímavé uskutočnenie v projekte CHIBA City realizovaný v Národnom laboratóriu Argonne. Hlavná časť obsahuje 256 výpočtových uzlov na každom

z toho existujú dva procesory Pentium III / 500 MHz, 512 MB RAM a lokálny disk s kapacitou 9 GB. Okrem výpočtového oddielu, vizualizačný oddiel obsahuje (32 IBM intellistation osobné počítače s grafikou MATROX MILLÉNIUM G400, 512 MB RAM a 300 GB jednotiek), úsek ukladania dát (8 IBM Netfinity 7000 serverov s procesormi XEON / 500 MHz a 300 Disky GB) a riadenie sekcie (12 počítačov IBM Netfinity 500). Všetky z nich sú zlúčené sieťou MyRinet, ktorá sa používa na podporu paralelných aplikácií, ako aj Gigabit Ethernet a Fast Ethernet siete pre manažérov a servisné účely. Všetky časti sú rozdelené do počítačov "mestá" (mesto). Každý z nich má svoj vlastný "starosta", ktorý na miestnej úrovni slúži svojmu "mestu", čím sa znižuje záťaž na servisnej sieti a poskytuje rýchly prístup k miestnym zdrojom.

Klasterové projekty v Rusku

V Rusku bolo vždy vysokou potrebou vysoko výkonných výpočtových zdrojov a relatívne nízke náklady na cluster projekty slúžili ako vážny impulz rozšíreným šírením takýchto riešení v našej krajine. Jeden z prvých prvých sa objavil klastrový "paritný", zostavený v YVVIBD a pozostávajúci z ôsmich procesorov Pentium II spojených s MyRinetskou sieťou. V roku 1999 sa klasterové riešenie založené na SCI sieti testovalo v Nicew, čo je v podstate priekopníkom pomocou SCI technológie na budovanie paralelných systémov v Rusku.

Vysoko výkonný klaster založený na komunikačnej sieti SCI je inštalovaný vo vedeckom výskumnom centre pre Moskvu štátu University. Klaster NIVC obsahuje 12 EXIMER DUAL-Procesorové servery založené na Intel Pentium III / 500 MHz, celkom 24 procesorov s celkovým maximálnym výkonom 12 miliárd operácií za sekundu. Celkové náklady systému sú približne 40 tisíc dolárov alebo asi 3,33 tisíc za 1 gflops.

Klasterové výpočtové uzly sú spojené jednosmernými sieťovými kanálmi SCI v dvojrozmernom tor 3x4 a súčasne pripojený k centrálnemu serveru prostredníctvom rýchleho ethernetovej pomocnej siete a switch 3COM superstack. SCI sieť je klastrové jadro, ktoré robí tento systém jedinečnú výpočtovú inštaláciu triedy superpočítačov orientovanej na širokú triedu úloh. Maximálny výmenný kurz údajov cez SCI sieť v užívateľských aplikáciách je viac ako 80 MB / s a \u200b\u200bčas latencie je asi 5,6 μs. Pri budovaní tohto výpočtového klastra sa použil integrované riešenie Wulfkit, vyvíjané riešeniami Dolphin Interconnect a Scali Computer (Nórsko).

Hlavnými prostriedkami paralelného programovania na klastri je MPI (správa prechádzajúca rozhranie) verzia Scampi 1.9.1. Na skúške LINPACK, pri riešení systému lineárnych rovníc s veľkosťou veľkosti 16000x16000, bol skutočný výkon viac ako 5,7 gflops. Na testoch balíkov NPB je výkon klastra porovnateľný a niekedy prevyšuje výkon superpočítačov rodiny CRAY T3E s rovnakým počtom procesorov.

Hlavná oblasť aplikácie NIVZ MSU NIVC Computing Cluster je podpora základného vedeckého výskumu a vzdelávacieho procesu.

Z ostatných zaujímavých projektov treba poznamenať, že rozhodnutie vykonávané v St. Petersburg University na základe technológie Fast Ethernet: Zozbierané klastre sa môžu použiť a ako plnohodnotné nezávislé tréningové triedy, a ako jediná výpočtová inštalácia, ktorá rieši jedinú inštaláciu úlohy. V SABARE SUDIENCE CENTRE

išli na ceste k vytvoreniu nehomogénneho výpočtového klastra, ktorý zahŕňa počítače na základe procesorov alfa a pentium III. Na Technickej univerzite St. Petersburg inštaluje na základe procesorov alfa a siete MyRineT bez použitia lokálnych diskov na výpočtových uzloch. V TECHNICKEJ UNIVEKU STAVE UPRA STATE AVECTIONÁLNA JE KLUSTER Na základe dvanástich alfa-staníc, rýchla sieť Ethernet a Linux OS.

Klaster (skupina počítačov)

Klastre distribútorov záťaže

Zásada ich činnosti je založený na distribúcii žiadostí prostredníctvom jedného alebo viacerých vstupných uzlov, ktoré ich presmerujú na spracovanie do zostávajúcich, výpočtových uzlov. Úvodným účelom takéhoto klastra je produktivita, avšak v nich sa používajú metódy, ktoré zvyšujú spoľahlivosť. Podobné štruktúry sa nazývajú serverové farmy. Softvér (softvér) môže byť komerčný (OpenVMS, Mosix, Platform LSF HPC, Solaris Cluster, Moab Cluster Suite, Plánovač Maui Cluster) a Free (OpenMosix, Sun Grid Motor, Linux Virtual Server).

Výpočtové klastre

Klastre sa používajú na výpočtových účely, najmä vo vedeckom výskume. Pre výpočtové klastre sú významné ukazovatele vysokým výkonom procesora v operáciách cez čísla plávajúcich bodov (FLOPS) a nízka latencia kombinovanej siete a menej významná - rýchlosť I / O operácie, ktorá je dôležitejšia pre databázy a web Služby. Výpočtové klastre umožňujú znížiť čas výpočtu v porovnaní s jedným počítačom, ktorý porušuje úlohu na paralelné vetvy, ktoré sú vymenené väzbovými údajmi. Jednou z typických konfigurácií je súbor počítačov zozbieraných z verejne dostupných komponentov, s operačným systémom Linux nainštalovaný na nich, a Ethernet, Myrinet, Infiniband spojené so sieťou alebo inými relatívne lacnými sieťami. Tento systém je obvyklý, ktorý sa nazýva klastra Beowulf. Špeciálne prideľujte vysoko výkonné klastre (angličtina je indikovaná skratkou Klaster HPC. - Vysoko výkonný výpočtový klaster). Zoznam najsilnejších vysoko výkonných počítačov (môže byť tiež označený skratkou HPC.) Môžete nájsť vo svetovom poradí Top500. Rusko má hodnotenie najsilnejších Computeors CIS.

Distribuované výpočtové systémy (mriežka)

Takéto systémy sa nepovažujú za klastre, ale ich zásady sú vo veľkej miere podobné technológii klastrov. Sú tiež nazývané systémy siete. Hlavným rozdielom je nízka dostupnosť každého uzla, to znamená neschopnosť zaručiť jeho operáciu v určenom čase (uzly sú spojené a odpojené počas prevádzky), takže úloha musí byť rozdelená na niekoľko procesov nezávislých navzájom. Takýto systém, na rozdiel od klastrov, nie je ako jediný počítača slúži ako zjednodušený spôsob distribúcie výpočtov. Konfiguračná nestabilita, v tomto prípade je kompenzovaná veľkým počtom uzlov.

Klastrové servery organizovali programovo

Klasterové systémy zaberajú hodné miesto v zozname najrýchlejšie, zatiaľ čo výrazne získavajú superpočítače v cene. Na júl 2008 je 7. miesto Top500 ratingu Cluster SGI Altix Ice 8200 (Chippewa Falls, Wisconsin, USA).

Relatívne lacná alternatíva k superpočítačom sú klastre založené na konceptoch Beowulf, ktoré sú postavené z bežných lacných počítačov na základe slobodného softvéru. Jedným z praktických príkladov takéhoto systému je kamenný soupercomputer (UAC Ridge, Tennessee, USA,).

Najväčší klastra patriaci súkromnej osobe (z 1000 procesorov) bol postavený John Koza (John Koza).

História

História tvorby klastra je neoddeliteľne spojená s včasným vývojom v oblasti počítačových sietí. Jedným z dôvodov vzniku vysokorýchlostnej komunikácie medzi počítačmi sa stal nádeje na kombinovanie výpočtových zdrojov. Na začiatku sedemdesiatych rokov TCP / IP Protokolový vývoj a laboratórium Xerox PARC sú priradené štandardy interakcie siete. Operačný systém HYDRA ("HYDRA") sa objavil pre počítače PDP-11 vyrobené podľa DEC, vytvorené na tomto základe, klastra sa nazýva C.MPP (Pittsburgh, PC. Pennsylvania, USA,). Avšak, len v blízkosti mesta, mechanizmy, ktoré umožnili použiť distribúciu úloh a súborov prostredníctvom siete, z väčšej časti sa vyvíjali v Sunos (operačný systém založený na BSD zo Sun Microsystems).

Prvým komerčným klasterovým projektom bol ARCNET, ktorý vytvoril DataPoint v zisku, a preto sa výstavba klastrov nevyvíjala pred mestom, keď destoval svoj odcvičník založený na operačnom systéme VAX / VMS. ARCNET a VAXCLUSTER boli navrhnuté nielen pre spoločné výpočty, ale aj zdieľanie súborového systému a periférie, pričom zohľadnili zachovanie integrity a jedinečnosti údajov. VAXCLUSTER (tzv. Teraz VMSCLUSTER) - je neoddeliteľnou súčasťou operačného systému OpenVMS pomocou procesorov alfa a itanium.

Medzi ďalšie ďalšie skoré klasterové produkty, ktoré dostali uznanie, zahŕňajú Tandem Hymalaya (, HA triedy a IBM S / 390 paralelné SYSPLEX (1994).

História klastrov z bežných osobných počítačov je vo veľkej miere potrebná na projektovanie paralelného virtuálneho stroja. V tomto softvéri, kombinovať počítače vo virtuálnom superpočítači, otvoril možnosť okamžitého vytvárania klastrov. Výsledkom je, že celkový výkon všetkých lacných klastrov vytvoril potom nadbytok súčtu kapacít "vážne" komerčné systémy.

Vytvorenie klastrov na základe lacných osobných počítačov zjednotených dátovými sieťami pokračoval v meste American Aerospace Agency (NASA), potom rozvoj klastrov Beôvodov špecificky vyvinul na základe tejto zásady. Úspechy takýchto systémov tlačili rozvoj sietí sietí, ktoré existovali od vytvorenia UNIX.

Softvér

Široko bežným nástrojom na organizovanie príliš interakcie je MPI knižnica podporujúce jazyky a Fortran. Používa sa napríklad v programe modelovania počasia MM5.

Operačný systém Solaris poskytuje softvér Solaris Cluster Software, ktorý sa používa na zabezpečenie vysokej dostupnosti a používateľom serverov bežiacich Solaris. Pre OpenSolaris je tu realizácia open source oprávnený Opensolaris ha klaster..

Viac programov sú populárne medzi užívateľmi GNU / LINUX:

dISTCC, MPICH, atď. - Špecializované prostriedky na paralelačné programy. Discc umožňuje paralelné kompilácie v kolekcii kompilátorov GNU.
Linux Virtual Server, Linux-ha - Node softvér pre distribúciu dotazov medzi počítačovými servermi.
Mosix, OpenMosix, Kerrighed, OpenSsi - plnohodnotné klastrové prostredie zabudované do jadra automaticky distribuovať úlohy medzi homogénnymi uzlami. OpenSsi, OpenMosix a Kerrigded Create medzi uzlami.

Mechanizmy klastra sa plánujú byť vložené do jadra Dragonfly BSD, rozvetveného v roku 2003 z FreeBSD 4.8. Vo vzdialených plánoch ho tiež otáčajú streda jedného operačného systému.

Microsoft je vyrobený pomocou klastra HA pre operačný systém Windows. Predpokladá sa, že je založený na technológii Corporation Digital Equipment, podporuje až 16 (od roku 2010) uzlov v klastri, ako aj v práci na sieti SAN (sieť Storage Area). Sada API sa používa na podporu distribuovaných aplikácií, existujú medzery na prácu s programami, ktoré neposkytujú prácu v klastri.

Spoločnosť Windows Compute Cluster Server 2003 (CCS) vydaný v júni 2006 je určený pre high-tech aplikácie, ktoré vyžadujú cluster computing. Publikácia je určená na nasadenie na rôznych počítačoch, ktoré sa zhromažďujú v klastri, aby sa dosiahlo superpočítačové kapacity. Každý klaster na Cluster Cluster Cluster sa skladá z jedného alebo viacerých riadiacich strojov, ktoré distribuujú úlohy a niekoľko podriadených strojov vykonávajúcich hlavnú operáciu. V novembri 2008 je Windows HPC Server 2008 navrhnutý tak, aby nahradil systém Windows Compute Cluster Server 2003.

Výpočtové klastre

Distribuované výpočtové systémy (mriežka)

Takéto systémy sa nepovažujú za klastre, ale ich zásady sú vo veľkej miere podobné technológii klastrov. Sú tiež nazývané systémy siete. Hlavným rozdielom je nízka dostupnosť každého uzla, to znamená neschopnosť zaručiť jeho operáciu v určenom čase (uzly sú spojené a odpojené počas prevádzky), takže úloha musí byť rozdelená na niekoľko procesov nezávislých navzájom. Takýto systém, na rozdiel od zhlukov, nie je podobný jedinému počítaču a slúži ako zjednodušený prostriedok distribúcie výpočtov. Konfiguračná nestabilita, v tomto prípade je kompenzovaná veľkým počtom uzlov.

Klastrové servery organizovali programovo

Najväčší klastra patriaci súkromnej osobe (z 1000 procesorov) bol postavený John Koza.

História

História tvorby klastra je neoddeliteľne spojená s včasným vývojom v oblasti počítačových sietí. Jedným z dôvodov vzniku vysokorýchlostnej komunikácie medzi počítačmi sa stal nádeje na kombinovanie výpočtových zdrojov. Na začiatku sedemdesiatych rokov minulého storočia boli TCP / IP protokol vývojári a Xerox PARC Laboratórium pridelené štandardy interakcie siete. Operačný systém HYDRA pre počítače PDP-11 vyrobené podľa DEC, vytvorené na tomto základe, klastra bol pomenovaný C.MPP (Pittsburgh, Pennsylvania, USA, 1971). Iba okolo roku 1983 sa však vytvorili mechanizmy, čo umožnilo použiť distribúciu úloh a súborov prostredníctvom siete, z väčšej časti sa vyvíjali v Sunos (operačný systém založený na BSD zo Sun Microsystems).

Prvý komerčný projekt CLUSTER bol ARCNET vytvorený DataPoint v roku 1977. Nepodstatilo to ziskové, a preto sa výstavba klastrov nevyskytla až do roku 1984, keď Dec vybudoval svoj VAXCLUSTER založený na operačnom systéme VAX / VMS. ARCNET a VAXCLUSTER boli navrhnuté nielen pre spoločné výpočty, ale aj zdieľanie súborového systému a periférie, pričom zohľadnili zachovanie integrity a jedinečnosti údajov. VAXCLUSTER (tzv. Teraz VMSCLUSTER) - je neoddeliteľnou súčasťou operačného systému OpenVMS s použitím procesorov deC a Itanium.

Medzi ďalšie ďalšie skoré klasterové produkty, ktoré dostali uznanie, zahŕňajú Tandem Hymalaya (1994, trieda) a IBM S / 390 paralelné SYSPLEX (1994).

História klastrov z bežných osobných počítačov je vo veľkej miere potrebná na projektovanie paralelného virtuálneho stroja. V roku 1989 tento softvér na kombináciu počítačov na virtuálny superpočítač otvoril možnosť okamžitého vytvárania klastrov. Výsledkom je, že celkový výkon všetkých lacných klastrov vytvoril potom nadbytok súčtu kapacít "vážne" komerčné systémy.

Vytvorenie klastrov na základe lacných osobných počítačov spojených s dátovou sieťou pokračovalo v roku 1993 American Aerospace Agency NASA, potom v roku 1995 dostali rozvoj klastrov Beowulf, ktorý sa konkrétne vyvinul na základe tohto princípu. Úspechy takýchto systémov tlačili rozvoj

Systém klastra

Čo je klastra?

Klaster je celkom serverov, pohonov a pracovných staníc, ktoré:
· Konať ako jeden systém;
· Odoslať používateľom ako jeden systém;
· Spravované ako jeden systém;
Klaster je tiež schopnosť používať výpočtové zdroje Váš systém tak, že výsledný systém presahuje svoje schopnosti s celkovými možnosťami jeho častí.

Hlavnými výhodami klastra sú:
· Zabezpečenie vysokej úrovne pripravenosti v porovnaní s roztriešteným súborom počítačov alebo serverov. Zlepšenie pripravenosti systému zabezpečuje prácu aplikácií kritických pre podnikanie počas najdlhšieho časového obdobia. Kritické zahŕňa všetky aplikácie, ktoré priamo závisia od schopnosti spoločnosti vytvoriť zisk, poskytovať službu alebo poskytovať ďalšie dôležité funkcie. Použitie klastra vám umožní zabezpečiť, aby ak server alebo akúkoľvek aplikáciu prestane fungovať normálne, iný server v klastri, naďalej vykonávať vaše úlohy, bude mať úlohu chybného servera, aby sa minimalizovalo prestoj používateľa z dôvodu poruchy v systéme.
· Významné zvýšenie celkovej výkonnosti siete (High Grade). Klaster vám umožňuje flexibilne zvýšiť výkon systému, pridávať nové uzly k nemu a bez prerušenia používateľov.
· Zníženie nákladov na správu miestnej siete (dobrá manipulácia).
· Zabezpečenie vysokej dostupnosti sieťových služieb. Dokonca aj s zlyhaním jedného z klastrové serveryVšetky služby poskytované klastrom zostáva k dispozícii pre používateľov.

Oddelenie na vysokej dostupnosti a vysoko výkonných systémoch

V funkčnej klasifikácii môžu byť klastre rozdelené na "vysokorýchlostné" (vysoké výkony, HP), "Vysoká dostupnosť" (vysoká dostupnosť, ha), ako aj "zmiešané systémy".
Vysokorýchlostné klastre sa používajú na úlohy, ktoré vyžadujú významný výpočtový výkon. Klasické oblasti, v ktorých sa používajú podobné systémy, sú:
· Spracovanie obrázkov: Rending, Upozornenie obrázkov
· Vedecký výskum: fyzika, bioinformatika, biochémia, biofyzika
· Priemysel (geografické informačné úlohy, matematické modelovanie)
a veľa ďalších…
Klastre, ktoré patria do systémov vysokej dostupnosti, sa používajú všade, kde náklady na možnú nečinnosť presahujú náklady na náklady potrebné na vytvorenie klastrového systému, napríklad:
· Billingové systémy
· Bankové operácie
· Elektronický obchod
· Podnikové riadenie atď.
Zmiešané systémy kombinujú funkcie prvej a druhej. Treba poznamenať, že je potrebné poznamenať, že klastra, ktorý má parametre vysokého výkonu a vysokej dostupnosti, určite stráca rýchlosť vysokorýchlostného systému orientovaného systému, a v možnom systéme nečinnosti systému orientovaného na vysokej úrovni dostupnosť.

Čo je to vysoká pripravenosť klastra?
Klaster s vysokou dostupnosťou je rôzne klastrovému systému určené na zabezpečenie nepretržitého prevádzky kritických aplikácií alebo služieb. Použitie klastra s vysokou dostupnosťou vám umožňuje zabrániť neoplánovaným pomlčkám spôsobenému zariadením a zlyhaním softvéru a plánované pomlčky potrebné na aktualizáciu softvéru alebo preventívneho zariadenia.

Klaster sa skladá z dvoch uzlov (serverov) pripojených k zdieľanému disku. Všetky základné komponenty tohto disku - napájanie, diskové jednotky, I / O Controller - majú redundanciu s možnosťou náhrady za tepla. Klastrové uzly sú prepojené internou sieťou na výmenu informácií o jeho súčasnom stave. Napájanie klastra sa vykonáva z dvoch nezávislých zdrojov. Pripojenie každého uzla do externej lokálnej siete je tiež duplikovaná.
Všetky podsystémy klastrov majú redundanciu, takže keď klastra nepodarí odmietnuť akýkoľvek prvok ako celok, zostane v pracovnom stave.

Ako je klastra usporiadaný
Klaster je niekoľko počítačov nazývaných uzly, na ktorých funguje operačný systém UNIX alebo Windows. Tieto servery vzhľadom na zvyšok siete pôsobia ako jeden objekt: výkonný "virtuálny" server. Zákazníci sú pripojení k klastra, nevedia, aký druh počítača sa skutočne zaoberá svojou službou. Neprerušený prístup k klastre sa dosiahne včasným detekciou porušení v prevádzke hardvéru a softvéru a automatického prenosu procesov spracovania údajov do dobrého uzla. V štandardnom klastri je každý uzol zodpovedný za umiestnenie určitého počtu zdrojov. V prípade zlyhania alebo zdrojov uzla systém prenáša časť zdrojov na iný uzol a poskytuje im prístupnosť zákazníkom.

Štátna univerzita informačných a komunikačných technológií

abstraktný

z disciplíny "Počítačový obvod"

na tému: "Moderné klastrové systémy a ich použitie"

Vykonáva: Študentská skupina CSD-32

Muzalevsky evgeny

Vstup 3.

1. Všeobecné zásady klastrových systémov 4

2. Klasifikácia 4.

3. Použitie klastrových systémov 5

Závery 6.

Odkazy 6.
Úvod

Klaster je modulárny multiprocesorový systém vytvorený na základe štandardných výpočtových uzlov spojených vysokorýchlostným komunikačným médiom. Teraz sú slová "klastra" a "superpočítač" sú do značnej miery synonymné, ale predtým, než sa stali možné hovoriť s dôverou, hardvér bol držaný dlhý cyklus evolúcie. Počas prvých 30 rokov od okamihu vzhľadu počítačov, až do polovice 80. rokov, v rámci "superpočítačov" technológií chápali výhradne výrobu špecializovaných špecializovaných výkonných procesorov. Avšak, vzhľad sing-chip mikroprocesorom takmer vymazal rozdiel medzi "hmotnosťou" a "obzvlášť výkonnými" procesormi, a od tej chvíle jediným spôsobom, ako vytvoriť superpočítač, bol spôsob, ako spojiť spracovateľov pre paralelné riešenie na jednu úlohu .

Atraktívnym rysom klastrových technológií je, že umožňujú dosiahnuť potrebný výkon kombinovať počítače rôznych typov v jednotlivých počítačoch, od osobných počítačov a končiacich s výkonnými superpočítačmi. Rozšírené klastrové technológie získané ako prostriedok na vytvorenie systémov superpočítačových tried z komponentných častí masovej výroby, čo výrazne znižuje náklady na počítačový systém.

1. Všeobecné zásady Klasterové systémy

Ako už bolo spomenuté vyššie, výpočtový klaster je celkovosť
Počítače v rámci určitej siete na vyriešenie jednej úlohy, ktorá je predložená pre používateľa ako jeden zdroj.

Koncepcia "jediného zdroja" znamená dostupnosť poskytovania softvéru
možnosť používateľov, administrátorov a aplikovaných programov
Že existuje len jeden subjekt, s ktorým pracujú, je klastra.
Napríklad systém spracovania klastra vám umožňuje poslať úlohu
Spracovanie klastra, nie žiadny samostatný počítač. Viac komplexné
Príkladom je databázové systémy. Takmer všetci výrobcovia
Databázové systémy majú verzie v paralelnom režime
Viacnásobné klastrové stroje. Ako výsledok, aplikácie, ktoré používajú databázu
Údaje by sa nemali starať o tam, kde sa vykonáva ich práca. Dbms
Zodpovedný za synchronizáciu paralelného pôsobenia a údržby
Integrity databázy.

Počítače, ktoré tvoria klastra - tzv klastrové uzly - vždy
relatívne nezávislé, čo umožňuje zastavenie alebo vypnutie
na preventívnu prácu alebo inštaláciu ďalších
Zariadenia bez prerušenia výkonu celého klastra.

Keď sa bežne používajú výpočtové uzly v klastri
Jednoprocesorové osobné počítače, dvoj- alebo štvor-procesor SMP
Servery. Každý uzol pracuje pod kontrolou jeho kópie prevádzky
Systémy, ktoré sú najčastejšie používané štandard
Operačné systémy: Linux, NT, Solaris atď. Zloženie a sila uzlov
sa môže líšiť aj v rámci jedného klastra, čo umožňuje vytvoriť príležitosť
Nehomogénne systémy. Určuje sa výber špecifického komunikačného prostredia.
Mnoho faktorov: črty triedy riešených úloh, nevyhnutnosť
Následná rozšírenie klastra atď. V konfigurácii je možné povoliť.
Špecializované počítače, ako napríklad súborový server, a spravidla,
Poskytla možnosť vzdialeného prístupu k klastru cez internet.
Z definície architektúry klastrovej sústavy vyplýva, že obsahuje
veľmi širokú škálu systémov.

2. Klasifikácia

Klasterové systémy môžu používať rôzne platformy a spravidla sú klasifikované nie súpravou komponentov, ale podľa aplikácií. Rozlišujú sa štyri typy klastrových systémov: výpočtové klastre, klastre databáz, zhluky na tolerantné chyby a klastre na distribúciu sťahovania. Najpočetnejšou skupinou je výpočtové klastre. Môže byť rozdelený na podskupiny; TRUE, neexistujú žiadne iné výpočtové stroje v tejto skupine, ale hotové softvérové \u200b\u200ba hardvérové \u200b\u200bklastrové riešenia. Takéto systémy "na kľúč" majú predinštalovaný aplikovaný softvér požadovaný zákazníkom na riešenie jeho úloh. Riešenia optimalizované pre rôzne aplikácie sa líšia výberom komponentov, ktoré zabezpečujú najproduktívnu prácu týchto aplikácií s najlepším pomerom ceny / kvality.

Databázové klastre sa nedávno objavili. Tieto systémy fungujú paralelné verzie Databázy a používajú sa vo veľkých organizáciách na prácu CRM a ERP systémov, ako aj transakčné databázy. Dnes sú tieto systémy vážnym konkurentom tradičných serverov so zdieľanou pamäťou v dôsledku lepšej ceny / produktivity, škálovateľnosti a tolerancie na chybu.

Zlyhavé klastre sú postavené, aby zabezpečili spoľahlivosť kritických aplikácií čo najlepším možným spôsobom. Aplikácia je duplikovaná na rôznych uzloch av prípade chyby v jednom z nich, aplikácia pokračuje v práci alebo automaticky reštartuje na strane druhej. Takéto klastre nie sú veľké a používatelia ich často vytvárajú. Klasterové technológie sa používajú aj na distribúciu veľkého dotazu pre mnoho serverov. Takéto riešenia sa často používajú na podporu webových stránok s dynamickým obsahom, ktorý neustále pristupuje k databázam, ako sú vyhľadávače. V závislosti od veľkosti služby môžu mať klastre prideľovania batožinového priestoru dostatočne veľký počet uzlov.

Práca klastrových systémov poskytuje štyri typy špecializovaných aplikácií, ako sú: operačné systémy (zvyčajne Linux), komunikačné nástroje, paralelné nástroje aplikácií a nástroje na správu klastrov.

3. Pomocou klastrových systémov

Vývojári architektúr klastra systému sledovali rôzne účely
ich tvorbu. Prvým bolo digitálne vybavenie s klastrami VAX / VMS.
Účelom vytvorenia tohto vozidla bolo zlepšiť spoľahlivosť systému, \\ t
Zabezpečenie vysokej dostupnosti a tolerancie na chybu. V súčasnosti
Čas existuje mnoho podobných systémov pre architektúru systémov od iných.
výrobcov.

Ďalším cieľom vytvárania klastrových systémov je vytvoriť lacné
Vysoko výkonné paralelné výpočtové systémy. Jeden z prvých
Projekty, ktoré poskytli názov pre celú triedu paralelných systémov - klastra Beowulf
- Vznikol v centre Nasa Goddard Space Flight Center na podporu
Súvisiace výpočtové zdroje projektu Zem a vesmírne vedy.
Projekt Beowulf začal v lete 1994 a 16-procesor bol čoskoro zozbieraný
Klaster na procesoroch Intel 486DX4 / 100 MHz. Na každom uzle bol
16 MB RAM a 3 siete Ethernet
adaptér. Tento systém bol veľmi úspešný vo vzťahu k
cena / výkon, takže takáto architektúra začala rozvíjať a
Široko používané v iných vedeckých organizáciách a inštitúciách.
Pre každú triedu klastrov sú charakterizované architektúrami a
Aplikovaný hardvér.

V priemere sú domáce superpočítače stále veľmi horšie ako západný výkon: stroje používané na vedecký výskum, 15-krát, výpočtové zdroje finančných spoločností - 10-krát, priemyselné superpočítače - 9-krát.

závery

Klaster je komplexný softvér a hardvérový komplex pozostávajúci z výpočtových uzlov na základe štandardných procesorov pripojených vysokorýchlostným systémovým sieťam, ako aj pomocnými a servisnými sieťami.

Existujú štyri typy klastrových systémov: výpočtové klastre, klastre databáz, zhluky na tolerantu a klastre na stiahnutie distribúcie.

Rozsah uplatňovania klastrových systémov nie je teraz vôbec ako superpočítače s inou architektúrou: nemenej sa úspešne vyrovnáva s úlohou modelovať rôzne procesy a javy. Superpočítačové modelovanie môže mať veľa času a urýchliť záver na trh nových výrobkov, ako aj zlepšiť ich kvalitu.