V tomtotutoriálu Hadoop , poskytneme vám kompletní představení HDFS Federation. V tomto tutoriálu probereme architekturu HDFS, omezení současné architektury HDFS.
Poté podrobně pokryjeme architekturu federace HDFS spolu s jejich výhodami v rámci Hadoop.
Co je HDFS Federation?
Federace vylepšuje stávající Hadoop HDFS architektura. Předchozí architektura HDFS umožňuje jediný jmenný prostor pro celý cluster. V této architektuře spravuje jmenný prostor jeden NameNode.
Pokud NameNode selže, bude celý cluster mimo provoz. A cluster bude nedostupný, dokud se NameNode nerestartuje nebo nebude přenesen na samostatný počítač.
S cílem překonat toto omezení byla zavedena federace HDFS. To překonává přidáním podpory pro mnoho NameNode/Namespaces do HDFS.
Aktuální architektura HDFS
HDFS má dvě hlavní vrstvy uvedené níže:
a) Jmenný prostor – Tato vrstva spravuje soubory, adresáře a bloky . Tato vrstva podporuje základní operace souborového systému, jako je vytváření, mazání souborů.
b) Blokovat úložiště – Má dvě části-
- Správa bloků – Podporuje operace související s bloky, jako je vytváření, mazání bloků. Spravuje datové uzly v clusteru a stará se o správu replikace.
- Fyzické úložiště – To ukládá bloky do místního systému souborů a poskytuje přístup k operacím čtení nebo zápisu. Klikněte na tento odkaz a naučte se operace čtení a zápisu dat HDFS.
Tento současný HDFS funguje dobře pro menší nastavení. Ale pro velké organizace, kde se potřebujeme postarat o obrovské množství dat, má určitá omezení. S těmito omezeními se zabývá federace Hadoop.
Omezení aktuální architektury HDFS
Omezení aktuální architektury HDFS je uvedeno níže:
1. Pevně propojené blokové úložiště a jmenný prostor
Vrstva jmenného prostoru a vrstva úložiště jsou pevně spojeny. To ztěžuje alternativní implementaci jmenného uzlu. A omezuje ostatní služby na používání blokového úložiště.
2. Škálovatelnost jmenného prostoru
Jmenný prostor není škálovatelný jako datanode. Škálování v clusteru HDFS je horizontální přidáním datových uzlů. Do existujícího clusteru však nemůžeme přidat další jmenný prostor. Můžeme vertikálně škálovat jmenný prostor na jediném jmenném uzlu.
3. Výkon
Celý výkon Hadoop závisí na propustnosti jmenného uzlu. Operace aktuálního souborového systému závisí na propustnosti jednoho jmenného uzlu. NameNode v současnosti podporuje 60 000 souběžných úloh.
Nadcházející MapReduce bude mít podporu pro více než 1 00 000 souběžných úkolů. A to bude vyžadovat další jmenný uzel.
4. Izolace
Neexistuje žádné oddělení jmenného prostoru. Neexistuje tedy žádná izolace mezi organizací nájemců, která používá cluster.
HDFSFederační architektura
Federace používá mnoho nezávislých jmenných uzlů/jmenných prostorů k horizontálnímu škálování jmenné služby. V architektuře HDFS Federation Architecture jsou ve spodní části přítomny datové uzly. A datové uzly jsou používány jako společné úložiště pro bloky všemi jmennými uzly.
Každý datový uzel se registruje se všemi jmennými uzly v clusteru. Tyto datové uzly odesílají periodické srdeční tepy, blokují, hlásí a zpracovávají příkazy z jmenných uzlů.
Mnoho jmenných uzlů (NN1, NN2…, NNn) spravuje mnoho jmenných prostorů (NS1, NS2…, NSn). Každý jmenný prostor má svůj vlastní blok bloků (NS1 má fond 1 a tak dále). Blok z fondu 1 je uložen v datovém uzlu 1 a tak dále.
1. Blokovat bazén
Sada bloků je Block pool který patří do jednoho jmenného prostoru. V architektuře federace HDFS existuje kolekce fondů. A každý blok je spravován z druhého.
To umožňuje jmennému prostoru vytvořit ID bloku pro nové bloky bez koordinace s jiným jmenným prostorem. Všechny Datanodes ukládají datové bloky přítomné ve všech fondech bloků.
2. Objem jmenného prostoru
Jmenný prostor a jeho blok bloků jsou Objem jmenného prostoru . Ve federaci HDFS je mnoho svazků jmenného prostoru. Každý svazek jmenného prostoru tedy funguje nezávisle. Když vymažeme jmenný uzel nebo jmenný prostor, vymaže se také odpovídající fond bloků přítomný na datových uzlech.
Výhody federace HDFS
HDFS Federation překonává omezení dřívější architektury HDFS. Proto poskytuje:
- Izolace – Neexistuje žádná izolace v jediném jmenném uzlu ve víceuživatelském prostředí. Ve federaci HDFS lze různé kategorie aplikací a uživatelů izolovat do různých jmenných prostorů pomocí mnoha jmenných uzlů.
- Škálovatelnost jmenného prostoru – Ve federaci se mnoho jmenných uzlů horizontálně zvětšuje ve jmenném prostoru souborového systému.
- Výkon – Můžeme zlepšit propustnost operací čtení/zápisu přidáním dalších jmenných uzlů.
Závěr
Závěrem k HDFS Federation můžeme říci, že překonává omezení jednouzlové architektury HDFS. Předchozí architektura HDFS pro celý cluster umožňuje pouze jeden jmenný prostor. Zatímco Federation používá mnoho nezávislých jmenných uzlů/jmenných prostorů k horizontálnímu škálování jmenné služby.
Také odděluje vrstvu jmenného prostoru a úložiště vrstva. Poskytuje tedy izolaci, škálovatelnost a jednoduchý design.
Pokud máte jakýkoli dotaz nebo návrh týkající se federace v Hadoop HDFS, dejte nám vědět zanecháním komentáře.