V tomto tutoriálu Hadoop , budeme diskutovat o konceptu NameNode Automatic Failover v Hadoopu Nejprve se podíváme, co je to failover a jaké jsou typy failover. Poté pokryjemeHDFS automatické převzetí služeb při selhání v Hadoop.
Součásti automatického převzetí služeb při selhání Hadoop v HDFS, jako je kvorum ZooKeeper, proces ZKFailoverController (ZKFC). Nakonec také probereme role těchto dvou komponent v Hadoop .
Co je převzetí služeb při selhání?
Proces, ve kterém systém přenese své řízení na sekundární systém, když zjistí selhání, se nazývá převzetí služeb při selhání .
Failover je dvou typů:
- Graceful Failover – Administrátor spouští Graceful Failover ručně, například v případě běžné údržby. Systém automaticky neaktivuje převzetí služeb při selhání z aktivního názvového uzlu do pohotovostního, a to ani v případě, že aktivní uzel selhal v režimu Graceful Failover.
- Automatické převzetí služeb při selhání – Automatické převzetí služeb při selhání je proces, při kterém systém automaticky přenese své řízení na pohotovostní NameNode, když NameNode selže. V Hadoopu dojde k automatickému převzetí služeb při selhání v případě selhání NameNode. Ale v případě selhání NameNode se Failover spustí automaticky. Toto převzetí služeb při selhání je automatické převzetí služeb při selhání.
Automatické převzetí služeb při selhání NameNode v Hadoop
Automatické převzetí služeb při selhání v Hadoopu přidává níže uvedené komponenty k nasazení Hadoop HDFS:
- Kvorum ZooKeeper.
- Proces ZKFailoverController (ZKFC).
1. Kvorum ZooKeeper
Zookeeper v Hadoop je centralizovaná služba. Udržuje informace o konfiguraci, pojmenování a poskytuje distribuovanou synchronizaci. Poskytuje také skupinové služby. Zookeeper také spravuje a koordinuje velký shluk strojů.
Z níže uvedených důvodů se implementace automatického převzetí služeb při selhání HDFS spoléhá na Zookeeper:
- Detekce selhání- Zookeeper v Hadoop udržuje relaci s jmennými uzly. Během selhání relace vyprší. Zookeeper tedy informuje ostatní jmenné uzly, aby zahájily proces převzetí služeb při selhání.
- Volba aktivního NameNode- Jednoduchý mechanismus poskytovaný Zookeeperem, který pouze vybere uzel jako aktivní. V době selhání aktivního jmenného uzlu může jiný jmenný uzel získat výhradní zámek v Zookeeper s tím, že se chce stát dalším aktivním jmenným uzlem.
2. ZKFailoverController (ZKFC)
ZKFC je klient Zookeeper v Hadoop, který monitoruje a spravuje stav jmenného uzlu. Každý ze strojů, na kterých běží služba namenode, také provozuje ZKFS. Zvládne:
- Monitorování zdraví – Pomocí příkazu pro kontrolu stavu ZKFS pingne na svůj místní jmenný uzel. ZKFS považuje jmenný uzel za zdravý, pokud jmenný uzel reaguje najednou. Monitor stavu označí uzel jako nezdravý, pokud uzel selhal nebo vstoupil do nezdravého stavu.
- Správa relací Zookeeper – ZKFC pořádá relaci otevřenou v Zookeeper, když je místní jmenný uzel v pořádku. Obsahuje také speciální „uzamčený“ uzel, pokud je aktivní místní jmenný uzel. Pokud relace vyprší, zámek bude automaticky odstraněn.
- Volby založené na správci zoo – V HDFS, pokud je místní jmenný uzel v pořádku a ZKFC vidí, že žádný jiný uzel aktuálně nedrží zámek uzlu, sám se pokusí získat zámek. A pokud uspěje, pak vyhrál volby“ a postará se o spuštění převzetí služeb při selhání, aby byl jeho místní jmenný uzel aktivní.
Závěr
Automatické převzetí služeb při selhání v Hadoop se tedy spustí automaticky v případě selhání NameNode. Automatické převzetí služeb při selhání přidává do nasazení HDFS kvorum ZooKeeper a komponenty ZKFailoverController Process (ZKFC).
Zookeeper in Hadoop je služba, která poskytuje schopnost automatického převzetí služeb při selhání v HDFS .