Zákazníci HBase, kteří upgradují na CDH 6 z CDH 5, také získají upgrade HBase z HBase1 na HBase2. Výkon je důležitým aspektem, který zákazníci zvažují. Měřili jsme výkon CDH 5 HBase1 vs CDH 6 HBase2 pomocí zátěže YCSB, abychom pochopili dopady upgradu na výkon na zákazníky provádějící upgrady na místě (žádné změny hardwaru).
O YCSB
Pro naše testování jsme použili Yahoo! Srovnání cloudového poskytování (YCSB). YCSB je open-source specifikace a sada programů pro vyhodnocování možností vyhledávání a údržby počítačových programů. Často se používá k porovnání relativního výkonu systémů správy databází NoSQL.
Původní benchmark byl vyvinut pracovníky výzkumné divize Yahoo! který ji vydal v roce 2010.
Další informace o YCSB na https://github.com/brianfrankcooper/YCSB
V našem testovacím prostředí byla použita datová škála YCSB @1TB a provozní zátěže zahrnovaly výchozí úlohy YCSB a přizpůsobené úlohy.
Použité pracovní zátěže testu YCSB:
- Úloha A (čtení+aktualizace) :Příklad aplikace:Úložiště relací zaznamenává nedávné akce v uživatelské relaci
- 50 % PŘEČTĚTE
- 50% AKTUALIZACE
- Úkol C (pouze pro čtení) :Příklad aplikace:Čtení mezipaměti uživatelského profilu, kde se profily vytvářejí jinde (např. Hadoop)
- 100% PŘEČTĚTE
- Úloha F (čtení+úprava+zápis) :Příklad aplikace:Databáze uživatelů, kde jsou uživatelské záznamy čteny a upravovány uživatelem nebo pro záznam aktivity uživatele
- 50 % PŘEČTĚTE
- 25% AKTUALIZACE
- 25 % ČTĚTE-UPRAVUJTE-ZAPIŠTE
- Pouze aktualizace vlastní zátěže YCSB Cloudera :Příklad aplikace:Hromadné aktualizace
- Operace 100% AKTUALIZACE
Další informace o pracovní zátěži YCSB na https://github.com/brianfrankcooper/YCSB/wiki/Core-Workloads
Metodika testu
Do datové sady YCSB načítáme 1 000 000 000 záznamů, každý záznam má velikost 1 kB, čímž vytváříme celkem 1 TB dat. Po naložení počkáme na dokončení všech zhutňovacích operací, než zahájíme test zátěže. Každá testovaná zátěž byla spuštěna třikrát po dobu 15 minut a propustnost* měřeno. Průměrný počet se získá ze 3 testů, aby se získal konečný počet.
* Propustnost (ops/s) =počet operací za sekundu
Porovnání propustnosti CDH5 HBase1 vs. CDH6 HBase2 pomocí YCSB
Propustnost pouze vlastní aktualizace
Pouze aktualizace . Případy použití:Hromadné aktualizace
Propustnost CDH6 HBase2 o 50 % vyšší než CDH5 HBase1
Propustnost pracovní zátěže YCSB
Rozsáhlá aktualizace. Případy použití:Ukládání relací, záznam nedávných akcí
Propustnost CDH6 HBase2 o 6 % nižší než CDH5 s HBase1
Propustnost C zátěže YCSB
Pouze pro čtení. Případy použití:Mezipaměť uživatelského profilu, mezipaměť zpravodajského kanálu
Propustnost CDH6 HBase2 o 5 % nižší než CDH5 HBase1
Propustnost YCSB Workload F
Čtení-upravování-zápis. Případy použití:Úložiště aktivit, uživatelské databáze
Propustnost CDH6 HBase2 velmi blízko k CDH5 HBase1
Shrnutí výsledků testu
Pouze vlastní aktualizace pracovní zátěž : Pouze aktualizace HBase2 CDH6 byla provedena o 50 % lépe než HBase1 CDH5
Úloha YCSB Workload F: Operace a propustnost pracovní zátěže CDH6 YCSB F byly velmi podobné na CDH5 HBase1
Úlohy YCSB A a YCSB: Pracovní zátěž CDH6 YCSB C pouze pro čtení a zátěž YCSB A měla přibližně o 5 % méně operace a propustnost než CDH5 HBase1
Porovnání verzí CDH
Verze CDH6:Cloudera Enterprise 6.2
Verze CDH5:Cloudera Enterprise 5.16.2
Java VM Name:Java HotSpot(TM) 64-Bit Server VM
Verze Java:1.8.0_141
Testovací prostředí
Použitý cluster: Cluster 6 uzlů
Popis uzlu: Dell PowerEdge R430, 20c/40t Xenon e5-2630 v4 @ 2,2 GHz, 128 GB RAM, 4-2 TB disky
Nastavení testu
- Verze YCSB:0.14.0
- Verze vazby YCSB hbase20
- YCSB tabulka @1TB měřítko
- Konfigurace WAL
- Počet kanálů WAL na server podle regionu (wal.regiongrouping.numgroups ) nastavte na 1
- Multi-WAL:wal.provider nastavte na Více HDFS WAL
- Poznámka -> Zde je Single WAL použitý jako kanály WAL nastaven na 1
- Asyncfs WAL:region.replica.replication.enabled nastaveno na false
- Zabezpečení: Není nakonfigurováno (žádné Kerberos)
- Regionální servery
- Počet regionů v tabulce YCSB 250, s uzlovým clusterem 5+1 a přibližně 50 regionů na server regionu
- Průměrná velikost serveru regionu 290 G
- Data na region ~ 6G
- Použita pouze mezipaměť L1 s LruBlockCache s limitem velikosti mezipaměti 3 GB
Na základě našeho testování (výsledky výše) by zákazníci, kteří chtějí upgradovat z CDH 5.x na 6.x, měli očekávat výrazně lepší výkon pro hromadné aktualizace a poměrně podobný výkon pro jiné úlohy ve srovnání s tím, co dostávají dnes.
Další informace o Cloudera Operational DB naleznete zde