Apache HBase se stal projektem nejvyšší úrovně s Apache před 10 lety a Cloudera do něj začala přispívat ve stejnou dobu (2010). Během této doby se stal jedním z největších a nejoblíbenějších open source nástrojů pro velká data a jednou z nejpopulárnějších NoSQL databází.
The Apache Software Foundation oznamuje 10. výročí Apache HBase
HBase podporuje jak klíč-hodnotu, tak i širokosloupcovou NoSQL databázi a používají ji podniky široko daleko. Cloudera má více než 500 zákazníků ve výrobě, kteří ji využívají pro případy použití od kritických transakčních aplikací, datových skladů, strojového učení a datového inženýrství. Naši zákazníci volí HBase kvůli jeho odolnosti (někteří zákazníci jsou schopni realizovat 100% provozuschopnost aplikací po mnoho let), stabilitě, výkonu a nízkým provozním nákladům. Zákazníci Cloudera jej nasazují samostatně spolu s Phoenix, což je databáze založená na SQL postavená na HBase a někdy s Apache Impala a/nebo Apache Hive, které jim umožňují spouštět dotazy OLAP založené na SQL na HBase.
Od roku 2018 jsem produktovým manažerem nabídky provozní databáze Cloudera a měl jsem příležitost setkat se s mnoha našimi zákazníky. Neustále na mě dělá dojem široká škála způsobů, jak zákazníci používají HBase. Šíře případů použití je tak velká a různorodá, že se vymyká segmentaci. Po dlouhé analýze jsem skončil u jednoduchého přístupu ke klasifikaci případů použití – zákazníků, kteří jej používají k podpoře kritických aplikací, a těch, kteří je nepoužívají. Kritické aplikace mají tendenci být transakční povahy a pomáhají našim zákazníkům řídit jejich nejvyšší příjmy a/nebo zvyšovat provozní efektivitu. Pro ně, pokud HBase klesne na horní a/nebo spodní hranici, bude to ovlivněno a v nejhorším případě mohou lidé zemřít.
Příklady kritických případů použití:
- Dodavatel zdravotnického softwaru používá HBase k napájení stovek aplikací. Pokud tyto aplikace selžou, lidé mohou z jakéhokoli důvodu zemřít a náklady na zdravotní péči se zvýší. Tento zákazník nasadil HBase na více než 7 000 uzlech s více než 70 PB dat.
- Výrobce mobilních telefonů používá HBase k aktivaci hlasového asistenta a mnoha dalším případům použití na více než 6 000 uzlech
- Dům finančních médií používá HBase k napájení částí platformy a umožňuje obchodníkům a dalším porozumět relevantnímu kontextu pohybů cen akcií, trendů atd. na více než 1200 uzlech
- Přední e-mailová marketingová platforma provozuje HBase na ~1000 uzlech
- Poskytovatel pojištění používá HBase na ~1000 uzlech k ukládání všech informací o škodách a používá je ke správě těchto škod v průběhu jejich životního cyklu
- Poskytovatel knihovnických služeb používá HBase na více než 400 uzlech k podpoře meziknihovních výpůjček po celém světě
- Globální distribuční společnost využívá HBase na více než 400 uzlech ke zpracování údajů z více než 7 milionů inteligentních měřičů a k provádění automatizovaného nasazení opravárenských týmů pro elektrickou distribuční síť a aplikace pro fakturaci energie a podporovat průběžné školení modelů strojového učení
- Největší indonéská telco, Telkomsel, s více než 170 miliony zákazníků, migrovala celou svou CRM aplikaci ze starší databáze MPP do HBase a Impala a dokázala dosáhnout doby odezvy v řádu sekund všechny dotazy CRM pro jednotlivé uživatele záznamy hovorů, profily, dobíjení, využití dat atd. Výhodou toho, že Impala dotazovala HBase, bylo zajistit rozhraní kompatibilní s ANSI SQL přístupné přes JDBC, aby se minimalizovaly změny CRM.
Příklady nekritických případů použití:
- Výrobce produktů osobní péče používá HBase ke správě všech značek svých produktů a marketingových materiálů
- Výrobce polovodičů používá HBase k ukládání souborů protokolů svých produktů a jejich extrahování do jiných systémů pro analýzu
- Poskytovatel telekomunikačních služeb používá HBase k ukládání tabulek rozměrů pro Hive
To, co odlišuje HBase od ostatních nabídek NoSQL, je jeho integrace v rámci Open Source, ekosystému velkých dat, který zákazníkům umožňuje mít komplexní zkušenost. Mohou jej použít pro aplikace, které potřebují data z okraje nebo aplikace, které potřebují dodávat modely AI/ML v měřítku nebo jakoukoli jejich kombinaci.
Jeden z nejzajímavějších lístků podpory, se kterými jsem se u Cloudera setkal, je, když zákazník HBase podal lístek s vysokou prioritou, který indikoval, že jeho kritické nasazení bylo mimo provoz. Více než rok s námi nekomunikovali a já jsem ani nevěděl, že jsou důležitým zákazníkem. Teprve v tomto případě jsem se dozvěděl, že nasadili 1 000 uzlů pro napájení omnikanálové marketingové platformy na HBase. Kořenem problému bylo, že 9 měsíců před incidentem provedli některé problematické změny v nastavení konfigurace. Když se konečně restartovali, problematické konfigurační nastavení se projevilo, což způsobilo, že požádali Cloudera o pomoc!
Cloudera se hluboce stará o HBase a na projektu má 15 členů a členů PMC. Investujeme také do toho, abychom jej zpřístupnili ve veřejném cloudu s formovými faktory podobnými PaaS i dbPaaS.
HBase zkušenosti v průběhu let
Vzhledem k našemu dlouhodobému závazku a historii s tímto projektem jsme se chtěli podělit o několik zkušeností a příběhů spojených s tímto projektem z celého týmu Cloudera.
„Před lety jsem se účastnil technické konference zaměřené na Apache Hadoop. Jednou pozdě večer jsem se vracel do svého pokoje a náhodou jsem uviděl skupinu lidí, které jsem poznal jako dlouholeté zákazníky, schoulené kolem stolu. Nyní je to velmi kompetentní skupina jednotlivců, se kterými jsem spolupracoval již mnoho let. Zatočil jsem se s úmyslem krátce pozdravit a být na cestě po dlouhém dni. Ukázalo se, že měli výpadek výroby na jednom ze svých systémů a byli uprostřed pokusů o jeho vyřešení. Posadil jsem se, vytáhl svůj notebook a poflakoval se s nimi dalších několik hodin, zatímco jsme analyzovali problém a řešili problémy, které jsme našli. Podpora kriticky důležitých aplikací někdy vyžaduje hrdinství, ale někdy na cestě najdete i pár pejsků.“
— vrchní inženýr
„V povaze mnoha podniků je naprosto nezbytné, aby byly schopny škálovat a stále plnit požadavky na nízkou latenci jejich kritického systému. Když se podíváte zpět do archivů, naši zákazníci měli těžké časy, aby dostáli tak náročným standardům. HBase má prvky, díky kterým bylo snadné tato očekávání splnit, zejména minimalizací času na spuštění další nejlepší akce.“
— Hlavní architekt řešení
„Před třemi lety jsem byl novým manažerem truhlářského inženýrství ve společnosti Cloudera. Kdysi jsem věděl o aktivitě společnosti s otevřeným zdrojovým kódem a jsem uživatelem GNU Linuxu od střední školy, ale používat open source a být jeho součástí je úplně něco jiného.
Jako nový člověk ve společnosti jsem musel rozumět tomu, co tým dělá, a tak jsem si přidělil několik lístků na podporu a začal na nich pracovat. Věděl jsem jen dvě věci, byl jsem mnoho let vývojář Java, takže to musím umět a Hortonworks je náš nejnáročnější konkurent, což znamená, že by mohlo být zajímavé s nimi pracovat.
A pak se to stalo, s mým vůbec prvním tiketem Apache HBase jsem narazil na Joshe Elsera – vedoucího týmu HBase společnosti Hortonworks – který mi ukázal, že implementace nového úkolu může být těžší, než se očekávalo (s kvalitními pruhy, které tým HBase má) a že váš konkurent může být vaším nejlepším partnerem v komunitě open source. Nakonec provedl mé změny.
Za poslední tři roky se mnoho věcí změnilo. Cloudera a Hortonworks se spojily, nyní pracujeme ve stejné společnosti, ale Apache a HBase jsou stejné. Na práci na kódu mám omezený čas, ale vidím jeho sílu, vidím, jak se používá pro služby, o kterých jsem nevěděl, že existují, a vidím, jak přiměje lidi na celém světě spolupracovat. Spojuje lidi napříč společnostmi, kontinenty, kulturami.“
— technický manažer
„HBase a Phoenix se daly snadno naučit. Data Hub usnadňuje spuštění a nyní se těšíme, až Cloudera Operational Database posune HBase do dalšího desetiletí.“
— Technical Customer Success Manager
„Během posledních 9 let jsem se pohyboval od předních linií až po vývoj HBase a viděl jsem vývoj toho, jak naši zákazníci používají HBase od POC k rozsáhlým kritickým platformám. Nejpozoruhodnější okamžik v této době byl před sloučením Cloudera a Hortonworks, kdy týmy obou společností spolupracovaly na vylepšení funkčnosti jedné kritické funkce produktu. Nakonec byla práce prezentována na HBaseCon a získala velké uznání od dvou největších uživatelů HBase. Tato funkce pohání kritickou funkci používanou více než 2B mobilními zařízeními po celém světě.“
– Senior Engineer
„Další skvělý okamžik z posledních 10 let HBase byl na HBaseCon 2015, kdy Carter Page od Googlu veřejně ocenil, jak se HBase vyvinul ve velmi solidní projekt.“
– vrchní inženýr
„Měl jsem to potěšení zúčastnit se téměř všech HBaseCons (a na některých z nich mluvit). Toto jsou tři mé oblíbené vzpomínky na HBaseCon:(1) Rozmanitost HBase:oznámení HBase 2.0 zdůraznilo nejen počet dodaných JIRA, ale také počet členů HBase a členů PMC ze zemí mimo USA a navíc měla žena vedoucí HBase PMC , (2) Dynamika HBase:Oznámení Facebooku, že opouštějí svůj vlastní fork, aby šli 100% upstream Apache HBase, a (3) odrazové můstky HBase:na jednom HBaseConu přednesl vývojář Bloomberg přednášku o přečtení replik a později o dva HBaseCony , vývojář společnosti Apple přednesl hlavní poznámku HBaseCon o používání replik pro čtení ve výrobě.“
– hlavní systémový inženýr
Ve společnosti Cloudera i nadále vidíme světlou budoucnost tohoto projektu a očekáváme, že se bude vyvíjet tak, aby poháněl aplikace nové generace budované v cloudu ve formových faktorech typu PaaS a dbPaaS a také v datových centrech s privátním cloudem.
Pro náhled toho, co přijde, se podívejte na Šablona operační databáze CDP Public Cloud .