Koncepty
Co je Cloudera Operational Database (COD)?
Operational Database je relační a nerelační databáze postavená na Apache HBase a je navržena pro podporu aplikací OLTP, které využívají velká data.
Provozní databáze v Cloudera Data Platform má následující součásti:
- Apache Phoenix poskytuje relační model usnadňující masivní škálovatelnost. Využívá škálovatelnost a odolnost Apache HBase.
- Apache HBase poskytuje nerelační model navržený pro masivní škálovatelnost, takže můžete ukládat neomezené množství dat na jediné platformě a zvládat rostoucí požadavky na poskytování dat.
- Apache ZooKeeper poskytuje distribuovanou konfigurační službu, synchronizační službu a jmenný registr.
- Apache Knox Gateway poskytuje perimetrické zabezpečení, takže podnik může s jistotou rozšířit přístup k novým uživatelům.
- Apache HDFS se používá k zápisu Apache HBase WAL (a HBase HFiles v některých případech).
- Objektové obchody, jako je Amazon S3 a Microsoft ADLS Gen2, se používají k ukládání souborů Apache HBase HFiles.
- Shared Data Experience (SDX) se používá pro zabezpečení a možnosti správy. Zásady zabezpečení a správy jsou nastaveny jednou a aplikovány na všechna data a pracovní zátěže. Stejně jako samotné CDP je i SDX postaveno na komunitních open source projektech, kde Apache Ranger a Apache Atlas zaujímají čestné místo.
Atlas poskytuje otevřenou správu metadat a možnosti správy pro vytvoření katalogu všech aktiv a také klasifikuje a řídí tato aktiva. Vrstva SDX CDP využívá celé spektrum Atlasu k automatickému sledování a kontrole všech datových aktiv.
Ranger poskytuje správu bezpečnostních klíčů se samostatným přihlášením pro správce klíčů pomocí služby Ranger KMS. Apache Ranger také poskytuje tolik potřebné bezpečnostní funkce, jako je maskování sloupců a filtrování řádků. Dalším důležitým faktorem je, že zásady přístupu v Rangeru lze přizpůsobit pomocí dynamického kontextu pomocí různých atributů, jako je ‚geografická oblast‘ nebo ‚čas dne‘.
- IDBroker je REST API vytvořené jako součást autentizačních služeb Apache Knox. Umožňuje ověřenému a autorizovanému uživateli vyměnit sadu pověření nebo token za přístupové tokeny cloudového dodavatele.
CDP Operational Database Data Service
CDP Operational Database (COD) je operační databáze s automatickým škálováním v reálném čase poháněná Apache HBase a Apache Phoenix. Jedná se o datovou službu, která běží na Cloudera Data Platform (CDP). K COD můžete přistupovat přímo z vaší CDP konzole. COD vám umožňuje vytvořit novou operační databázi jediným kliknutím a automaticky se škálovat podle vaší pracovní zátěže.
Níže jsou uvedeny klíčové kroky, jak začít s COD:
- Vytvořte databázi v prostředí pomocí jediného kliknutí a databáze by měla být hotová a dostupná během několika minut.
- Nastavte heslo pro pracovní zátěž. Pro více informací klikněte sem.
- Stáhněte si a nainstalujte Apache Maven, Java, Python 3.8.
- Nainstalujte klienta CDP na váš počítač. Pro více informací klikněte sem.
- Postupujte podle pokynů v úložišti příkladů a proveďte změny v souborech maven settings-security.xml, settings.xml a pom.xml.
- Vytvářejte a spouštějte aplikace.
Apache HBase
HBase je architektura úložiště dat orientovaná na sloupce, která je vytvořena nad HDFS, aby překonala jeho omezení. Využívá základní funkce HDFS a staví na něm, aby poskytoval škálovatelnost zpracováním velkého objemu požadavků na čtení a zápis v reálném čase. Přestože architektura HBase je databáze NoSQL, usnadňuje proces údržby dat tím, že je rovnoměrně distribuuje v rámci clusteru. Díky tomu je přístup a změna dat v datovém modelu HBase rychlý. Další informace o Apache HBase.
Apache Phoenix
Apache Phoenix je rozhraní RDBMS a ANSI SQL. Apache Phoenix implementuje optimalizace osvědčených postupů, které softwarovým inženýrům umožní vyvíjet datově řízené aplikace nové generace založené na HBase. Pomocí Phoenix můžete vytvářet tabulky a pracovat s nimi ve formě typických příkazů DDL/DML pomocí standardního rozhraní JDBC API, ODBC a Phoenix DB API.
Phoenix poskytuje:
- podpora SQL a JDBC API
- Podpora pro pozdní vazbu, schéma při čtení
- Přístup k datům uloženým a vytvořeným v jiných komponentách, jako je Apache Spark a Apache Hive
Další informace o Apache Phoenix.
Postup
Jak vytvořit provozní databázi
Provozní databázi můžete vytvořit ve svém registrovaném prostředí pomocí CDP Operational Database (COD).
Předpoklady
- Musíte být přihlášeni do prostředí COD jako ODAdmin.
- Ujistěte se, že máte oprávnění k vytvoření databáze.
Kroky
- Přihlaste se do webového rozhraní CDP. Například konzole CDP.
- Vyberte Operační databáze.
- Ve webovém rozhraní COD klikněte na Vytvořit databázi.
- Vyberte ze seznamu prostředí, ve kterém chcete mít databázi.
- Zadejte název databáze do pole Název databáze.
- Klikněte na Vytvořit databázi.
Výsledek
Zobrazí se informační stránka, která ukazuje stav databáze. Vaše nová databáze je připravena k použití, jakmile bude její stav k dispozici.
Ukázka
Jak spravovat připojení k databázi
Poté, co vytvoříte provozní databázi a bude dostupná, můžete spravovat databázová připojení.
Předpoklady
- Ujistěte se, že je databáze aktivní a dostupná.
- Jste oprávněni provádět změny v databázi.
Kroky
- Ve webovém rozhraní COD vyberte databázi, pro kterou chcete spravovat připojení.
- V části Připojit přejděte na každou kartu a upravte parametry.
Odkazy
- Dokumentace Cloudera o vytváření databáze COD
- Provozní databáze v CDP
Pokud máte zájem vyzkoušet CDP Public Cloud a Provozní databázi, vyzkoušejte naše Zkušební jízda .