V dnešním světě jsou data generována exponenciální rychlostí, a to natolik, že analytici předpovídají, že naše globální tvorba dat se do roku 2025 zvýší 10x. Firmy nyní shromažďují data ze všech interních systémů a externích zdrojů, které ovlivňují jejich společnost; as tím přichází stále rostoucí potřeba analyzovat data, abychom získali přehled o tom, jak je lze použít ke zlepšení a vylepšení jejich obchodních rozhodnutí. Apache Zeppelin, platforma pro analýzu a vizualizaci dat s otevřeným zdrojovým kódem, nás může dovést daleko k dosažení tohoto cíle.

V tomto článku se dozvíte, jak přidat vlastní interpret pro MongoDB a MySQL a jak jej používat k dotazování a vizualizaci dat shromažďování. Nejprve začněme přehledem Apache Zeppelin a jeho funkcí:

Co je Apache Zeppelin?

Apache Zeppelin je open source webový „notebook“, který umožňuje interaktivní analýzu dat a dokumenty pro spolupráci. Notebook je integrován s distribuovanými, univerzálními systémy pro zpracování dat, jako je Apache Spark (zpracování dat ve velkém měřítku), Apache Flink (rámec pro zpracování datových proudů) a mnoho dalších. Apache Zeppelin vám umožňuje vytvářet krásné interaktivní dokumenty založené na datech pomocí SQL, Scala, R nebo Python přímo ve vašem prohlížeči.

Funkce Apache Zeppelin

Interaktivní rozhraní Apache Zeppelin má interaktivní rozhraní, které vám umožní okamžitě vidět výsledky vaší analýzy a mít okamžité spojení s vaším výtvorem:
Poznámkové bloky prohlížeče Vytvářejte zápisníky, které lze spustit ve vašem prohlížeči (na počítači i vzdáleně) a experimentujte s různými typy grafů, abyste mohli prozkoumat své datové sady:
Integrace Integrujte se s mnoha různými open source nástroji pro velká data, jako jsou projekty Apache Spark, Flink, Hive, Ignite, Lens a Tajo.

Dynamické formuláře

Dynamicky vytvářejte vstupní formuláře přímo v poznámkovém bloku.

Spolupráce a sdílení

Rozmanitá a živá vývojářská komunita vám poskytuje přístup k novým zdrojům dat, které jsou neustále přidávány a distribuovány prostřednictvím jejich open source licence Apache 2.0.

Tlumočník Koncept tlumočníka Apache Zeppelin umožňuje připojení libovolného jazyka/backendu pro zpracování dat do Zeppelinu. V současné době Apache Zeppelin podporuje mnoho interpretů, jako jsou Apache Spark, Python, JDBC, Markdown a Shell.

Nyní začněme vytvářet váš vlastní interpret pro MongoDB a MySQL.

Přidat interpret MySQL Na platformě Apache Zeppelin přejděte do rozbalovací nabídky v pravém horním rohu a klikněte na Interpreter:

Zde najdete seznam všech tlumočníků. Potřebujeme vytvořit nový pro MySQL, takže klikněte na tlačítko „Vytvořit“ v pravém horním rohu:

Zadejte rozpoznatelný název pro interpret (např. mysql) a vyberte skupinu jako JDBC: Ponechte všechny výchozí možnosti, ale zadejte požadované podrobnosti a ujistěte se, že je navázáno připojení k vašemu serveru MySQL:

Potřebujeme také přidat vlastní artefakt do konektoru MySQL JAR, aby Zeppelin věděl, odkud jej spustit. Zde si stáhněte konektor, umístěte jej do složky interpreter/jdbc a poté zadejte přesnou cestu k artefaktu:

A to je vše! Abychom otestovali náš interpret, musíme vytvořit novou poznámku. Nejprve ale nastavíme také náš MongoDB interpret.

Přidat interpret MongoDB

Vraťte se na stránku Tlumočník a klikněte na tlačítko „Vytvořit“. Budeme používat tento open source překladač MongoDB, takže si budete muset stáhnout soubor .zip a přejmenovat ho na .jar.

Poté přejděte na interpreters/, vytvořte složku mongodb/ a vložte soubor .jar do složky.

Nyní máte nová skupina tlumočníků s názvem mongodb. Přejděte na stránku tlumočníka, zadejte popisný název, například mongodb, a poté v rozbalovací nabídce skupiny tlumočníků vyberte mongodb. Nyní zadáme podrobnosti o našem nově vytvořeném clusteru ScaleGrid MongoDB do „Vlastnosti“, které najdete na stránce Podrobnosti clusteru v části Přehled / Stroje.

A máme hotovo! Nyní je čas vyzkoušet naše nově vytvořené tlumočníky.

Vytvořte poznámku Zeppelin

Chcete-li spouštět dotazy, které pomůže vizualizovat naše data, musíme vytvořit poznámky. V podokně záhlaví Zeppelin klikněte na „Poznámkový blok“ a poté na „Vytvořit novou poznámku“:
Ujistěte se, že záhlaví poznámkového bloku zobrazuje připojený stav jako označeno zelenou tečkou v pravém horním rohu:

Při vytváření poznámky se vám zobrazí dialogové okno pro zadání dalších informací. Vyberte výchozí interpret jako náš nově vytvořený mysql a klikněte na „Vytvořit poznámku“.

Spustit dotazy na poznámku

Než budeme moci spustit jakékoli dotazy, musíme také zmínit typ tlumočníka, který pro naši poznámku použijeme. Můžeme to udělat tak, že naši poznámku začneme „%mysql“. To řekne Zeppelinu, aby v této poznámce očekával dotazy MySQL.

A nyní jsme připraveni dotazovat se na naši databázi. Pro účely tohoto příkladu použiji svou instalaci WordPress, která obsahuje typickou tabulku wp_options k dotazování a vizualizaci jejích dat.

Funguje to! Nyní můžete klikat na různé grafy a vizualizovat data v různých formátech grafů.

Podobně pro MongoDB se ujistěte, že máte data v MongoDB clusteru. Některé můžete přidat tak, že přejdete na kartu Správce a spustíte dotazy Mongo.

Zde je příklad některých dat MongoDB v poznámce:

Sdílejte odkazy na vaše poznámky Nyní, když jsou vaše data připravena k vizualizaci a dotazování, možná ji budete chtít předvést svému týmu. Můžete to udělat velmi snadno vytvořením odkazu na poznámku, který lze sdílet: Tento odkaz ke sdílení bude moci zobrazit kdokoli a můžete se také rozhodnout sdílet odkaz pouze na konkrétní graf:

Závěr Apache Zeppelin

Apache Zeppelin je nesmírně užitečný nástroj, který umožňuje týmům spravovat a analyzovat data pomocí mnoha různých možností vizualizace, tabulek a odkazů ke sdílení pro spolupráci. Zde je několik užitečných odkazů, jak začít:

Stáhnout Apache Zeppelin

Interpret MongoDB

Konektor MySQL

Můžete také prozkoumat další způsoby vizualizace dat prostřednictvím GUI MongoDB, včetně prvních čtyř:MongoDB Compass, Robomongo, Studio 3T a MongoBooster.

Jako vždy, pokud postavíte něco úžasného, ​​napište nám o tom tweet @scalegridio

Pokud potřebujete pomoc s hostováním a správou pro Redis™*, kontaktujte nás na adrese [email protected] pro další informace.