BigQuery je spravovaný datový sklad bez serveru ve službě Google Cloud navržený tak, aby umožňoval škálovatelnou analýzu přes petabajty dat. Jedná se o relační databázi Platform as a Service (PaaS), která podporuje ANSI SQL dotazy. Jako takový funguje se softwarem IRI.
Připojení Google BigQuery RDB k IRI Workbench a back-endovému programu pro zpracování SortCL je jednoduché a umožňuje pohyb a manipulaci s jeho strukturovanými daty prostřednictvím kompatibilních produktů IRI. To znamená IRI CoSort, FieldShield, NextForm a RowGen nebo platformu IRI Voracity, která je všechny zahrnuje.
Konektivita se řídí stejným paradigmatem jako všechny ostatní relační databáze, které IRI podporuje. To znamená stažení a instalaci ovladačů ODBC a JDBC, konfiguraci (použití a testování pomocí vašich pověření), registraci a ověření.
Protože je Workbench postaven na Eclipse, potřebuje k zobrazení schématu BigQuery a analýze metadat tabulky připojení JDBC. A k předávání dat mezi BigQuery a modulem pro manipulaci s daty SortCL je také zapotřebí ovladač ODBC. Konečný výsledek by mohl být tento:
Google se spojil s Magnitude Simba, aby poskytl ovladače ODBC a JDBC pro připojení k BigQuery. V době psaní tohoto článku však jeho ovladači JDBC chybí klíčové funkce, které Workbench potřebuje. Chcete-li to obejít, použijte ovladač JDBC z CData.
Tento článek poskytuje podrobné pokyny pro software IRI pro přístup k BigQuery.
Účty služeb v BigQuery
BigQuery autorizuje přístup ke zdrojům na základě ověřené identity, která potřebuje uživatelské ID ve formě servisního účtu a klíč/heslo. Chcete-li vytvořit ověřenou identitu, přihlaste se do BigQuery, přejděte na Účty služeb v části IAM &Admin a vytvořte si účet:
První pole vytváří název servisního účtu, pro mé nastavení jsem jej nazval iri-simba. Do druhého pole se automaticky vyplní e-mailová adresa servisního účtu s použitím vámi zvoleného jména. Poslední pole lze přeskočit. Klikněte na Vytvořit a pokračovat.
Nyní, když je vytvořen servisní účet, můžeme přejít k typu oprávnění, které tento účet může mít. Klikněte na Vybrat roli a vyhledejte BigQuery a přidejte konkrétní role pro databázi.
Umístěním ukazatele myši na každou roli získáte rychlý popis toho, jaký typ přístupu tato role poskytne servisnímu účtu; zde najdete podrobnější vysvětlení. To umožňuje větší kontrolu nad udělováním oprávnění konkrétním uživatelům, jako je možnost prohlížet tabulky, vytvářet dotazy nebo spouštět jako správce.
Vybral jsem si roli BigQuery User, která umožní tomuto servisnímu účtu prohlížet a manipulovat s tabulkami. „Udělit uživateli přístup k tomuto servisnímu účtu“ je přeskočeno. Klikněte na Hotovo vrátí vás zpět na hlavní stránku účtu služby, kde můžete účet vidět:
Přejdeme k druhé části a vytvoříme klíč, který bude spojen s novým účtem služby. V poli Akce klikněte na Spravovat klíče vytvořit klíč pro servisní účet – buď přidáním vlastního klíče, nebo jeho vytvořením pro vás.
Pokud necháte Google vytvořit klíč, nabídne vám dvě možnosti typu klíče, JSON nebo P12. Vyberte typ JSON, protože tento klíč bude také použit pro ovladač JDBC, který používá formát JSON.
Po vytvoření klíče JSON bude stažen do počítače. Můžete jej umístit kamkoli chcete, ale zapamatujte si cestu, protože ta bude použita při nastavení ovladače ODBC a JDBC.
Nyní, když je účet služby vytvořen a má klíč, který bude fungovat jako heslo, přejděme ke stažení připojení ODBC a jeho nastavení.
ODBC – stahování a konfigurace
Používám operační systém Windows a volím 64bitovou verzi Windows kvůli kompatibilitě se spustitelným souborem CoSort V10.5 SortCL. Jakmile budete postupovat podle pokynů a přijmete licenční smlouvu pro instalační program Simba, otevřete Správce zdrojů dat ODBC (64bitový) a nakonfigurujte připojení.
Jednoduše přidejte a vyhledejte ovladač s názvem „Simba ODBC Driver for Google BigQuery“.
S vybraným ovladačem by stránka nastavení měla vypadat takto:
Zde je konfigurace opravdu jednoduchá, počínaje názvem zdroje dat.
Zvolil jsem název Google BigQuery, ale pro svůj případ použití si můžete vybrat jakýkoli název.
Pro ověření ponechte výchozí možnost Servisní účet a přejděte dolů na e-mail. Zde můžete zkopírovat a vložit e-mail servisního účtu, který byl vytvořen dříve v tomto článku.
Pole níže (Cesta k souboru klíče) používá jako vstup cestu k souboru klíčů JSON. V dolní části, kde je uvedeno Katalog (Projekt), klikněte na rozevírací nabídku. Pokud je vše správně nakonfigurováno, mělo by se zobrazit název projektu a uzlu, který obsahuje datové sady a tabulky.
Totéž můžete udělat pro možnost Dataset, kliknutím na rozbalovací nabídku vyberte konkrétní datovou sadu nebo ponechte toto prázdné, chcete-li zobrazit všechny datové sady v tomto projektu. Nakonec otestujte připojení, abyste se ujistili, že vše funguje správně.
Když je ODBC nastaveno, můžeme nakonfigurovat ovladač JDBC.
JDBC – stahování a konfigurace
Stáhněte si ovladač JDBC z CData zde. Po dokončení instalace se zobrazí složka s názvem GoogleBigQueryJDBCDriver s setup.jar uvnitř.
Soubor setup.jar nainstaluje všechny soubory potřebné pro fungování připojení JDBC. Obsahuje také speciální jar, který pomáhá při vytváření adresy URL připojení pro ovladač JDBC.
Poté, co setup.jar dokončí instalaci, musíme mít připravené konfigurace ve Workbench. V Průzkumníku zdrojů dat (uvnitř Workbench) přidejte nové připojení kliknutím na Nový profil připojení .
Objeví se pop (jako na obrázku níže) a nabídne několik možností typu připojení, která lze vytvořit. Vyberte Obecný JDBC a pojmenujte jej, například BigQuery. Usnadníte si jej nalezení v Průzkumníku zdrojů dat.
Další stránka vás nasměruje k nastavení ovladače a poskytne podrobnosti o připojení. Klikněte na Nová definice ovladače který vypadá jako kompas se zeleným znaménkem plus.
Následující stránka vám v případě potřeby umožňuje zadat řidiči konkrétní jméno. Přesunutím na záložku JAR List jsou zde přidány požadované jary, aby ovladač JDBC fungoval.
Pokud bylo při instalaci souborů pro ovladač JDBC použito výchozí umístění, mělo by být umístěno ve složce Program Files s názvem CData. Uvnitř složky lib je soubor Jar s názvem cdata.jdbc.googlebigquery.GoogleBigQueryDriver , přidejte nádobu do seznamu a přejděte na kartu Vlastnosti.
*Výchozí cesta je vidět na obrázku níže, pokud dojde k potížím s umístěním souboru jar*
Na kartě Vlastnosti musíme vytvořit adresu URL připojení, pojmenovat databázi a zadat třídu ovladače. Nejprve se zaměřte na vytvoření adresy URL připojení, v Průzkumníku souborů vyhledejte soubor jar, který byl právě přidán, a spusťte jej.
To pomůže vytvořit adresu URL připojení ve formátu, který CData navrhuje. Jak je vidět na obrázku níže, vlevo jsou vlastnosti, které je třeba nastavit, aby bylo možné vytvořit adresu URL připojení.
CData má dokumentaci o tom, které vlastnosti je třeba nastavit v závislosti na tom, jak se uživatel rozhodl ověřit. Protože se ověřujeme pomocí servisního účtu, vlastnosti, které je třeba nastavit, jsou uvedeny níže.
- AuthScheme – nastaveno na OAuthJWT
- ProjectID – nachází se na domovské stránce BigQuery
- InitiateOAuth – nastaveno na GETANDREFRESH
- OAuthJWTCertType – nastaveno na GOOGLEJSON
- OAuthJWTCert – cesta k souboru .json poskytnutý společností Google
Jakmile jsou všechny vlastnosti nastaveny, otestujte připojení, abyste se ujistili, že vše funguje. Pokud bude úspěšný, zkopírujte připojovací řetězec v dolní části. Pokud skončíte bez zkopírování adresy URL připojení, budete muset znovu nastavit vlastnosti.
Zpět ve Workbench vložte adresu URL vedle vlastnosti Adresa URL připojení a přidejte název databáze pro vlastnost Název databáze. U vlastnosti Třída řidiče je v prázdném poli tlačítko se třemi tečkami.
Klikněte na něj a dá vám možnost zadat název třídy řidiče nebo nechat naskenovat ovladač v seznamu JAR. Jakmile bude vše hotovo, mělo by to vypadat takto:
Klikněte na OK a budete přesměrováni zpět na stránku „Zadejte podrobnosti o ovladači a připojení“. Není třeba přidávat uživatelské jméno nebo heslo, protože všechny informace jsou v adrese URL připojení. Otestujte připojení naposledy a klikněte na tlačítko Dokončit.
Profil připojení bude nyní viditelný v Průzkumníkovi datových zdrojů a schémata/tabulky lze zobrazit, jakmile na profil kliknete pravým tlačítkem a zvolíte připojit.
Posledním úkolem je vytvořit registr datového připojení, který mapuje DSN na právě vytvořený profil připojení. Přejděte do nabídky IRI, vyberte předvolby a vyhledejte Registr datového připojení, jak naznačuje obrázek níže.
Vlevo je DSN a vpravo profily připojení. Vyhledejte DSN vytvořené v sekci ODBC výše a klikněte na Upravit…. Vyberte DSN, verzi a profil připojení.
Vzhledem k tomu, že DSN má pověření uložená v adrese URL připojení, není třeba se ověřovat pomocí uživatele/hesla. Klikněte na OK a Použít a zavřít pro opuštění nabídky.
Nyní jste hotovi s kroky pro připojení k databázi pro Google BigQuery. Pokud potřebujete pomoc, napište e-mail na adresu [email protected].