sql >> Databáze >  >> RDS >> Database

Replikace dat v IRI Workbench

Replikace dat znamená kopírování dat z jednoho místa na druhé a obvykle se provádí mezi uživateli různých databází, kteří potřebují sdílet stejnou úroveň informací. Replikace může také zahrnovat další zdroje dat a cíle a stát se komplexnější z hlediska transformace a času.

Toto je první ze dvou článků zabývajících se replikací databáze v grafickém uživatelském rozhraní IRI Workbench. IRI Workbench je bezplatné IDE postavené na Eclipse™, které podporuje všechny produkty IRI, včetně IRI NextForm (pro migraci dat a databází) a IRI Voracity (celková platforma pro správu dat, která zahrnuje NextForm a další). IRI Workbench vytváří a spouští úlohy replikace dat pomocí průvodců, skriptů a diagramů pracovních postupů.

Zde jsou některé ze způsobů, jakými dochází k replikacím:

  • Data v jedné databázi se zkopírují do jiné databáze na stejném nebo jiném serveru.
  • Data ze dvou nebo více databází jsou sloučena do jediné databáze.
  • Uživatelé dostávají úplné počáteční kopie databáze a poté se pravidelně aktualizují podle změn dat.
  • Data jsou selektivně extrahována z databáze a replikována do externího souboru.

Replikace dat umožňuje replikovat pouze část databáze; tj. vybrané tabulky, sloupce a/nebo řádky. Replikace všech tabulek je součástí zrcadlení databáze. Změny schémat, omezení, procedur a oprávnění k přístupu však nelze tak snadno replikovat a mohou zahrnovat samostatné procesy.

Základní příklad v IRI Workbench

Pro tento první příklad replikace dat použijeme průvodce vytvořením úlohy z nabídky NextForm na panelu nástrojů IRI Workbench. Zkopírujeme data z tabulky Oracle do tabulky MySQL i do upraveného plochého souboru. Tento druhý článek ukazuje replikaci pouze aktualizovaných dat v tabulce vyhodnocením hodnot sloupců časového razítka.

Nabídka NextForm obsahuje tři průvodce vytvořením úlohy:

  • Nová úloha přeformátování
  • Nová úloha migrace z jednoho zdroje
  • Nová úloha migrace více tabulek

K provedení této replikace použijeme průvodce New Reformat Job . Pro složitější úlohu bychom použili jiného průvodce NextForm nebo průvodce úlohou ETL v nabídce Voracity (nebo ručně vytvořili nový pracovní postup).

Zde je struktura zdrojových a cílových tabulek:


Krok 1:Zadejte název a možnosti úlohy

Z nabídky NextForm na horním panelu nástrojů vyberte průvodce New Reformat Job. V tomto příkladu zadejte název souboru úlohydatareplication . NextForm přidá příponu .ncl. Můžete také přidat jakékoli relevantní informace o této úloze, které se zobrazí jako komentáře ve skriptu.

V seznamu přepínačů ponechte výchozí výběr Vytvořit skript protože se jedná o samostatnou práci a není součástí většího toku nebo dávkového projektu.

Krok 2:Identifikujte zdroj


Na další obrazovce Zdroje dat klikněte na Přidat zdroj dat . Zdroj v tomto příkladu je databáze připojená k ODBC, takže vyberte ODBC, a poté klikněte na Procházet vyberte název zdroje dat (DSN) a tabulku.

Krok 3:Zadejte zdrojová metadata


Aby software IRI mohl přesouvat a manipulovat s daty ve svém enginu (v tomto případě replikovat v NextForm), potřebujete metadata pro zdroj a cíle definované ve skriptu úlohy ve formátu souboru IRI (DDF) s definicí dat.

V IRI Workbench můžete automaticky sestavit soubory DDF pro jakýkoli zdroj (nebo cíl). Tato funkce je zabudována zde, kde si můžete vybrat buď Objevit metadata nebo Přidat existující metadata . V tomto případě přidáme existující metadata, která byla vytvořena jiným způsobem. Tato volba a její výsledky jsou zobrazeny v následujícím dialogu:

Klikněte na Rozvržení zdrojového pole zobrazíte rozložení dat.

Klikněte na OK zavřete rozvržení zdrojového pole. Poté klikněte na Další na stránce Zdroje dat a otevřete stránku Cíl dat.

Krok 4:Definujte cíl (cíle)


Replikovaná data Oracle posíláme dvěma cílům:MySQL tabulce, kterou pojmenujemecustomers_out a soubor s názvem personout.csv .

Přidat cílovou tabulku


Klikněte na Přidat cíl dat . Vyberte ODBC a klikněte na Procházet . Poté vyberte název zdroje dat (DSN) Oracle a tabulka CUSTOMERS_REP . Klikněte na OK zavřete dialog.

Na stránce Data Targets zvýrazněte název tabulky a klikněte na Přidat existující metadata . Vyberte cust.ddf (který byl vytvořen dříve) a klikněte na OK .

Chceme omezit počet záznamů v tomto souboru na 100. Klikněte na Upravit možnosti cíle otevřete editor a v Outcollect zadejte 100 a klikněte na OK .

Přidat cílový soubor


Znovu klikněte na Přidat cíl dat . Vyberte Soubor a zadejte personout.csv a klikněte na OK . Chceme omezit počet záznamů v souboru na maximálně 50 a také musíme změnit formát na CSV. Chcete-li provést obojí, klikněte na Upravit možnosti cíle pro otevření editoru. Změňte Formát pole do CSV a v Outcollect zadejte 50 a klikněte na OK .

Přidejte do cílového souboru funkci řetězce


Přidáme také funkci řetězce pro zobrazení pouze posledních čtyř číslic pole SSN. Chcete-li to provést, klikněte na Cílové rozložení pole a klikněte na kartu personout.csv.

Vyberte pole SSN, klikněte pravým tlačítkem a vyberte Použít pravidlo Vytvořit pravidlo . Na stránce Průvodce výběrem nového pravidla pole vyberte Funkce manipulace s řetězci . Na další stránce – Funkce pro manipulaci s řetězci –  vyberte sub_string . V Odsazení zadejte 6 jako počet znaků zleva od pole a do pole Délka zadejte 4 jako délku podřetězce a poté klikněte na Dokončit .

Přidejte filtr pro zahrnutí


Abychom mohli pokračovat v úpravách souboru CSV, přidáme filtr, který omezí data tak, aby zahrnovala pouze záznamy z CA. Klikněte na Zaznamenat filtr k vytvoření filtru. Vyberte možnost Zahrnout pro akci filtru a vyberte Nová podmínka pro typ. Otevřete Tvůrce výrazů kliknutím na ikonu Funkce. V Tvůrci výrazů vyberte kategorii Relační operátory a položku EQ . V Výrazu pole nahoře, zadejte STATE EQ „CA“ pomocí nástrojů na panelu nástrojů a klikněte na Dokončit .

Zpět na stránce Data Targets jsme se rozhodli přemístit pole příjmení a jméno za pole zip. Vyberte LASTNAME a klikněte na Dolů dokud nebude pole na konci seznamu, pak vyberte JMÉNO a udělejte to samé.

Když dokončíme přidávání obou cílů, zobrazí se pole a úpravy na stránce Data Targets.

Klikněte na Dokončit k dokončení vytváření skriptu, který je zobrazen níže v barevně odlišeném zobrazení editoru IRI Workbench s ohledem na syntaxi:

Výsledky


Spusťte skript úlohy kliknutím pravým tlačítkem myši ve skriptu a výběrem možnostiSpustit jako> Zaměstnání IRI . Cílová data jsou zobrazena na níže otevřených kartách:

Máte-li jakékoli dotazy ohledně replikace dat v NextForm nebo Voracity, kontaktujte svého zástupce IRI.

  1. V Průzkumníku zdrojů dat klikněte pravým tlačítkem na tabulku a vyberte IRI Generovat DDF . Tím se vytvoří DDF pro tabulku v aktivní složce projektu a bude na něj za běhu odkazovat modul IRI pro manipulaci s daty.

  1. Výběr náhodných řádků pomocí MySQL

  2. AKTUALIZUJTE více tabulek v MySQL pomocí LEFT JOIN

  3. HTML – Změnit\Aktualizovat obsah stránky bez obnovení\znovu načíst stránku

  4. Jak vybrat určitý počet znaků zleva nebo zprava od řetězce na serveru SQL