Jednou z hlavních starostí správců databází, kteří potřebují uvolnit velká data z tabulek velmi velkých databází (VLDB), je rychlost. Rychlejší uvolnění zpřístupňuje data v různých formách pro různé účely a platformy. Čím rychleji jsou data získávána, tím rychleji mohou být zpracována a doručena. Konečným výsledkem je rychlejší doba potřebná k řešení, a tím i produktivita a konkurenceschopnost společností, které vydělávají peníze na informacích.
Většina dostupných nástrojů a metod používaných v současnosti pro extrakci dat z velkých tabulek faktů je prostě příliš pomalá. Ty, které mají být rychlejší, jsou komplikované, proprietární nebo vyžadují nákup nákladného ETL balíčku. Posun k paradigmatu ELT nebo Hadoop s sebou nese velké výdaje na hardware (nebo zařízení DB), zdaňuje základní DB, která se nyní transformuje, a vyžaduje strmé křivky učení a náklady na údržbu.
Neexistují jiné možnosti pro vykládání a následné procesy, které jsou rychlejší, jednodušší a dostupnější?
Proč uvolnit tabulky VLDB?
Existuje mnoho důvodů, proč byste nejprve hromadně uvolnili data z těchto tabulek:
Migrace databáze :Čím rychleji můžete získat data ze starších databází, tím rychleji můžete mapovat a přesunout data do nových databází. Hromadný přesun dat by byl prospěšný, pokud jsou objemy dat obrovské, existuje výhoda offline transformace, ochrany a/nebo analýzy (což je možné najednou v IRI CoSort), a když jsou předem roztříděné hromadné načtení jediným způsobem, jak splnit Termíny SLA.
Reorganizace databáze :Uvolněte, seřaďte, znovu načtěte, aby databáze fungovala efektivně a optimalizovala běžné dotazy udržováním pořadí spojení tabulek. Vykládání se provádí v off-line nebo externích reorganizacích. Podívejte se na toto srovnání metod offline a online reorganizace.
Integrace dat :Rozsáhlé operace DW extrakt-transformace-zatížení (ETL) začínají extrakcí tabulek do oblasti stagingu dat. Data vykládaná z tabulek a smíchaná s datovými sadami sálových počítačů, webovými protokoly a dalšími plochými soubory mohou být nejúčinněji integrována a zpracována v systému souborů. Externí transformace prostřednictvím jsou nejen efektivnější, protože v jednom I/O průchodu lze realizovat více akcí, ale také proto, že výpočetní režie veškeré této práce je odstraněna z databáze (viz ETL vs. ELT).
Replikace dat / archiv :Odebráním tabulek faktů lze duplikovat zlatá zdrojová provozní data a uložit je v přenosném formátu. Data v plochých souborech lze dotazovat, manipulovat a přeformátovat pomocí nástrojů jako IRI NextForm nebo CoSort a použít je k naplnění dalších databází a aplikací. Podobně lze dostupné úložiště těchto dat ukládat i offline pro obnovení a načítání záloh nebo distribuci stranám, které potřebují přístup k datům v jiném prostředí.
Business Intelligence :Může být rychlejší a snazší importovat provozní data do Excelu a dalších nástrojů BI ve formátech plochých souborů, jako je CSV a XML, než se snažit přemostit mezi tabulkou a tabulkou nebo krychlí BI. Přemístění tabulek do plochých souborů je proto prvním a efektivním krokem v datové franšíze – příprava dat pro operace BI.
Podívejte se na metody uvolnění
Metody extrakce VLDB se liší výkonem a funkčností. Dobrý nástroj pro stahování velkých dat z Oracle a dalších velkých databází musí být efektivní, snadno použitelný a musí podporovat určité funkce přeformátování, které by proces nezatěžovaly.
Příkaz SQL SPOOL může vypsat data do plochého souboru, ale jeho objem je obvykle pomalý. Nativní nástroje, jako je export nebo datová pumpa společnosti Oracle, jsou rychlejší, ale vytvářejí proprietární extrakty, které lze pouze znovu importovat do stejné databáze a nelze je analyzovat jako plochý soubor.
Pokud potřebujete rychle uvolnit velké tabulky do přenosných plochých souborů, zvažte IRI FACT (Fast Extract) pro Oracle, DB2, Sybase, MySQL, SQL Server, Altibase, Tibero atd. FACT využívá paralelismus a nativní protokoly pro připojení k databázi (jako Oracle OCI ) pro optimalizaci výkonu odsávání. Bezplatný FACT GUI (průvodce), který je součástí IRI Workbench, postavený na Eclipse™, představuje dostupné tabulky a sloupce k extrahování a používá syntaxi SQL SELECT.
Další výhodou používání FACT je jeho integrace metadat s programem SortCL v IRI Voracity pro transformaci, ochranu, zacílení a dokonce podávání zpráv o výtažcích z plochých souborů. FACT také vytváří řídicí soubor obslužného programu hromadného načítání databáze v očekávání opětovného naplnění stejné tabulky pomocí plochých souborů předem CoSorted ve velkých operacích ETL nebo reorg.