sql >> Databáze >  >> RDS >> Oracle

Automatizujte úlohy integrace dat IRI pomocí nástroje Oracle Job Scheduler

Plánovače úloh jsou počítačové programy, které řídí spouštění jiných programů na pozadí nebo jako součást dávkových procesů. Tato automatizace pracovní zátěže je obvykle koordinována tak, aby tradiční zpracování dat na pozadí bylo možné integrovat s obchodními aktivitami v reálném čase, aniž by došlo k vyčerpání zdrojů nebo narušení jiných aplikací. Plánovač úloh automatizuje rozhraní pracovních postupů, odesílá a monitoruje provádění a řadí do fronty pořadí provádění nesouvisejících úloh, takže operace jsou zpracovávány ve správném pořadí a za určitých podmínek.

Oblíbeným nástrojem pro automatizaci databázových procesů je vestavěný plánovač úloh společnosti Oracle. Může být použit nejen k automatizaci SQL procedur a operací nástrojů, ale také k procesům třetích stran, které ovlivňují efektivitu Oracle. Oracle DBA běžně používají IRI FACT, IRI CoSort a SQL*Loader k odstranění režie transformací z databázové vrstvy a ke zlepšení pracovního toku v rámci velkoobjemových ETL a offline reorganizačních operací. Tyto nástroje lze nyní kombinovat a plánovat s Oracle Job Scheduler v IRI Workbench, prostředí GUI postaveném na Eclipse™.

Ať už jde o příkazový řádek, front-end Oracle nebo IRI v Eclipse™, Oracle DBA nyní mohou plánovat vzájemně závislé kroky ETL nebo nastavovat operace unload/sort/reload (reorg) pomocí softwaru IRI. Pomocí nástroje Oracle Job Scheduler mohou DBMS_SCHEDULER, správci databází a architekti datových skladů určit, kdy mají iniciovat extrahování FACT, třídění/transformace/přehledy a/nebo hromadné načítání pomocí funkce CoSort, a určit závislosti mezi těmito procesy.

Oracle Job Scheduler pomáhá uživateli spravovat a plánovat různé úkoly, takže není nutný ruční zásah. K použití plánovače úloh jsou zapotřebí tři malé skripty:

• Postup sestavení procesu ETL

• Funkce pro zachycení jakýchkoli zpráv z programu Java

• Program Java pro zpracování volání příkazového řádku pro kroky ETL:FACT (E), CoSort SortCL (T) a Oracle SQL*Loader (L)

Jakmile jsou skripty připraveny, může uživatel vytvořit proceduru pro automatizaci požadované práce. Uživatel může určit datum a čas zahájení procedury. Uživatel může také určit, jak často chce úlohu spouštět (týdně, denně, každou hodinu nebo v určitý čas a datum až každých 30 sekund).

Plánovač bude řídit kroky tak, aby byly provedeny ve správném pořadí. Je také možné definovat vlastní kontroly, abyste se ujistili, že další krok nezačne, pokud předchozí neuspěl nebo nesplnil určitá kritéria.

V níže uvedeném příkladu uživatel zvolil proceduru „runFlow“ pro zahájení definovaných kroků každé úterý v 8:00 a každý pátek v 15:00.


DECLARE
JobNo user_jobs.job%TYPE;
v_date1 date :=to_date('20130312 080000′,'yyyymmdd hh24miss');
v_date2 date :=to_date('150003) ′,'yyyymmdd hh24miss');
BEGIN
dbms_job.submit( Číslo úlohy,  –ID úlohy
'begin runFlow; end;', ​​— Postup provedení
v_date1, — začátek běží v
'SYSDATE + 7' — interval úloh
);
COMMIT;
dbms_job.submit(  Číslo úlohy,  –ID úlohy
'begin runFlow; end; ', — Postup provedení
v_date2, — spuštění v
'SYSDATE + 7' — interval úloh
);
COMMIT;
END;

Automatizace procesů ETL tímto způsobem přináší významné výhody, zejména pro správce Oracle DBA, kteří jsou již obeznámeni s DBMS_SCHEDULER. Tato metoda může ušetřit náklady na nákladné balíčky ETL nebo plánování úloh, minimalizovat šance na lidskou chybu a vyloučit potřebu ručního zásahu. Integraci je také možné použít k automatizaci offline reorganizace a kroků souvisejících s ELT.

Máte-li jakékoli dotazy týkající se implementace kroků úlohy IRI v Oracle Job Scheduler nebo byste chtěli příklad bílé knihy, kontaktujte nás.


  1. SQLite Select Distinct

  2. Konfigurační parametr work_mem v PostgreSQL na Linuxu

  3. MySql zobrazuje výkon

  4. Hledání duplicitních řádků na serveru SQL Server