jaký je lepší způsob, jak indexovat data z Oracle/relačních tabulek do elastického vyhledávání?

ES používáme jako databázi hlášení a když jsou nové záznamy zapsány do SQL, provedeme následující akci, abychom je dostali do ES:

1. Zapište primární klíč do fronty (používáme rabbitMQ)
2. Králík vyzvedne primární klíč (když má čas) a dotazuje se na relační DB, aby získal informace, které potřebuje, a poté zapíše data do ES

Tento proces funguje skvěle, protože zpracovává jak nová data, tak stará data. Pro stará data stačí napsat rychlý skript pro zapsání 300 milionů primárních klíčů do králíka a máte hotovo!