Jak importovat velký soubor XML (~10 GB) do PostgreSQL

1. Převeďte soubor XML na soubor CSV. Při převodu jej také rozdělte na části o velikosti 100 Mb-1 Gb pro snazší dávkování.

2. Vytvořte tabulku se sloupci, které jste definovali v souboru CSV.

3. Nahrajte soubor(y) do Postgres pomocí KOPÍROVAT command.Je to nejrychlejší způsob, jak nahrát velké množství dat, co znám.BTW, dalo by se to udělat i z Javy pomocí CopyManager třída.

V závislosti na druhu dotazů, které budete provádět, budete chtít vytvářet indexy:

1. Bude to časově nejnáročnější část. Můžete však použít SOUČASNĚ VYTVOŘIT INDEX . Umožní vám pracovat s vaší tabulkou, zatímco je index vytvářen na pozadí.

2. Pokud opakujete proces importu a již máte vytvořenou tabulku a indexy, zrušte indexy před zadáním příkazu COPY a znovu je vytvořte později. Ušetří vám to spoustu času.

3. Pokud stále nejste spokojeni s rychlostí svých dotazů nebo rychlostí vytváření indexů, možná bude dobrý nápad použít Clickhouse namísto. Záleží však na tom, jaký druh dotazů provádíte.