sql >> Databáze >  >> RDS >> PostgreSQL

Problémy s výkonem hromadného vkládání PostgreSQL/JooQ při načítání z CSV; jak mohu zlepšit proces?

Nejrychlejším způsobem hromadného vkládání ze souboru CSV do PostgreSQL je Kopírovat . Příkaz COPY je optimalizován pro vkládání velkého počtu řádků.

S Javou můžete použít implementaci kopírování pro ovladač PostgreSQL JDBC

Zde je pěkný malý příklad, jak jej použít:jak zkopírovat data ze souboru do PostgreSQL pomocí JDBC?

Pokud máte CSV s hlavičkami, budete chtít spustit příkaz podobný tomuto:

\COPY mytable FROM '/tmp/mydata.csv' DELIMITER ';' CSV HEADER

Dalším zvýšením výkonu, když přidáváte velké množství dat do existující tabulky, je zrušit indexy, vložit data a poté znovu vytvořit indexy.



  1. PostgreSQL GeoJSON <- php -> JavaScript

  2. Jak opravit chyby nesprávné hodnoty řetězce?

  3. Seznam všech cizích klíčů v tabulce na serveru SQL

  4. Hodnoty Null se automaticky vkládají při provádění dotazu pomocí JSP a MySQL