sql >> Databáze >  >> RDS >> Oracle

Jak urychlit načítání dat z oracle sql do pandas df

Nastavení správné hodnoty pro cur.arraysize může pomoci vyladit výkon načítání .Musíte pro něj určit nejvhodnější hodnotu. Výchozí hodnota je 100 . K určení této hodnoty může být spuštěn kód s jinou velikostí pole, například

arr=[100,1000,10000,100000,1000000]
for size in arr:
        try:
            cur.prefetchrows = 0
            cur.arraysize = size
            start = datetime.now()
            cur.execute("SELECT * FROM mytable").fetchall()
            elapsed = datetime.now() - start
            print("Process duration for arraysize ", size," is ", elapsed, " seconds")
        except Exception as err:
            print("Memory Error ", err," for arraysize ", size) 

a poté nastavte například cur.arraysize =10000 před voláním db_select z vašeho původního kódu




  1. MySQL parametrizované dotazy

  2. Oracle PL/SQL:Příklad DBMS_SCHEDULER.CREATE_JOB

  3. MariaDB ROUND() vs. TRUNCATE()

  4. Tvorba vizuální databáze pomocí MySQL Workbench