Jak efektivně vložit data souboru CSV do MYSQL pomocí Pythonu?

Existuje mnoho způsobů, jak tuto vložku optimalizovat. Zde je několik nápadů:

1. V celém souboru dat máte cyklus for. Můžete provést commit() každých 100 nebo tak
2. Můžete vložit mnoho řádků do jedné přílohy
3. můžete tyto dva zkombinovat a vytvořit víceřádkovou vložku každých 100 řádků ve vašem CSV
4. Pokud python není požadavkem, můžete to udělat přímo pomocí MySQL, jak je vysvětleno zde . (Pokud to musíte udělat pomocí pythonu, stále můžete tento příkaz připravit v pythonu a vyhnout se ručnímu procházení souboru.

Příklady:

pro číslo 2 v seznamu bude mít kód následující strukturu:

def csv_to_DB(xing_csv_input, db_opts):
    print("Inserting csv file {} to database {}".format(xing_csv_input, db_opts['host']))
    conn = pymysql.connect(**db_opts)
    cur = conn.cursor()
    try:
        with open(xing_csv_input, newline='') as csvfile:
            csv_data = csv.reader(csvfile, delimiter=',', quotechar='"')
            to_insert = []
            insert_str = "INSERT INTO table_x (ID, desc, desc_version, val, class) VALUES "
            template = '(%s, %s, %s, %s, %s)'
            count = 0
            for row in csv_data:
                count += 1
                to_insert.append(tuple(row))
                if count % 100 == 0:
                    query = insert_str + '\n'.join([template % r for r in to_insert])
                    cur.execute(query)
                    to_insert = []
                    conn.commit()
            query = insert_str + '\n'.join(template % to_insert)
            cur.execute(query)
            conn.commit()
    finally:
        conn.close()