Urychlete vkládání velkých datových sad ze souboru txt do mySQL pomocí pythonu

Dvě možnosti ke zvážení:

1) nejjednodušší je zahrnout více řádků hodnot na jednu vložku. Je to mnohem rychlejší, než dělat více vložek.

Insetad of doing INSERT INTO tbl ( cols ) VALUES ( vals ) , udělejte něco jako INSERT INTO tbl ( cols ) VALUES ( vals ), ( vals ), ( vals )

Počet řádků, které můžete vložit najednou, závisí na maximální velikosti paketu serveru mysql, ale pravděpodobně můžete bezpečně provést 100, 1000, možná 10000 řádků a mělo by vám to poskytnout zvýšení výkonu o řád nebo více.

Viz http://dev.mysql.com/doc/ refman/5.5/en/insert-speed.html

2) NAČÍST DATOVÝ INFILE je trochu jiný, vyžaduje více práce a má své vlastní požadavky, ale je velmi rychlý.