sql >> Databáze >  >> NoSQL >> MongoDB

MongoDB:mongoimport ztratí připojení při importu velkých souborů

Myslím, že problém je o výkonu, který můžete vyřešit jakýmkoli způsobem:

můžete použít možnost mongoimport -j . Zkuste zvýšit, pokud nepracujete se 4. tj. 4, 8, 16, závisí na počtu jader, které máte ve svém procesoru.

mongoimport --help

-j, --numInsertionWorkers=počet operací vložení, které se mají spustit souběžně (výchozí hodnota je 1)

mongoimport -d mietscraping -c mails -j 4

nebo můžete soubor rozdělit a importovat všechny soubory.

Doufám, že vám to pomůže.

když se podíváte trochu víc, je chyba v některé verzi https://jira.mongodb.org/browse/TOOLS-939zde další řešení, můžete změnit velikost dávky, pro výchozí hodnotu je 10000, snížit hodnotu a otestovat:

mongoimport -d mietscraping -c mails



  1. Ovlivňuje délka jména výkon v Redis?

  2. RQ - Empty &Delete Queues

  3. Získejte upozornění na změněné dokumenty v mongodb

  4. Začínáme s Redis Client API