sql >> Databáze >  >> NoSQL >> MongoDB

Import velmi velké sady záznamů do MongoDB pomocí nodejs

Nejde o odpověď na vaši přesnou situaci importu ze souboru .csv, ale o hromadné vkládání

-> Za prvé, neexistují žádné speciální „hromadné“ operace vkládání, na konci je vše pro každého.

-> pokud se pokusíte číst velký soubor asynchronně, což by bylo mnohem rychlejší než proces zápisu, měli byste zvážit změnu svého přístupu, nejprve zjistit, kolik toho vaše nastavení zvládne (nebo stačí stisknout-n - soud).

---> Poté změňte způsob, jakým čtete ze souboru, nemusíte číst každý řádek ze souboru, async-ly, naučte se čekat, použijte forEach, forEachSeries z Async.js, abyste snížili své čtení blízko zápisu mongodb úroveň a můžete začít.



  1. mongoDB/mongoose:jedinečný, pokud není null

  2. Node + Mongoose:Získat poslední vložené ID?

  3. Budování škálovatelného procesu pomocí NiFi, Kafka a HBase na CDP

  4. Dotazování MongoDB pomocí rozhraní JSON / HTTP / REST