sql >> Databáze >  >> NoSQL >> MongoDB

Jak načíst 100 milionů záznamů do MongoDB pomocí Scala pro testování výkonu?

Několik tipů:

  1. Před vložením neindexujte sbírku , protože vložky upravují index, což je režie. Vložte vše a poté vytvořte index .

  2. místo "uložit" použijte mongoDB "batchinsert" který dokáže vložit mnoho záznamů v 1 operaci. Vkládejte tedy přibližně 5 000 dokumentů na dávku. Uvidíte pozoruhodný nárůst výkonu.

    viz metoda č. 2 vkládání zde, vložení vyžaduje pole dokumentů místo jednoho dokumentu. Podívejte se také na diskuzi v tomto vláknu

    A pokud chcete porovnávat více -

  3. Toto je jen odhad, zkuste použít omezenou kolekci předdefinované velké velikosti pro uložení všech vašich dat. Omezená kolekce bez indexu má velmi dobrý výkon vkládání.



  1. MongoDB min

  2. Ukládání hodnot redis hget do proměnné v nodejs

  3. Couchbase XDCR Replication – Krok za krokem – Nejlepší postupy

  4. Jak úplně odstranit pole z dokumentu MongoDB?