sql >> Databáze >  >> NoSQL >> MongoDB

Jak efektivně importovat mnoho velkých souborů JSON přímo z S3 do MongoDB

Nemusíte ukládat mezisoubory, můžete výstup souboru s3 převést na stdout a můžete získat vstup do mongoimport od stdin.

Váš úplný příkaz by vypadal nějak takto:

s3cmd get s3://<yourFilename> - | mongoimport -d <dbName> -c <collectionName>

všimněte si - který říká odeslat soubor na stdout spíše než do názvu souboru.



  1. MongoDB - otevřené a uzavřené spojení - doporučení pro dobrou praxi

  2. Vyhledávání v MongoDB

  3. Vztahy zpětné smyčky nevyplňují pole ID objektů

  4. Časový limit Elasticsearch vyprší při každém požadavku na vyhledávání až do restartu