sql >> Databáze >  >> NoSQL >> MongoDB

Konektor Spark Mongo, MongoShardedPartitioner nefunguje

Je nám líto, jose, že máte problém s konektorem.

Informace týkající se oddílů lze nalézt na stránce dokumentace konektoru Spark . Zadejte prosím tiket v projektu Dokumenty jira pokud máte pocit, že něco chybí nebo je nejasné, opravdu by to mohlo pomoci budoucím uživatelům!

Výchozím oddílem je tenký obal kolem MongoSamplePartitioner . Rozdělí kolekci na velké oddíly na základě statistického vzorkování kolekce.

MongoShardedPartitioner používá shardKey pro generování oddílů. Ve výchozím nastavení bude používat _id jako klíč. Možná budete muset tuto hodnotu nakonfigurovat.

Poznámka: Hašované klíčové klávesy nejsou podporováno MongoShardedPartitioner v současné době neexistuje způsob, jak dotazovat kolekci na hodnotu hash - takže při načítání oddílů selže vrátit výsledky. Přidal jsem DOCS-12345 k aktualizaci dokumentace.

Zdá se, že ve vašem nastavení došlo k problému, kdy MongoShardedPartitioner se nedaří rozdělit kolekci podle očekávání a vrací 0 výsledků. Odvozování schématu bude stále fungovat, protože se dotazuje na kolekci. Pokud se nejedná o problém s konfigurací / hashovaným klíčem, nahlaste prosím chybu v projektu Spark jira a mohu pomoci identifikovat příčinu a uvolnit pro vás opravu.




  1. Jaká je režie Java ORM pro MongoDB

  2. Jak vybrat dvě hodnoty tabulky (dokumentu) najednou podle ID uživatele v mongoose?

  3. Může redis zakázat odpovědi na zřetězené příkazy?

  4. Jak udělat základní WATCH s StackExchange.Redis