máme naši mongo DB, která ukládá data JSON. Chtěli jsme migrovat data na Redshift pro některé účely dotazování.
Použili jsme mongoexport csv k vytvoření csv z mongo tabulky a nahráli jsme ho do S3. Vytvořili jsme odpovídající relační schéma v Redshift a použili jsme kopírovací příkazy k načtení těchto csv dat z s3 do redshift.
Můžeme použít java apis k dotazování mongo a vytvářet a nahrávat csv do s3. Totéž lze načíst do červeného posuvu.
Skutečným problémem je, že protože používáme mongo (json) nebo NoSQL, můžeme mít různý počet sloupců pro daný objekt, který patří do stejné tabulky (jako my JSON), ale v Redshift máme pevný počet sloupců na tabulku, takže v takových případech potřeba vytvořit všechny možné sloupce a načíst data. Pro ty objekty, které nemají všechny sloupce, pro ně můžeme naplnit hodnoty null.