AKTUALIZACE:2. čtvrtletí 2017 :Zahrnuté ovladače JDBC a ODBC a čekající na nativní zpracování JSON mohou učinit připojení rychlejší a bezproblémovější než přístup uvedený níže. Y Můžete také použít edici Hadoop IRI Voracity k přímému maskování dat v HDFS. Data exportovaná níže uvedeným způsobem do plochého souboru v HDFS lze maskovat na úrovni pole z modulu FieldShield Voracity stejným způsobem, který je znázorněn níže, prostřednictvím MapReduce2, Spark, Spark Stream, Storm nebo Tez bez dalšího kódování.
AKTUALIZACE:Q3’19 :V IRI DarkShield jsou nyní dostupné nativní konektory pro Cassandru a MongoDB, které nevyžadují kroky exportu/masky/importu a dokážou zpracovat polostrukturovaná a nestrukturovaná data shromažďování. Stejně jako FieldShield je i DarkShield k dispozici (součástí) v rámci předplatného platformy Voracity. Viz tento článek s návodem pro nalezení a maskování PII plovoucí v Cassandra NoSQL DBs. Pokud máte zájem naplnit Cassandru syntetickými testovacími daty, přečtěte si tento článek.
DataStax / Cassandra nemůže maskovat konkrétní sloupce, aby zabránila neoprávněným uživatelům v zobrazení informací umožňujících zjištění totožnosti (PII). V tomto článku si ukážeme, jak exportovat data z databáze Cassandra do souboru CSV a použít produkt IRI FieldShield (k dispozici také na platformě IRI Voracity) k náhodnému rozdělení, maskování a šifrování dat v tomto souboru CSV. Poté tato data importujeme zpět do Cassandry, aktualizovaná a chráněná. Další článek je plánován po uvolnění přímějšího připojení IRI k DB.
V našem příkladu máme tabulku s informacemi o studentech v DataStax. Sloupce jsou:id_num (primární klíč), vyznamenání, semestrální_hodiny, socsecnum (číslo sociálního pojištění) a user_id.
Abychom odhalili identifikaci každého studenta, náhodně určíme jeho semestrální_hodiny, zakryjeme jeho socsecnum a zašifrujeme hodnotu user_id, aby byly osobní údaje každého studenta chráněny.
Nechráněná data v Cassandře
Pro naše příklady příkazového řádku používáme prostředí DataStax Cassandra CQL.
Export tabulky Cassandra do souboru CSV
Chcete-li exportovat tabulku Cassandra do souboru CSV, spusťte v shellu Cassandra CQL následující příkaz:
COPY <Exporting Table> TO '<File Path to the CSV you exporting to>' WITH HEADER=TRUE;
Otevření a definování zdroje CSV
- Na horním panelu nástrojů grafického uživatelského rozhraní IRI Workbench pro FieldShield (postaveno na Eclipse) najděte ikonu FieldShield a výběrem možnosti New Protect Job spusťte průvodce. Soubor úlohy pojmenujte „CassShieldJob.fcl“ a klikněte na „Další“.
- Klikněte na „Přidat zdroj dat“ a poté na „Procházet“ k souboru CSV, který jste vytvořili pomocí exportu. Poté klikněte na „OK“.
- Klikněte na ‚Discover Metadata‘, pojmenujte (opakovaně použitelný soubor definic dat) „StudentsMeta.ddf“ a klikněte na tlačítko „Další“. Klikněte na „Ano“ pro automatickou detekci a „Získat názvy polí z řádku záhlaví“ a poté klikněte na „OK“ a poté na „Dokončit“.
- Nyní byste měli vidět svá pole v seznamu zdrojů dat. Klikněte na „Další“.
Použití ochran
- Klikněte na „Přidat cíl dat“ a procházením vytvořte nový cíl souboru CSV, který bude obsahovat chráněnou verzi dat (nebo pro přepsání zdroje použijte stejnou cestu/soubor. Poté klikněte na „Cílové pole“. Layout', chcete-li zkontrolovat rozvržení a použít ochrany na výstupní pole. Existují dva seznamy; horní zobrazuje zdrojová pole a dolní zobrazuje cílová pole, na která pole „štíty“ použijete.
- Randomize semester_hours: V cílovém panelu vyberte název pole semester_hours a klikněte na „Ochrana pole.“ Vyberte Generování náhodné hodnoty a jako typ vyberte Digit. Nastavte náhodné minimální a maximální velikosti na 2 a klikněte na OK.
- Maskovat socsecnum:Vyberte pole socsecnum a znovu klikněte na „Ochrana pole“. Vyberte možnost Maskování a vyberte výchozí možnost SSN USA, aby se zobrazily pouze poslední čtyři číslice SSN. Klikněte na „OK“.
- Šifrovat user_id:Vyberte user_id a znovu klikněte na „Ochrana pole“. Vyberte Šifrování a dešifrování a vyberte enc_fp_aes256_alphanum pro zachování formátu šifrování. Zadejte přístupovou frázi (dešifrovací klíč) a do pole Vyloučit zadejte „Uživatel_“, abyste zabránili zašifrování části User_ našeho uživatelského jména. Poté klikněte na „Dokončit“.
- Pole, která mají být chráněna, by měla vypadat takto:
Kliknutím na „OK“ a poté na „Dokončit“ zobrazíte skutečný (spustitelný úkol) skript vytvořený pro vás:
Spusťte úlohu v IRI Workbench nebo na příkazovém řádku,
fieldshield /spec=CassShieldJob.fcl
Soubor CSV, který jste vytvořili, bude obsahovat nová maskovaná a šifrovaná data.
Import chráněných dat do Cassandry
Chcete-li importovat změněná data zpět do Cassandry, použijte v shellu Cassandra CQL následující příkaz:
COPY <Table you are importing data to> (field1fromCSV, field2fromCSV, ...) FROM '<Path to CSV>';
Chráněná data v Cassandře
Podrobnosti o možnostech FieldShield najdete na http://www.iri.com/products/fieldshield/technical-details.