sql >> Databáze >  >> RDS >> Mysql

Nastavení připojení Kafka pro odeslání záznamu z Aurory pomocí AWS MSK

Ne. Schémata můžete povolit v záznamech json. Zdroj JDBC je může vytvořit za vás na základě informací v tabulce

value.converter=org.apache.kafka...JsonConverter 
value.converter.schemas.enable=true

Pokud chcete použít Registr Schema, měli byste používat kafkastore.bootstrap.servers .s Kafkovou adresou, ne Zookeeperem. Odstraňte tedy kafkastore.connection.url

Prosím přečtěte si dokumenty pro vysvětlení všech vlastností

Na tom nezáleží. Téma schémat se vytvoří při prvním spuštění registru

Ano (ignoruje se dostupný prostor haldy JVM). Opět je to podrobně popsáno v dokumentaci Kafka Connect.

V samostatném režimu nejprve předáte konfiguraci connect worker a poté až N vlastnosti konektoru jedním příkazem

V distribuovaném režimu používáte Kafka Connect REST API

https://docs.confluent.io/current/connect/managing/configuring .html

Za prvé, je to pro Sqlite, ne pro Mysql/Postgres. Nemusíte používat soubory rychlého startu, jsou zde pouze pro referenci

Všechny vlastnosti jsou opět dobře zdokumentovány

https://docs.confluent.io /current/connect/kafka-connect-jdbc/index.html#connect-jdbc

Zde je více informací o tom, jak to můžete ladit

https://www.confluent.io/ blog/kafka-connect-deep-dive-jdbc-source-connector/

Jak bylo uvedeno dříve, osobně bych doporučil používat Debezium/CDC tam, kde je to možné

Debezium Connector pro RDS Aurora



  1. Odkazování na hodnotu asociativního pole z PDO::FETCH_ASSOC

  2. Jak mohu vybrat všechna data z tabulky s podmínkou?

  3. Jak odečíst aktuální datum a čas od data a času v databázi - PHP

  4. Používá se COUNT v GROUP_CONCAT