sql >> Databáze >  >> RDS >> Mysql

Dotazování na relační databázi prostřednictvím Google DataFlow Transformer

Ano, je to možné. Objekt Connection můžete nastavit jako přechodný, aby nebyl serializován, a vytvořit jej jednou za balíček prostřednictvím startBundle metoda. Jakmile jsou všechny prvky ve svazku zpracovány, lze spojení uzavřít pomocí finishBundle metoda.

class MyDoFn extends DoFn<X, Y> {
  private transient Connection jdbc;

  @Setup
  public void setup(Context c) {
    jdbc = // Create connection
  }

  @ProcessElement
  public void processElement(ProcessContext c) {
    // query database
  }

  @Teardown
  public void tearDown(Context c) {
    // close connection
  }
}


  1. Dotazy Postgres v produkci vedou k abnormálně vysokému I/O čtení z disku

  2. SqlAlchemy:Dotazování na pole délky json s polem

  3. jakýkoli způsob, jak vytvořit parametrizované dotazy a zapouzdřit to python ve funkci

  4. Jak navrhnout schéma databáze pro ukládání textu ve více jazycích?