Hledal jsem na webu řešení, ale žádné jsem nenašel, takže jsme přišli na toto (možná existují lepší způsoby, ale alespoň toto je začátek, pokud se s tím setká někdo jiný).
Zadejte dtype parametr v to_sql .
Přešli jsme z:df.to_sql(table_name, analytics_db) na df.to_sql(table_name, analytics_db, dtype={'name_of_json_column_in_source_table': sqlalchemy.types.JSON}) a prostě to funguje.