No, během hodiny od zveřejnění mého dotazu jsem na to už přišel. Možná jsem si měl před odesláním udělat trochu podrobnější průzkum.
Problém je v tom, že sqlalchemy je třeba nakonfigurovat tak, aby používala kódování utf-8. Řešením ve výše uvedeném kódu by bylo změnit řádek 3 na:
engine = create_engine('mysql://root:@localhost/testdb?charset=utf8', encoding = 'utf-8')