Problém jsem vyřešil.
Nejprve jsem přidal NLS_LANG=.AL32UTF8
jako proměnná prostředí v systému, kde je nainstalován Oracle. Zadruhé jsem předal parametr kódování a nencoding ve funkci connect cx_Oracle, jak je uvedeno níže.
cx_Oracle.connect(username, password, connection_string,
encoding="UTF-8", nencoding="UTF-8")
Tento problém je také diskutován zde na https://github.com/oracle/python- cx_Oracle/issues/157