Podařilo se mi spojit s:
tunnel = sshtunnel.SSHTunnelForwarder((ssh_host, 22), ssh_password=ssh_password, ssh_username=ssh_username,
remote_bind_address=('localhost', 3306))
tunnel.start()
Rozdíl byl zřejmě v tom, nechat tunel otevřený namísto použití příkazu 'with', i když nerozumím tomu, co se vlastně stalo, a ocenil bych vysvětlení.