K tomu může dojít, pokud kontejner vaší aplikace (web zde) se spustí před úplnou inicializací databáze.
Musíte počkat do db služba je spuštěna (přesněji do mysql přijímá připojení) před spuštěním vaší aplikace (python manage.py makemigrations && python manage.py migrate && python manage.py runserver 0.0.0.0:8000 ).
K tomu můžete použít wait-for-it.sh skript (zkontrolujte https://docs.docker.com/compose/startup-order/ ) před spuštěním příkazů pythonu. Případně můžete použít zásady restartování na vašem web služba (https://docs.docker.com/compose/compose-file/ #restart_policy
), aby se služba automaticky restartovala (dokud nebude databáze spuštěna).