Narazil jsem na tento problém s kontejnerem debianu. Opravilo to instalaci každého balíčku samostatnými příkazy. Takže místo
RUN apt-get install -y python-pip libmysqlclient-dev
udělat
RUN apt-get install -y python-pip
RUN apt-get install -y libmysqlclient-dev