Podle chyby, kterou jste zaslali, bych odhadl, že máte nějakou chybějící závislost na mysql.
_mysql.c:44:10: fatal error: my_config.h: No such file or directory
44 | #include "my_config.h"
| ^~~~~~~~~~~~~
Při pohledu na stránku github pro mysqlclient byste možná mohli zkusit spustit:
sudo apt-get install python3-dev default-libmysqlclient-dev build-essential
Podle mých zkušeností chybí .h soubor obecně znamená, že ve vašem počítači chybí vývojová knihovna, kterou rozšíření python potřebuje