Použijte BINARY klíčové slovo, které vynutí REGEXP aby řetězec odpovídal binárnímu řetězci, což se rozlišuje velká a malá písmena.
SELECT 'a' REGEXP 'A', 'a' REGEXP BINARY 'A';
Ačkoli to není výslovně v dokumentech uvedeno (že to můžete udělat s běžným řetězcem), podle mých zkušeností to funguje podle očekávání.