proč mi to dává špatné customerNumber?

Nemyslím si, že zde poddotaz potřebujete:

SELECT p.customerNumber, MAX(p.amount) AS max
FROM payments p
GROUP BY p.customerNumber
ORDER BY max DESC
LIMIT 1