Našel jsem řešení.
S UPDATE dotaz můžeme načíst původní hodnotu z databáze, přetypovat ji znovu na int, hex a unhex ji (lze to ještě zkrátit?) a dostaneme správnou binární hodnotu v databázi.
UPDATE table SET ip = UNHEX(HEX(CAST(ip AS UNSIGNED)))