BIGINT UNSIGNED je bez znaménka a nemůže být záporné.
Váš výraz ABS(lektoren.baum2.id - 6) použije zápornou střední hodnotu, pokud je id menší než 6.
Pravděpodobně starší verze implicitně převedeny na PODPÍNANÉ. Musíte provést obsazení.
Zkuste
ORDER BY ABS(CAST(lectoren.baum2.id AS SIGNED) - 6)