Nevím, proč to najednou běží pomaleji, ale doporučuji převést na spojení, které by mělo fungovat lépe:
SELECT t.*
FROM temp_company t
LEFT JOIN company c ON c.number = t.number
WHERE c.number is null
Toto je poměrně standardní způsob řešení not in (...)
přes spojení a funguje, protože vnější spojení nefungují shoda má ve sloupcích spojené tabulky nuly.