Opravdu snadný způsob, jak toho dosáhnout, je přidat UNIQUE index na 3 sloupcích. Když napíšete ALTER zahrnout IGNORE klíčové slovo. Asi takhle:
ALTER IGNORE TABLE jobs
ADD UNIQUE INDEX idx_name (site_id, title, company);
Tím se odstraní všechny duplicitní řádky. Další výhodou jsou budoucí INSERTs které jsou duplikáty, dojde k chybě. Jako vždy si možná budete chtít udělat zálohu, než spustíte něco takového...