Otázkou je, jak normalizovat data, když očekáváte, že budou duplikáty. A pak se vyvarujte „vypalování“ ID.
http://mysql.rjweb.org/doc.php/staging_table#normalization popisuje proces ve dvou krocích a je zaměřen na hromadné aktualizace díky vysokorychlostnímu příjmu řádků. Zvrhne se na jeden řádek, ale stále vyžaduje 2 kroky.
Krok 1 INSERTs jakékoli nové řádků, čímž se vytvoří nová auto_inc id.
Krok 2 hromadně stáhne ID.
Všimněte si, že práce se nejlépe provádí s autocommit=ON a mimo hlavní transakci, která načítá data. Vyhnete se tak dalšímu důvodu pro vypalování ID, konkrétně potenciálnímu vrácení zpět.