Budou všechny vložky provedené při použití LOAD DATA INFILE vráceny zpět, pokud selže?

MySQL v režimu auto-commit (výchozí) se snaží zabalit každý jednotlivý příkaz do vlastní transakce.

Pokud používáte InnoDB, pak ano
Pokud používáte MyISAM, pak ne