Zobrazuje se duplicate key error protože již existuje omezení s názvem ISBN přítomen v databázi podle vaší první alter prohlášení author tabulka
alter table author add constraint ISBN foreign key (ISBN) references book (ISBN);
Zkuste pro omezení v Publisher použít jiný název tabulka
alter table publisher add constraint ISBN1
foreign key (ISBN) references book (ISBN);