Neměli byste sami přidávat uvozovky kolem ? zástupný symbol. Odstraňte je.
Měli byste také předat pole, nikoli řetězec. Za předpokladu, že se jedná o čistý řetězec, stačí použít split .
connection.query(
"delete from userFiles where type = 1 and typeId = " + taskId +
" and fileName NOT IN (?) ", [oldFileNames.split(/,\s*/)],
function (err, rows) {