$unset je prázdný. Musíte zadat pole takto:{$unset:{:...}}

Tuto chybovou zprávu jsem nebyl schopen reprodukovat, ale jak jste viděli, Mongoose aktualizuje pouze pole definovaná ve schématu. Toto výchozí chování však můžete přepsat přidáním parametru strict: false možnost:

groupsModel.update(
    {_id: group._id},
    {$unset: {"moderators": ""}, $set:{"admins": newAdmins}},
    {strict: false}
)