Nemyslím si, že je nějaký problém s .populate('adminInfo.adminId')
metoda.
jste si jisti, že ref pole je v CamelCase .
Pokud ne, zkuste změnit pole ref ->
adminInfo: {
_id: false,
adminId: [{
type: Schema.Types.ObjectId,
ref: 'user'
}]
}