Bohužel to, co požadujete, není s Eloquent možné.
Dotaz eager-load je zcela oddělený od počátečního dotazu, takže žádné načtené hodnoty již nejsou dostupné.
Vaše možnosti jsou buď provést spojení ve vašem omezení (které jste uvedli, že nemusí být výkonné), nebo načíst všechny související modely a poté je seřadit/filtrovat pomocí PHP.