Viděli jste projekt NHibernate.Spatial ? To může poskytnout snadné řešení vašeho problému.
Alternativou je vytvoření vlastní implementace ICriterion - to není příliš složité, pokud odvozujete z AbstractCriterion a zacílíte na vaši konkrétní databázovou platformu. To by vám pak umožnilo kombinovat vaši funkci vzdálenosti s dalšími kritérii.