Nejprve bych se zeptal, proč máte sloupec varchar, který je třeba považovat za číselný, ale nevadí.
Můžete použít extra
metoda queryset pro převod vašeho řetězce:
MyTable.objects.extra(select={'int_name': 'CAST(t.name AS INTEGER)'},
order_by=['int_name'])