Myslím, že aus_lacy je ve svém řešení trochu mimo - nejprve musíte převést QuerySet na řetězec obsahující SQL podporující QuerySet
from django.db import connection
query = str(ModelToRetrive.objects.all().query)
df = pandas.read_sql_query(query, connection)
Existuje také méně efektivní, ale stále platné řešení:
df = DataFrame(list(ModelToRetrive.objects.values('id','some_attribute_1','some_attribute_2')))