Jen pro ty jako já, kteří googlují a snaží se najít řešení pro laravel 5.4 . Můžete použít -> operátor pro extrakci JSON, který se rovná json_extract nebo do column->"$.key" syntax.
$users->orderBy('column->key', 'desc');
Vypadá to, že by to bylo koncem roku 2013 velmi užitečné (úsměv).