V ORDER BY můžete použít výraz. Zkuste toto:
SELECT *
FROM comments
ORDER BY IF(ParentId = 0, Id, ParentId), Id
Toto se nejprve seřadí podle Id, pokud ParentId =0, nebo jinak podle ParentId. Druhým kritériem řazení je ID, aby bylo zajištěno, že odpovědi budou vráceny v pořadí.