Myslím, že $caption je pole, takže váš kód by měl vypadat takto
while($rows = mysql_fetch_array($new_captions)){
$caption[] = $rows;
}
EDIT:
Vaše smyčka foreach je také chybná.
Vaše proměnná je $rows, nikoli $caption.
<div id="set_caption" style="width:<?php echo $rows['width'];?>px; height:<?php echo $rows['height'];?>px; left:<?php echo $rows['posleft'];?>px; top:<?php echo $rows['postop'];?>px;"><?php echo $rows['text'];?></div>
<?php } ?>