Zdá se, že své seznamy přepisujete, místo abyste je k nim připojovali, když to uděláte:
for site in sites:
items = [site.select('//h2').extract()]
item = [site.select('//h3').extract()]
meta = [site.select('//meta').extract()]
Myslím, že byste to možná chtěli změnit na:
for site in sites:
items.append(site.select('//h2').extract())
item.append(site.select('//h3').extract())
meta.append(site.select('//meta').extract())