python-rq worker se automaticky zavře

Dobře, přišel jsem na problém. Bylo to kvůli vypršení časového limitu pracovníka.

try:
  --my code goes here--
except Exception, ex:
  self.error += 1
  with open("error.txt", "a") as myfile:
     myfile.write('\n%s' % sys.exc_info()[0] + "{}".format(self.url))
  pass

Takže podle mého kódu je další doména vyřazena z fronty, pokud je z každé domény načteno 200 adres URL. U některých domén však nebyl dostatečný počet adres URL pro ukončení podmínky (například pouze 1 nebo 2 adresy URL).

Protože kód zachytí všechny výjimky a připojí se k error.txt soubor. Dokonce i výjimka časového limitu rq rq.timeouts.JobTimeoutException byl zachycen a byl připojen k souboru. Pracovník tak bude čekat na x množství času, které vede k ukončení pracovního poměru pracovníka.