Mechanismus zum Zurücksetzen von Jobs in der Queue

[marians]

Wenn der Scraper während der Arbeit abgebrochen wird (z.B. mit Ctrl-C) bleiben Jobs IN_PROGRESS in der Queue zurück.

Ruft man danach den Scraper wieder auf, werden die Jobs IN_PROGRESS übergangen, weil diese ja schon als "vergeben" gelten.

Lösungsmöglichkeiten

• Eine spezielle Option für den Scraper-Aufruf, die bewirkt, dass Jobs mit status=IN_PROGRESS zurückgesetzt wieder auf OPEN gesetzt werden.
• Ein kleines Script, das diese Jobs nach einer Weile zurücksetzt. Dabei sollte der failures Wert um 1 erhöht werden.

[marians]

Hier ein Aufruf, der obiges erledigt:

db.queue.update(
    { status: "IN_PROGRESS" },
    { 
        $set: { status: "OPEN"},
        $inc: { failures : 1 }
    },
    { multi: true }
);