Depspid wird frühestens im Januar 2008 wieder anlaufen!
Bjoern Henke (Projektleiter) im Depspid-Forum (Sa 05 Dez, 2007):
“The new version of the spider is a complete rewrite of the application. There are three major changes:
1) The way the spider crawls was changed to reduce the load put on crawled servers.
2) The backend database was completely removed and exchanged by native data files to honor the “write to disk at most every x seconds” settings and reduce impact on general host performance.
3) The spider application now is purely the networking, non-cpu-intensive part. (A second applicaion for the cpu-intensive phase will be done after the new spider application is fully running.)
All at all, these changes are dramatic and require very intensive testing phases (after every 1-2 hours of coding there is a 1-3 day testing phase).
The spider already runs very well again but it doesn’t support resuming from checkpoints yet and doesn’t write the final result file. These things obviously need to be ready before putting the new version public.
There will most likely be some very limited public tests (less than 100 WUs) during the next weeks but the project restart isn’t going to take place before January 2008.”
——————————————————————-
Meine (freie-) Übersetzung:
Für die neue Version muß die Anwendung (Spider) vollständig umgeschrieben werden.
Die drei wesentlichen Veränderungen sind:
1) Um die Belastung für die angewählten Web-Server zu vermindern wurde die Arbeitsweise des Spiders verändert.
2) Die Server-Datenbank wurde durch die original (BOINC?-) Datenbank-Dateien ersetzt,
damit die “write to disk at most every x seconds” Einstellung funktioniert.
Dadurch soll der Einfluß (der Depspid Anwendung) auf die allgemeine Host-Performance reduziert werden.
3) Die spider-Anwendung beinhaltet nur noch den Netzwerk (traffic-intensiven) Teil der Arbeit.
Für den CPU-intensiven Teil der Arbeit wird eine zweite Anwendung entwickelt.
Insgesamt sind dies sehr große Veränderungen, die umfangreiche Tests erfordern.
(Auf 1-2 Stunden Entwicklungsarbeit folgen 1-3 Tage dauernde Tests.)
Aktuell läuft der “spider” (in den Tests) schon sehr gut, aber es ist noch kein Checkpointing
integriert - desweiteren wird die Ergebnis-Datei noch nicht geschrieben.
Diese Arbeit muß vor der Veröffentlichung der neuen Anwendung noch geleistet werden.
Es werden wahrscheinlich in den nächsten Wochen sehr kleine öffentliche Testserien hochgeladen (weniger als 100 WUs).
Das Projekt wird aber nicht vor Januar 2007 wieder anlaufen.
– Siegfried Niklas (CF Forum) –
