Archive for the ‘DepSpid’ Category

DepSpid: Frühestens ab Januar 08

Sonntag, Dezember 9th, 2007

Depspid wird frühestens im Januar 2008 wieder anlaufen!


Bjoern Henke (Projektleiter) im Depspid-Forum (Sa 05 Dez, 2007)
:

“The new version of the spider is a complete rewrite of the application. There are three major changes:

1) The way the spider crawls was changed to reduce the load put on crawled servers.
2) The backend database was completely removed and exchanged by native data files to honor the “write to disk at most every x seconds” settings and reduce impact on general host performance.
3) The spider application now is purely the networking, non-cpu-intensive part. (A second applicaion for the cpu-intensive phase will be done after the new spider application is fully running.)

All at all, these changes are dramatic and require very intensive testing phases (after every 1-2 hours of coding there is a 1-3 day testing phase).

The spider already runs very well again but it doesn’t support resuming from checkpoints yet and doesn’t write the final result file. These things obviously need to be ready before putting the new version public.

There will most likely be some very limited public tests (less than 100 WUs) during the next weeks but the project restart isn’t going to take place before January 2008.”

——————————————————————-

Meine (freie-) Übersetzung:
Für die neue Version muß die Anwendung (Spider) vollständig umgeschrieben werden.
Die drei wesentlichen Veränderungen sind:

1) Um die Belastung für die angewählten Web-Server zu vermindern wurde die Arbeitsweise des Spiders verändert.
2) Die Server-Datenbank wurde durch die original (BOINC?-) Datenbank-Dateien ersetzt,
damit die “write to disk at most every x seconds” Einstellung funktioniert.
Dadurch soll der Einfluß (der Depspid Anwendung) auf die allgemeine Host-Performance reduziert werden.
3) Die spider-Anwendung beinhaltet nur noch den Netzwerk (traffic-intensiven) Teil der Arbeit.
Für den CPU-intensiven Teil der Arbeit wird eine zweite Anwendung entwickelt.

Insgesamt sind dies sehr große Veränderungen, die umfangreiche Tests erfordern.
(Auf 1-2 Stunden Entwicklungsarbeit folgen 1-3 Tage dauernde Tests.)

Aktuell läuft der “spider” (in den Tests) schon sehr gut, aber es ist noch kein Checkpointing
integriert - desweiteren wird die Ergebnis-Datei noch nicht geschrieben.
Diese Arbeit muß vor der Veröffentlichung der neuen Anwendung noch geleistet werden.

Es werden wahrscheinlich in den nächsten Wochen sehr kleine öffentliche Testserien hochgeladen (weniger als 100 WUs).
Das Projekt wird aber nicht vor Januar 2007 wieder anlaufen.

Siegfried Niklas (CF Forum)

DepSpid: 24 Std lang keine WUs und keine Credits

Mittwoch, Juni 20th, 2007

Wegen Arbeiten an der Datenbank kann DepSpid für 24 Std. keine neuen WUs ausgeben und keine Credits berechnen.

– Miko –

DepSpid: geplante Auszeit(en)

Mittwoch, Juni 6th, 2007

DepSpid gibt bekannt das die Netzwerkprobleme behoben sind,

und das es in der nächsten Zeit 2 geplante “Auszeiten” geben wird:
Die Erste startet am nächsten Freitag und wird 3 Tage dauern.
Die Zweite beginnt um den 30. Juni und wird 8 bis 10 Tage anhalten.
Während diesen Zeiten wird der DS Server nicht erreichbar sein!

– Miko –

DepSpid: Neue Anwendung

Mittwoch, Mai 30th, 2007

Eine neue Version der DepSpid Anwendung ist erschienen. Die meissten “allgemeiner Fehler -11404″ sollten nicht mehr vorkommen. Die neue Version hilft auch die Gründe für andere Fehler zu finden. Sie packt einige zusätzliche Informationen in die Ergebnisdatei und hat ein paar Einstellungsmöglichkeiten für die Arbeitseinheit (WU) mehr. Eine Komprimierung wurde aktiviert um die Bandbreite beim Ergebnis-Upload zu schonen. Um die Wahrscheinlichkeit für “resource limit exceeded” Fehler mit Win98/ME zu mindern wurden die maximalen flops um den Faktor 1000 erhöht.
Die Phase 1 im Spider Prozess geht nun langsamer und dauert länger.

– Miko –

A new version of the spider application (v5.08) has been released today. This version should fix the most common error -11404 and help to find the reasons for other errors. It adds some useful information to the result file and has a few more configuration parameters in the task file. Output file compression has been enabled to lower the bandwidth needed for result uploads. To lower the chance of “resource limit exceeded” errors on Win98/ME the maximum flops have been increased by a factor of 1000 because these systems can’t measure the CPU time and instead report wall clock time. Phase 1 of the spider process now runs much slower (and therefore longer) to avoid doing harm to visited domains due to high load.
– DepSpid –

DepSpid - Netzwerkverbindung kaputt

Dienstag, Mai 22nd, 2007

Wärend der letzten paar Wochen wurde die Internetverbindung zum Projektserver oft aus unbekannten Gründen unterbrochen. Es wurde schlimmer und selbst der ISP (Internet Service Provider) hatte keine Ahnung warum.
Es wird ausprobiert ob es an den Netzwerkkabeln, dem DSK Modem oder am Router liegt.
Bis ein normaler betrieb der Netzwerkverbindung wieder her gestellt werden kann wird der Projektserver die meiste Zeit offline sein und es werden keine Arbeitseinheiten (WUs) ausgegeben werden können.
In der Zwischenzeit wird eine neue Version der Projektanwendung fertiggestellt und getestet.
Wenn der Provider in der Lage ist die Ursache für das Problem schnell zu finden könnte der normale betrieb nächste Woche wieder aufgenommen werden.

– Miko –

During the last few weeks the internet connection of the project server was interrupted many times for an unknown reason. Things got worse in the last few days and my ISP doesn’t yet have an idea what’s causing the problems. For testing purposes network cables needed to be reorganized, the DSL modem was exchanged and the router had to be disabled. Until normal network connectivity can be restored, the project server will stay offline most of the time and there will be no new tasks available. Meanwhile a new version of the spider application is being prepared and tested. If the ISP is able to find the reason for the troubles soon, normal operation should be reestablished next week.

– DepSpid