Thema: NNTPdefrag.R32

[Plastic]

R32: danke,
       heast... Du bist einfach a woansinn....

Ich habe das neues Tool „NNTPdefrag.R32_1.02“ getestet, es funktioniert sehr Gut.
Beim vergleich mit „nntp_c.pl“ ist mir aufgefallen, dass Daten mit folgenden Kopf nicht ausgegeben werden!

----------------
   
222 2125_831 <part303of421.$wGbyA_Jsumpm2fQrE2x_p_werpost2000AA.local>

=ybegin part=303 line=128 size=104857600 name=Epitafi_s_4.part42.rar
=ypart begin=75379201 end=75628800


 ----------   oder  --------


222 19_06251 <tsSdnbhhiY3gJY_YRVny2w_gigan_ws.c_m> body

=ybegin part=106 line=128 size=50000000 name=et-_kami.r63
=ypart begin=26208001 end=26457600


Diese Dateien werden mit dem Perl-Script immer als „0000.m“ bis „9999.m“ gespeichert.


SkyNet.R32_1.14 habe ich mit nntp gestestet:
nntp werden in eine eigenes Verzeichnis abgelegt, funktioniert, Danke R32.
Leider werden einige nntp-Files noch immer mit Leerzeichen voll geschrieben, am Anfang sind einige Daten, danach nichts mehr
(Dateigröße ca 1GB und ausbeute 5MB)!

Auf 8°W 11261000 und 11222000 getestet.

Gruß
plastic

[R32]

Hi Plastic,

vielen Dank! Ich bin ja direkt rot geworden.

Und nochmal danke schön für die top Fehlermeldung. Ich baue es in die nächste Version von NNTPdefrag ein.
19,2 bietet leider nicht soviel Testmöglichkeiten bzgl. NNTP. Sonst wäre es mir vielleicht auch schon aufgefallen.
Kannst Du ungefähr sagen, wie hoch der Anteil der "222 2125_831 <part3 ..." Dateien an der Gesamternte ist?

Die 1GB-Problematik in SkyNet.R32 sehe ich mir auch nochmal gezielt an.

Thanx und schönen Abend!



P.S. Immer her mit derartigem (Plastic-)Lob und solchen konkreten Fehlermeldungen und Verbesserungsvorschlägen.

[Orlogri]

Das mit den knapp 1GB großen nntp-Files, die leer sind, kann ich bestätigen. Bereits wenige Minuten nach dem Start von SkyNet.R32_1.14, hat er auf 8°W mehrere solcher Dinger angelegt, weshalb ich abgebrochen und nochmal SkynetX ausprobiert habe. IIRC haben aber auch andere (relativ neue) Skynet-Versionen schon mal dieses Verhalten an den Tag gelegt.

Mit SkynetX funktionierte die Sache allerdings ebenfalls alles andere als zufriedenstellend, da die Ausbeute im Zusammenspiel mit NNTPdefrag.R32 und Uud32 vielleicht ein Zehntel gegenüber HTTP betrug, wobei ich erfolgreich dekodierte Archivfragmente, mit denen ich wenig anfangen kann, als korrekt anrechne. Bei einem Testlauf mit 20GB an Daten blieb NNTPdefrag mehrere Male an einzelnen Files hängen (leider schon gelöscht), was aber durchaus am Datenmaterial von SkynetX liegen könnte.

Also das aus meiner Warte gewohnt enttäuschende Ergebnis bei Experimenten mit dem Usenet - HTTP funktioniert hingegen wunderbar.

[Plastic]

Hallo R32,

wenn Du die Arbeit mit der Programmierung machst , bin ich gerne bereit die Tools zu testen!
Leider fehlt uns allen die Zeit um sofort zu testen!!

Werde einige Dateien mit nntp_c.pl und mit "NNTPdefrag.R32_1.02" durchlaufen lassen und gebe Dir bescheid.

Gruß, plastic

[mtron]

Hallo R32!

Nur falls du den Eindruck hast, niemand interessiert sich für die Linux Version, dem ist nicht so  . Wäre schön wenn der Pinguin auch mit der neuen Version grabben kann.

Cheers mtron

[Plastic]

Hallo R32,

ich habe jetzt einen Vergleichstest gemacht mit 1,44 GB Daten (= 322 nntp Dateien).
Für die Erzeugung der nntp-Dateien hatte ich "skynet 0.897b6sbf0_16b_debug" verwendet!

mit nntp_c.pl  ..................  3.162 Dateien erhalten
mit NNTPdefrag.R32_1.02 ...  2.908 Dateien ( Einstellung geändert in der *.bat: -s 2 )

Bei 2 Dateien hatte ich eine Fehlermeldung "NNTPdefrag.R32 hat ein Problem festgestellt und muss beendet werden".

Bei diesen Dateien könnte folgendes Problem die Ursache des Absturzes sein:


=yend size=384000 part=34 pcrc32=8d4fdd62
.
220 0 <12h_sd7su2f288c_c_rp.supernews.c_m> article retrieved - head and b_dy follow
Path: sn-us!sn-feed-sjc-01!sn-post-sjc-01!supernews.c_m!c_rp.supernews.c_m!n_t-f_r-mail
From: Yenc_power-p_st._rg (b_tman2)
Newsgroups: alt.bin_ries.m_m
Subject: ( Klick xvid g_rman b_tman2 b
                                                                                                                         
             €¡)Šî@F?(°eÓLy@o‚™å+˜úé‰ÁÕ+]‡”
!=@Æ'šr®GîÕ.......

   _ ... sind geänderte Zeichen!

Im "Subject" steht nur ein Teil des Namen und danach einige 100 Leerzeichen (gehe davon aus, dass dieses zu lange  für einen Dateinamen ist, oder ).

Gruß, plastic

[R32]

Hi Plastic,

danke für die Tests.

mit nntp_c.pl  ..................  3.162 Dateien erhalten
mit NNTPdefrag.R32_1.02 ...  2.908 Dateien ( Einstellung geändert in der *.bat: -s 2 )

Hast Du mal untersucht, welche Dateien bei NNTPdefrag fehlen?
Sind das evtl. die von Dir schon erwähnten Dateien mit dem "222" Header?

Bei 2 Dateien hatte ich eine Fehlermeldung "NNTPdefrag.R32 hat ein Problem festgestellt und muss beendet werden".
...
Im "Subject" steht nur ein Teil des Namen und danach einige 100 Leerzeichen (gehe davon aus, dass dieses zu lange  für einen Dateinamen ist, oder ).

Das sollte eigentlich kein Problem sein. Es werden auch nur die ersten 200 Zeichen verwendet, genau wie im Perl-Skript.
Evtl. könnte der Gesamtpfad zu lang werden. In welchem Unterverzeichnis legst Du die Konvertierungsergebnisse ab  (Parameter -o)?

Wäre nett, wenn Du (oder auch jemand anderes) eine Datei, bei der NNTPDefrag abstürzt, für mich auf rapidshare legen könntest. Kleiner Tipp: Die letzte erfolgreich bearbeitete Datei wurde umbenannt in *.nntp_.  Die Absturzdatei heißt noch *.nntp.

Danke und Gruß,
R32

[Plastic]

Hallo R32,

Hast Du mal untersucht, welche Dateien bei NNTPdefrag fehlen?
Sind das evtl. die von Dir schon erwähnten Dateien mit dem "222" Header?

Ja

Das sollte eigentlich kein Problem sein. Es werden auch nur die ersten 200 Zeichen verwendet, genau wie im Perl-Skript.
Evtl. könnte der Gesamtpfad zu lang werden. In welchem Unterverzeichnis legst Du die Konvertierungsergebnisse ab  (Parameter -o)?

@echo off
set nntp_in_dir=e:\nntp\nntp
set nntp_out_dir=e:\nntp\nntp_converted.R32
set result_dir=e:\nntp\result.R32

NNTPdefrag.R32.exe -i %nntp_in_dir% -o %nntp_out_dir% -x nntp -e uud -s 2

rem Uud32.exe /d "%nntp_out_dir%\*.uud" /P "%result_dir%" /o N /g

pause

Wäre nett, wenn Du (oder auch jemand anderes) eine Datei, bei der NNTPDefrag abstürzt, für mich auf rapidshare legen könntest. Kleiner Tipp: Die letzte erfolgreich bearbeitete Datei wurde umbenannt in *.nntp_.  Die Absturzdatei heißt noch *.nntp.

werde ich heute Abend machen, wir etwas Zeit benötigen, habe leider nur ein Modemverbindung!

Danke für Deine Programmierarbeit und allen die testen,
Gruß, plastic

[Plastic]

Hallo R32,

Datei mit Fehler/Absturz mit NNTPDefrag.R32.1.02 hochgeladen auf
http://rapidshare.de/files/35751010/nntp_Fehler.rar

Danke und viel Erfolg bei der Optimierung des Tools,
Plastic

[R32]

Hier ist das Resultat: h**p://rapidshare.de/files/35767207/NNTPdefrag.R32_1.03_Windows.rar


Changes

1.03 - 2006/10/07
-----------------

- Auch Header, die mit "222 ..." beginnen, sollten nun erkannt werden.
  [Danke an Plastic für die Test Cases!]

- Bugfix für Absturz: ASCII Zeichen im Namen der UUD-Datei von 0-39 und 127-255 werden gelöscht.
  [Danke an Plastic und bigobelix für die Test Cases!]
 
- Noname UUD Dateien wird nicht mehr '_' angehängt.
  Stattdessen wird noname_0000.uud, noname_0001.uud ... erzeugt.

[Plastic]

Danke R32,
wird getestet! Info folgt.
Gute Nacht,
plastic

[bigobelix]

so, habe mal getestet:

Ausgang waren 1.275GB

Ergebnis:
nntp roh: nur Müll, 15,xxxMB Dateien statt 15,000MB
perl:   223 Datei(en)    255.145.312 Bytes
1.02:  221 Datei(en)    254.803.787 Bytes
1.03:  312 Datei(en)    784.585.169 Bytes

Tolle Leistung, weiter so und danke!

bigobelix

[bigobelix]

fast vergessen, der Wermutstropfen ist, es dauert nun viel länger, was ja logisch ist bei der Ausbeute...
mein X2 4200+ schwankt bei 5-30% Auslastung, gehts bitte noch schneller? 

bigobelix

[R32]

so, habe mal getestet:

Ausgang waren 1.275GB

Ergebnis:
nntp roh: nur Müll, 15,xxxMB Dateien statt 15,000MB
perl:   223 Datei(en)    255.145.312 Bytes
1.02:  221 Datei(en)    254.803.787 Bytes
1.03:  312 Datei(en)    784.585.169 Bytes

Tolle Leistung, weiter so und danke!

bigobelix

Danke, die quantitative Betrachtung spricht ja schonmal Bände ...
Wie sieht's denn mit der Qualität der erzeugten Dateien aus? Nur Müll ... oder alles okay?

fast vergessen, der Wermutstropfen ist, es dauert nun viel länger, was ja logisch ist bei der Ausbeute...
mein X2 4200+ schwankt bei 5-30% Auslastung, gehts bitte noch schneller? 

Da Du ja eine Doppelkern-CPU hast ...
Hast Du mal probiert, die NNTP Files in 2 Verzeichnisse aufzuteilen und anschließend NNTPdefrag 2 mal zu starten?
Da das Programm (bisher) Single Threaded ist, müßte sich die Auspackzeit doch mindestens halbieren.
War nur so eine Idee ...

Gruß,
R32

 

[bigobelix]

Hi R32,

ich sag mal nur soviel, mit der neuen Version konnte ich gestern Abend einen Film schauen, mit den anderen wäre es nicht möglich gewesen.

Du hast recht, ich werde heute 2mal starten und je eine CPU zuordnen. Mal sehen, ob es erheblich schneller wird.

Leider ist mein HDD-Speed auf ca. 20MB/s beschränkt durch Drivecrypt. Ohne dem wäre es sicherlich auch noch viel schneller. Aber dann könnte ich nicht mehr ruhig schlafen... 

bigobelix