DVB-Cube <<< Das deutsche PC und DVB-Forum >>>
Info Corner / Internet-via-Sat, Datendienste / IPTV / Videoportale / Internet TV & Radio => # Internet-via-Sat, Datendienste => Thema gestartet von: Plastic am 03 Oktober, 2006, 16:41
-
R32: danke,
heast... Du bist einfach a woansinn....
Ich habe das neues Tool „NNTPdefrag.R32_1.02“ getestet, es funktioniert sehr Gut.
Beim vergleich mit „nntp_c.pl“ ist mir aufgefallen, dass Daten mit folgenden Kopf nicht ausgegeben werden!
----------------
222 2125_831 <part303of421.$wGbyA_Jsumpm2fQrE2x_p_werpost2000AA.local>
=ybegin part=303 line=128 size=104857600 name=Epitafi_s_4.part42.rar
=ypart begin=75379201 end=75628800
---------- oder --------
222 19_06251 <tsSdnbhhiY3gJY_YRVny2w_gigan_ws.c_m> body
=ybegin part=106 line=128 size=50000000 name=et-_kami.r63
=ypart begin=26208001 end=26457600
Diese Dateien werden mit dem Perl-Script immer als „0000.m“ bis „9999.m“ gespeichert.
SkyNet.R32_1.14 habe ich mit nntp gestestet:
nntp werden in eine eigenes Verzeichnis abgelegt, funktioniert, Danke R32.
Leider werden einige nntp-Files noch immer mit Leerzeichen voll geschrieben, am Anfang sind einige Daten, danach nichts mehr
(Dateigröße ca 1GB und ausbeute 5MB)!
Auf 8°W 11261000 und 11222000 getestet.
Gruß
plastic
-
Hi Plastic,
vielen Dank! Ich bin ja direkt rot geworden. :) :) :)
Und nochmal danke schön für die top Fehlermeldung. Ich baue es in die nächste Version von NNTPdefrag ein.
19,2 bietet leider nicht soviel Testmöglichkeiten bzgl. NNTP. Sonst wäre es mir vielleicht auch schon aufgefallen.
Kannst Du ungefähr sagen, wie hoch der Anteil der "222 2125_831 <part3 ..." Dateien an der Gesamternte ist?
Die 1GB-Problematik in SkyNet.R32 sehe ich mir auch nochmal gezielt an.
Thanx und schönen Abend!
P.S. Immer her mit derartigem (Plastic-)Lob und solchen konkreten Fehlermeldungen und Verbesserungsvorschlägen.
-
Das mit den knapp 1GB großen nntp-Files, die leer sind, kann ich bestätigen. Bereits wenige Minuten nach dem Start von SkyNet.R32_1.14, hat er auf 8°W mehrere solcher Dinger angelegt, weshalb ich abgebrochen und nochmal SkynetX ausprobiert habe. IIRC haben aber auch andere (relativ neue) Skynet-Versionen schon mal dieses Verhalten an den Tag gelegt.
Mit SkynetX funktionierte die Sache allerdings ebenfalls alles andere als zufriedenstellend, da die Ausbeute im Zusammenspiel mit NNTPdefrag.R32 und Uud32 vielleicht ein Zehntel gegenüber HTTP betrug, wobei ich erfolgreich dekodierte Archivfragmente, mit denen ich wenig anfangen kann, als korrekt anrechne. Bei einem Testlauf mit 20GB an Daten blieb NNTPdefrag mehrere Male an einzelnen Files hängen (leider schon gelöscht), was aber durchaus am Datenmaterial von SkynetX liegen könnte.
Also das aus meiner Warte gewohnt enttäuschende Ergebnis bei Experimenten mit dem Usenet - HTTP funktioniert hingegen wunderbar.
-
Hallo R32,
wenn Du die Arbeit mit der Programmierung machst , bin ich gerne bereit die Tools zu testen!
Leider fehlt uns allen die Zeit um sofort zu testen!!
Werde einige Dateien mit nntp_c.pl und mit "NNTPdefrag.R32_1.02" durchlaufen lassen und gebe Dir bescheid.
Gruß, plastic
-
Hallo R32!
Nur falls du den Eindruck hast, niemand interessiert sich für die Linux Version, dem ist nicht so ;). Wäre schön wenn der Pinguin auch mit der neuen Version grabben kann.
Cheers mtron
-
Hallo R32,
ich habe jetzt einen Vergleichstest gemacht mit 1,44 GB Daten (= 322 nntp Dateien).
Für die Erzeugung der nntp-Dateien hatte ich "skynet 0.897b6sbf0_16b_debug" verwendet!
mit nntp_c.pl .................. 3.162 Dateien erhalten
mit NNTPdefrag.R32_1.02 ... 2.908 Dateien ( Einstellung geändert in der *.bat: -s 2 )
Bei 2 Dateien hatte ich eine Fehlermeldung "NNTPdefrag.R32 hat ein Problem festgestellt und muss beendet werden".
Bei diesen Dateien könnte folgendes Problem die Ursache des Absturzes sein:
=yend size=384000 part=34 pcrc32=8d4fdd62
.
220 0 <12h_sd7su2f288c_c_rp.supernews.c_m> article retrieved - head and b_dy follow
Path: sn-us!sn-feed-sjc-01!sn-post-sjc-01!supernews.c_m!c_rp.supernews.c_m!n_t-f_r-mail
From: Yenc_power-p_st._rg (b_tman2)
Newsgroups: alt.bin_ries.m_m
Subject: ( Klick xvid g_rman b_tman2 b
€¡)Šî@F?(°eÓLy@o‚™å+˜úé‰ÁÕ +]‡”
!=@Æ'šr®GîÕ.......
_ ... sind geänderte Zeichen!
Im "Subject" steht nur ein Teil des Namen und danach einige 100 Leerzeichen (gehe davon aus, dass dieses zu lange ??? für einen Dateinamen ist, oder ???).
Gruß, plastic
-
Hi Plastic,
danke für die Tests.
mit nntp_c.pl .................. 3.162 Dateien erhalten
mit NNTPdefrag.R32_1.02 ... 2.908 Dateien ( Einstellung geändert in der *.bat: -s 2 )
Hast Du mal untersucht, welche Dateien bei NNTPdefrag fehlen?
Sind das evtl. die von Dir schon erwähnten Dateien mit dem "222" Header?
Bei 2 Dateien hatte ich eine Fehlermeldung "NNTPdefrag.R32 hat ein Problem festgestellt und muss beendet werden".
...
Im "Subject" steht nur ein Teil des Namen und danach einige 100 Leerzeichen (gehe davon aus, dass dieses zu lange ??? für einen Dateinamen ist, oder ???).
Das sollte eigentlich kein Problem sein. Es werden auch nur die ersten 200 Zeichen verwendet, genau wie im Perl-Skript.
Evtl. könnte der Gesamtpfad zu lang werden. In welchem Unterverzeichnis legst Du die Konvertierungsergebnisse ab (Parameter -o)?
Wäre nett, wenn Du (oder auch jemand anderes) eine Datei, bei der NNTPDefrag abstürzt, für mich auf rapidshare legen könntest. Kleiner Tipp: Die letzte erfolgreich bearbeitete Datei wurde umbenannt in *.nntp_. Die Absturzdatei heißt noch *.nntp.
Danke und Gruß,
R32
-
Hallo R32,
Hast Du mal untersucht, welche Dateien bei NNTPdefrag fehlen?
Sind das evtl. die von Dir schon erwähnten Dateien mit dem "222" Header?
Ja
Das sollte eigentlich kein Problem sein. Es werden auch nur die ersten 200 Zeichen verwendet, genau wie im Perl-Skript.
Evtl. könnte der Gesamtpfad zu lang werden. In welchem Unterverzeichnis legst Du die Konvertierungsergebnisse ab (Parameter -o)?
@echo off
set nntp_in_dir=e:\nntp\nntp
set nntp_out_dir=e:\nntp\nntp_converted.R32
set result_dir=e:\nntp\result.R32
NNTPdefrag.R32.exe -i %nntp_in_dir% -o %nntp_out_dir% -x nntp -e uud -s 2
rem Uud32.exe /d "%nntp_out_dir%\*.uud" /P "%result_dir%" /o N /g
pause
Wäre nett, wenn Du (oder auch jemand anderes) eine Datei, bei der NNTPDefrag abstürzt, für mich auf rapidshare legen könntest. Kleiner Tipp: Die letzte erfolgreich bearbeitete Datei wurde umbenannt in *.nntp_. Die Absturzdatei heißt noch *.nntp.
werde ich heute Abend machen, wir etwas Zeit benötigen, habe leider nur ein Modemverbindung!
Danke für Deine Programmierarbeit und allen die testen,
Gruß, plastic
-
Hallo R32,
Datei mit Fehler/Absturz mit NNTPDefrag.R32.1.02 hochgeladen auf
http://rapidshare.de/files/35751010/nntp_Fehler.rar
Danke und viel Erfolg bei der Optimierung des Tools,
Plastic
-
Hier ist das Resultat: h**p://rapidshare.de/files/35767207/NNTPdefrag.R32_1.03_Windows.rar
Changes
1.03 - 2006/10/07
-----------------
- Auch Header, die mit "222 ..." beginnen, sollten nun erkannt werden.
[Danke an Plastic für die Test Cases!]
- Bugfix für Absturz: ASCII Zeichen im Namen der UUD-Datei von 0-39 und 127-255 werden gelöscht.
[Danke an Plastic und bigobelix für die Test Cases!]
- Noname UUD Dateien wird nicht mehr '_' angehängt.
Stattdessen wird noname_0000.uud, noname_0001.uud ... erzeugt.
-
Danke R32,
wird getestet! Info folgt.
Gute Nacht,
plastic
-
so, habe mal getestet:
Ausgang waren 1.275GB
Ergebnis:
nntp roh: nur Müll, 15,xxxMB Dateien statt 15,000MB
perl: 223 Datei(en) 255.145.312 Bytes
1.02: 221 Datei(en) 254.803.787 Bytes
1.03: 312 Datei(en) 784.585.169 Bytes
Tolle Leistung, weiter so und danke!
bigobelix
-
fast vergessen, der Wermutstropfen ist, es dauert nun viel länger, was ja logisch ist bei der Ausbeute...
mein X2 4200+ schwankt bei 5-30% Auslastung, gehts bitte noch schneller? ;D
bigobelix
-
so, habe mal getestet:
Ausgang waren 1.275GB
Ergebnis:
nntp roh: nur Müll, 15,xxxMB Dateien statt 15,000MB
perl: 223 Datei(en) 255.145.312 Bytes
1.02: 221 Datei(en) 254.803.787 Bytes
1.03: 312 Datei(en) 784.585.169 Bytes
Tolle Leistung, weiter so und danke!
bigobelix
Danke, die quantitative Betrachtung spricht ja schonmal Bände ...
Wie sieht's denn mit der Qualität der erzeugten Dateien aus? Nur Müll ... oder alles okay?
fast vergessen, der Wermutstropfen ist, es dauert nun viel länger, was ja logisch ist bei der Ausbeute...
mein X2 4200+ schwankt bei 5-30% Auslastung, gehts bitte noch schneller? ;D
Da Du ja eine Doppelkern-CPU hast ...
Hast Du mal probiert, die NNTP Files in 2 Verzeichnisse aufzuteilen und anschließend NNTPdefrag 2 mal zu starten?
Da das Programm (bisher) Single Threaded ist, müßte sich die Auspackzeit doch mindestens halbieren.
War nur so eine Idee ...
Gruß,
R32
-
Hi R32,
ich sag mal nur soviel, mit der neuen Version konnte ich gestern Abend einen Film schauen, mit den anderen wäre es nicht möglich gewesen.
Du hast recht, ich werde heute 2mal starten und je eine CPU zuordnen. Mal sehen, ob es erheblich schneller wird.
Leider ist mein HDD-Speed auf ca. 20MB/s beschränkt durch Drivecrypt. Ohne dem wäre es sicherlich auch noch viel schneller. Aber dann könnte ich nicht mehr ruhig schlafen... :-X
bigobelix
-
Hi R32,
irgendwas kommt mir spanisch vor:
Deine neue Version 1.03 braucht ca. 1s für ein MB.
Sehe ich es richtig, wenn ich mal davon ausgehe, bei 20MB/S liest das Progi das File von der HDD und schreibt sagen wir mal 80MB zurück. Das wären dann 180MB/20MB = 9s+1s CPU, also ca. 10s. Aber das Progi braucht ca. 10mal mehr Zeit. Warum?
Sorry, falls das eine Milchmädchenrechnung ist ;D
Habe das Progi auf "Priorität hoch" gestellt. Arbeitet nun konstant mit 48-50%. Dabei komme ich aber eben erst auf die 1MB/s.
bigobelix
-
Hallo R32 und bigobelix,
habe jetzt auch einen Vergleichstest gemacht:
Ausgangsdaten:
10,8 GB (11.640.942.430 Bytes) 3.963 Dateien
mit nntp_c.pl
10,5 GB (11.377.111.100 Bytes) 32.509 Dateien
mit NNTPdefrag.R32_1.03 (s=20000)
10,7 GB (11.581.290.933 Bytes) 34.033 Dateien
mit NNTPdefrag.R32_1.03 (s=500)
10,8 GB (11.583.097.712 Bytes) 34.290 Dateien
R32 Danke für Dein Tool es funktioniert sehr Gut.
Die Rechenzeit hatte ich nicht beachtet!
R32: ist es möglich die "noname-Dateien" in ein eigenes Verzeichnis zu speichern?
Dann könnte man mit einem VPS-Script die Daten umbenennen.
Danke und Gruss,
plastic
-
wie wäre es mit dem Befehl "move Pfad\noname*.* Pfad"? am Ende der bat?
bigobelix
-
Deine neue Version 1.03 braucht ca. 1s für ein MB.
Sehe ich es richtig, wenn ich mal davon ausgehe, bei 20MB/S liest das Progi das File von der HDD und schreibt sagen wir mal 80MB zurück. Das wären dann 180MB/20MB = 9s+1s CPU, also ca. 10s. Aber das Progi braucht ca. 10mal mehr Zeit. Warum?
Sorry, falls das eine Milchmädchenrechnung ist ;D
Wie kommst Du auf 1MB/s?
Ich gebe zu, so ganz komme ich hinter Deinem Beispiel nicht hinterher. Vielleicht ist es wirklich schon zu spät ...
Ich habe hier gerade folgenden Test laufen lassen:
7 beliebige NNTP files mit untersch. Größen (500kB - 433MB) durch NNTPDefrag konvertiert.
Die gesamte Größe der Eingangsdateien ist 808MB.
Gedauert hat es 43 Sekunden.
Ergebnis: 18.8 MB/s Verarbeitungsgeschwindigkeit.
Kannst Du Deine Berechnung nochmal kurz erläutern (gern auch als PM)? Vielleicht reden wir ja noch aneinander vorbei.
Achso, fast hätte ich es jetzt verpennt. Ich habe zum Testen mal die Version 1.04 gebastelt.
h**p://rapidshare.de/files/36023878/NNTPdefrag.R32_1.04_Windows.rar
Gute Nacht,
R32
Changes
1.04 - 2006/10/09
-----------------
- neuer Parameter: -c <0,1,2,...>
Bevorzugten Prozessor setzen.
- neuer Parameter: -p <0,1,2,3>
Prozesspriorität setzen.
0..Idle 1..Normal 2..High 3..Realtime
- Statistische Ausgabe während der Konvertierung.
Speed in MB/s
- Statistische Ausgaben nach der Konvertierung.
Dauer, Größe der Eingangsdaten, Total Speed
-
hallo bigobelix
wie wäre es mit dem Befehl "move Pfad\noname*.* Pfad"? am Ende der bat?
blackout .... wollte etwas anderes damit erreichen, werde es nochmals später schreiben, wenn ich mehr Zeit habe.
plastic
-
Hi R32,
hab ein Problem mit dem NNTPdefrag, bei bestimmten NNTP-Datein stürtzt dein Programm ab. Ich hab mal eine hochgeladen:
http://rapidshare.de/files/36088165/d05c216629_0921_69.28.186.120.nntp.html
(http://rapidshare.de/files/36088165/d05c216629_0921_69.28.186.120.nntp.html)
Hoffentlich kannste was damit anfangen, viel Spa? ^^
Gruß
woodie
-
Hi woodie,
danke für die Meldung und die Testdatei.
Bist Du Dir sicher, daß Du die neueste Version (1.04) verwendest?
Bei mir läuft's damit nämlich ... ;)
-
Das ist ja komisch jetzt gehts bei mir auch :-) . Hab das gestern bestimmt 10 mal probiert... Ich mach dir nächstmal ein Screenshot, vielleicht kannste ja daraus klug werden.
-
Hi R32,
so hab nntpdefrag weiterlaufen lassen und nun kommt wieder diese Fehlermeldung. Kann den Rechner zuzeit nicht neustarten, werde es später mal probieren ob es vielleicht nach einen Neustart wieder weiter geht. Falls man den Fehler durch einen Neustart wegbekommt, was könnte das Problem sein?
Hab mal hier ein screenshot gemacht:http://rapidshare.de/files/36203556/Unbenannt.JPG.html (http://rapidshare.de/files/36203556/Unbenannt.JPG.html)
Noch eine Frage zu skynet: Wie kann ich wma-Files downloaden lassen?
-
Hallo woodie, hallo R32,
hab ein Problem mit dem NNTPdefrag, bei bestimmten NNTP-Datein stürtzt dein Programm ab. Ich hab mal eine hochgeladen:
http://rapidshare.de/files/36088165/d05c216629_0921_69.28.186.120.nntp.html
habe deine Datei mit NNTPdefrag.R32_1.04 auf 4 verschiedenen Rechnern (AMD, Intel, Laptop) durchlaufen lassen --> ohne Absturz.
Vorschlag: schließe alle nicht benötigten Programme, (auf deinem screenshot laufen skynet!)
Bei allen meinen test hat NNTPdefrag.R32_1.04 superrrrrr funktioniert, danke R32 :D
Geschwindigkeit:
Time elapsed : 0:47:05 0:14:13 0:44:42 1:03:19
Processed MB: 5.175,80 MB 4.038,55 MB 8.275,64 MB 6.150,65 MB
1,83 MB/s 4,73 MB/s 3,09 MB/s 1,62 MB/s
bei den letzten beiden test hatte ich "-p 3" eingestellt.
R32:
einige Dateien werden ohne "yend" ausgegeben --> ist kein Programmfehler von Dir.
Auf Grund der schlechten Verbindung fordern die Rechner nochmals die Dateien an.
Ich habe bei einigen bis zu 4 Dateien bei denen nur eine komplett ist!
Ist es möglich die Dateien ohne "yend" mit deinem Tool zu löschen, bzw. mit z.B.: "[Dateiname].uud_Fehler" zu kennzeichnen?
Diese Fehlerhaften Dateien braucht keiner, oder?
Gruß
plastic
-
hi Plastic,
Kannst du mir dann sagen warum das Tool vorher über 200 Dateien bearbeitet hat mit skynet im hintergrund?
Übrigens habe ich es jetzt auch schon probiert wenn ich alles geschlossen habe, funktioniert nicht.
grüße
woodie
-
hallo woodie,
keine Ahnung warum es bei Dir nicht fuktioniert!
Wenn Du nach dem Absturz wieder NNTPdefrag... startest, was geschied dann?
R32 setzt ein "_" bei den Dateien die es abgearbeitet hat!
Bei einem neuen Start sollte er bei der Datei weiter arbeiten bei dem der Fehler augetretten ist.
Mit welchem Programm wurden die nntp-Daten erzeugt?
Im Forum gibt es Fachleute die vieleicht eine Antwort auf Dein Problem habe, ich versuche nur mit tests zu Helfen.
Gruß, plastic
-
R32:
Ist es möglich die Dateien ohne "yend" mit deinem Tool zu löschen, bzw. mit z.B.: "[Dateiname].uud_Fehler" zu kennzeichnen?
Diese Fehlerhaften Dateien braucht keiner, oder?
Das sollte kein Problem sein. Allerdings macht es das Tool nicht unbedingt schneller.
Ich würde sagen, wenn bis morgen Abend keine Einsprüche von anderer Seite kommen, mach ich es rein.
Danke für Deine Messwerte. Wirklich keinen einzigen Absturz?
Es scheint mit den Astra-Daten wirklich 5 mal schneller zu gehen, weil mehr NULLen drin sind. Ich habe hier eigentlich nie unter 15 MB/s.
Mit welcher skynet Version grabbst Du die Ausgangsdaten?
Danke und Gruß,
R32
-
@woodie
Ich kann mich plastic nur anschließen. Solange wir bei Dir keine Systematik in den Abstürzen finden können, wird eine Ferndiagnose recht kompliziert.
Es könnte das übliche Windows-Problem sein, nämlich dass auf Deinen System durch Installationen und Deinstallationen diverse veraltete DLLs hängen geblieben sind.
Durchforste mal Deine Ereignisanzeige (unter Systemsteuerung -> Verwaltung -> Ereignisanzeige), vielleicht sind den Abstürzen ja bereits andere Fehler vorausgegangen. Stürzen andere Programme auch gelegentlich ab?
Ich kann ja mal statisch Linken, dann bekommst Du ein xMB großes Binary, das nicht auf DLLs angewiesen ist.
Es könnte natürlich auch einfach eine Überlastung/Überhitzung der Hardware oder ein zu schwaches Netzteil sein.
Oder defekter RAM, oder ... oder ...
-
Hallo R32,
Danke für Deine Messwerte. Wirklich keinen einzigen Absturz?
keinen Absturz, ca. 60 GB Daten umgewandelt. Das Tool funktioniert sehr Gut, leider etwas langsam.
Version: "SkynetiX0.11 Test" (Erstellungsdatum ca. Feb 2005). Bin leider 800 km von zu Hause entfernt.
-
Hallo zusammen,
erstmal grosses Lob an R32 für die schöne Arbeit!
NNTPdefrag.R32_1.04 hat jetzt auch bei mir das Perlscript ablösen können.
Zum speed:
Manche nntpDateien (50-100+MB) enthalten lediglich textstrings mit infos
über neue usenet-Postings, da geht auch das perlscript ordentlich in die Knie und braucht
äusserst lange zum defraggen. Die End-Ausbeute ist imho vergleichbar mit perl.
Wohl dem, der Dualcore-CPU hat ;)
zu Skynet (allgemein)
Jetzt stellt sich mir aber immernoch die Frage warum mac-Filter durch Einträge in rules.txt
überhaupt nicht greifen bei nntp wohl aber bei http. Also wenn SkyNet Mod R32 ein bischen
dahingehend auf nntp optimiert werden kann wären alle glücklich ;D
grüsse Sky
SS2@66MHz Skynetix0.11Test 8°West AMDX2.............
-
Hi Sky-Nett,
darüber habe ich mir auch Gedanken gemacht und bin zu dem Schluß gekommen, Gott sei Dank geht das nicht!
Begründung: Nur weil einer pausenlos den Musikantenstadl schaut und den ZDF-Fernsehgarten oder ähnliche Brechmittel heißt nicht, daß er morgen nicht Stargate anschauen will - alles klar? ;D
Machs wie ich, ich sortiere vorher mit dem Total Commander nach Größe und schau mit F3 kurz rein bei den Dateien, die sehr groß sind. Und alles unter 1MB wird gelöscht. Dauert 5min...
bigobelix
-
@woodie,
ist Dein Problem mit dem Absturz gelöst?
Eine Idee hätte ich, versuch es im abgesicherten Modus!
Kann es leider nicht testen ob NNTPdefrag.R32 im abgesicherten Modus läuft.
Gruss, plastic
-
@plastic
Nein, das Problem besteht immer noch, hatte aber noch keine zeit mich darum zu kümmern. Werde erst zum Wochenende dazu kommen.
-
Hallo,
ich hab NNTPDefrag nochmal überarbeitet.
Der Link ist in meiner Sig.
Gute Nacht,
R32
Die wichtigsten Änderungen ...
1.05 - 2006/10/17
-----------------
- Laufzeitoptimierung durch Code-Umstellung von string class auf char[]
- Bugfix Line Endings
- Bugfix Zeichenersetzung in Nicht-YEnc-Files
- Bugfix für div. Abstürze
[Vielen Dank an bigobelix und plastic!]
- Markierung der Dateien ohne "=yend" als *.uud.no_yend
[Idee von plastic]
- Default von -s auf 2kB geändert
- Verbesserung der Abschnittserkennung bei defekten Blöcken im NNTP File
-
@R32
Ich weiß ja nicht, wann Du eigentlich schläfst, aber daß Du Dir die halbe Nacht um die Ohren gehauen hast, war nicht umsonst, das Programm ist eindeutig schneller. Bin noch nicht ganz fertig, aber bis jetzt auch kein Absturz.
Danke für Deine geleistete Arbeit.
bigobelix
-
@bigobelix
Schlafen? Wozu? 8)
Ich kann beim Hacken gut entspannen. 5-6 Stunden Schlaf reichen.
Dein erster Eindruck klingt ja schonmal gut. Ist es denn dabei geblieben?
Gruß,
R32
-
Hi R32,
kann den ersten Eindruck voll bestätigen, schnell und absturzfrei, danke!
bigobelix
-
Hallo,
habe doch noch etwas Zeit gefunden um zu testen. Respekt, Respekt.
Habe in der Nacht 14GB an nntp Dateien auf der Platte gehabt. Nach 1:57 h NNTPdefrag.R32 (1.4 GHz Athlon), etwa 13,9GB uud´s im OK. Sehr gute Quote.
Vielen Dank für deine Mühen.
Grüße
Pogo
-
@pogo13
Das Ergebnis habe ich auch, aber was bleibt nach Uudeview noch übrig?
bigobelix
-
hallo bigobelix,
nach uudview ist leider nur etwa 7GB übrig geblieben. Rein subjektiv würde ich meinen, dass nach dem perl-script mehr übrig geblieben war. Aus diesem Grund möchte ich morgen das gleiche Material zwei mal bearbeiten lassen und einen genauen Vergleich anstellen. Bericht dann morgen.
Aber ich habe auch eine andere Frage. Ich hatte seit Mai nichts mehr gemacht. Nun war die gewohnte Frequenz auf 8°W nicht mehr da. An anderer Stelle hatte ich gelesen dass auf 11222 was läuft. Dort hatte ich auch die 14GB über Nacht. Allerdings war fast alles in french :'(
Wo läuft den der deutscher Content auf 8°W?
Grüße
Pogo
-
Hallo Pogo,
Versuch 12261 bzw. 12524
(siehe "Was geht wo, Frequenzen & Pids")
Gruss, plastic
-
@pogo13
den Test kannste Dir sparen, genau das hatte ich auch gedacht. Daran liegt es nicht, das Progi von R32 arbeitet tadellos. Irgendwas ist faul und ich weiß noch nicht, was es ist. ??? Bei bleibt neuerdings einfach zu wenig übrig. Da ich das seit Jahren mache, fällt das sofort auf.
Ich prüfe weiter.
bigobelix
-
Hi bigobelix,
meinst du dass einige Jungs evtl. am Codieralgo gedreht haben könnten? Hast du schon mal die header angesehen, ob da was anders ist?
Hat es möglicherweise mit der Endung .uud zu tun, den nach dem perlscript hatten wir .m Dateien. Ich hatte vor langen Zeit im uudeview mit den Decoderoptionen herumgespielt (fast mode, dump mode u.s.w.) und hatte festgestellt, dass das outcome teilweise viel schlechter war. Vielleicht werden uud Dateien von vorn herein anders behandelt als unbekante Dateitypen?
Eine andere Frage. Für nntp hatte sich die skynetx bisher bestens bewährt. Leider konnte ich noch nicht die R32 Version testen. Wie sind deine Erfahrungen damit? Den die 0.90 skynet Version hatte gegenüber der 0.89 das nntp Protokol vernachlässigt.
@Plastic,
vielen Dank für den Hinweis, hatte aber auf der 12524 leider kein Erfolg, Server4PC zeigte mir hier keinen Empfang. So hatte ich es nicht mit skynet versucht, vielleicht ein Fehler.
Ich habe auch noch eine Frage zum DeleteFiles.vbs. Irgendwie will er nicht. Nach dem ich ihn nach der windoof Warnung autorisiert habe, wird er durch die bat aufgerufen (?) und die kleinen Dateien bleiben erhalten. Die Verzeichnisse habe ich entsprechend angepasst. Hat jemand ein Tipp?
Grüße
Pogo
-
@pogo13,
das vermute ich auch. Leider habe ich keine alten Dateien zum Vergleich mehr da.
Und ob hhtp noch geht, weiß ich nicht, nutze ich nicht.
DeleteFiles.vbs ging bei mir auch nicht.
bigobelix
-
@ bigobelix,
ich hatte eigentlich nicht an "alte" Dateien gedacht. Wenn man sich den output anschaut, dann sind einige Sachen komplett da und andere dagegen überhaupt nicht. D.h. dass möglicherweise nur ein Teil der Jungs andere proggis fürs codieren benutzen. Und da müsste mal weiter testen.
Was meinst du mit hhtp? Ich meinte die R32 Version und nntp.
Noch eine andere Frage: hast du schon mal die Consolenversion von uudeview ausprobiert? Sie müsste theoretisch etwas schneller laufen.
Grüße
Pogo
-
@pogo13
Shit, vertippt, meinte http ;D
Genau das meine ich, die Teile liegen zahlreich als uud vor und wenn ich sie mit Uudeview bearbeite, kommen 0 MB raus, andere uud-Teile werden komplett decodiert. Hast recht, muß mal die kleinen Teile genauer anschauen.
bigobelix
-
Hallo ihr beiden,
ich will Euch ja den Elan nicht nehmen, aber meine Vermutung wuerde auch eher in Richtung NNTPdefrag gehen.
Das Programm gibts gerade mal einen Monat und ist bestimmt nicht fehlerfrei - auch aufgrund meiner mangelhaften 19,2er Testumgebung.
Also immer her mit den Test Cases!
Gruss,
R32
-
Hi R32,
vielen Dank für das Angebot. Aber ich brauche noch ein paar Tests bis ich dir ein bischen "Futter" zukommen lassen kann ;). Bin mir noch nicht sicher woran es wirklich liegt.
Grüße
Pogo
-
@R32
Hat mit Deiner Version nichts zu tun, schon getestet. Kam mit Perl auch nichts dabei raus.
Ich suche Dir mal ein "schönes" File raus ;D
bigobelix
-
Hallo,
da ich Probleme mit uudeview bei einer großen Anzahl (>10.000) von Dateien hatte, habe ich nun die Konsolen Version von uudeview ausprobiert. Der erster Eindruck ist gut. Mit 27.000 Dateien hatte es keine Probleme. Außerdem ist die viel mächtiger und läuft erheblich schneller. Es gibt erheblich mehr Optionen, z.Bsp. kann man mit der Option -e .jpg.mp3 verhindern, dass die nicht benötigte Dateien nicht erst decodiert werden müssen. Und es spart auch wieder Zeit und Resoursen.
Man braucht nur die Zeile in der batch Datei ersetzen. Ich habe folgende Optionen bisher ausprobiert:
uudeview -i -a -d -e .jpg -p d:\out c:\in\*.uud
Die Konsolenversion gibt es hier: hxxp://www.fpx.de/fp/Software/UUDeview/download/uudeview-win32.zip
Die Manual Page: hxxp://www.fpx.de/fp/Software/UUDeview/Manual-Unix-uudeview.html
Grüße
Pogo
-
Hallo noch ein mal,
ich habe mal eine "blöde" Frage. Was passiert wenn wir dem uudeview eine Datei zuschieben mit der Endung uud die aber als yenc codiert wurde? Erkennt er (er oder sie? ???) das es ein yenc File ist und decodiert es richtig oder betrachtet er es als reine uud Datei und erzeugt ein Fehler. Ich Frage aus dem Grund, da der Perlscript *.m Dateien erzeugt, d.h. für uudeview aus meiner Sicht "neutrale" Datei und uudeview entscheidet um welche Art Datei es sich handelt.
Grüße
Pogo
-
@bigobelix
@pogo13
DeleteFiles.vbs ... Sollte funktionieren wenn das ausführen von VBSkript erlaubt ist.
Ihr könnt testen ob das VBScript ausgeführt wird, wenn ihr ein nicht vorhandenes Verzeichnis in der Bat-Datei angebt. Es sollte eine Fehlermeldung kommen vom „Windows Script Host“ dass der Skript den Pfad nicht gefunden hat!
Plastic
-
Hallo Plastic,
habe es noch mal getestet. Das VBScript wird ausgeführt, die falsche Pfadangabe wurde sofort bemerkt. Aber mit der Größenangabe funktioniert es nicht so recht.
Lasse ich die 200 stehen werden nur die 0k Dateien gelöscht, bei 2000 alle unter 2k und bei 20000 alle unter 20k. Bei 200000 streikt es jedoch mit folgendem Fehler: Zeile: 17, Zeichen: 4, Fehler: Überlauf:´Cint´, Code: 800A0006
Auch versagt es falls man es auf das temp/nntp Verzeichnis anwendet und es auf eine Datei stößt, die noch in Bearbeitung ist und nicht gelöscht werden kann.
Grüße
Pogo
-
//edtit und del
Danke für hinweis sopke1, ich werde in linux thema posten. :)
-
@ amin
Willkommen und viel Spass hier im Cube. Kann das sein das Du dich im Tread vertan hast? Du meinst doch bestimmt dies hier:
http://www.dvbcube.org/index.php?topic=14969.0
-
Hallo Pogo,
Lasse ich die 200 stehen werden nur die 0k Dateien gelöscht, bei 2000 alle unter 2k und bei 20000 alle unter 20k. Bei 200000 streikt es jedoch mit folgendem Fehler: Zeile: 17, Zeichen: 4, Fehler: Überlauf:´Cint´, Code: 800A0006
Auch versagt es falls man es auf das temp/nntp Verzeichnis anwendet und es auf eine Datei stößt, die noch in Bearbeitung ist und nicht gelöscht werden kann.
Entschuldige, die alte Beschreibung war falsch, es werden Dateien kleiner als xxx Bytes gelöscht und nicht „k“.
Damit Du auch größere Dateien als 32.000 Bytes Löschen kannst habe ich im VBScript Integer auf Long geändert (aber so große Dateien sollte man nicht Löschen, oder?)
Fehlerbehandlung eingebaut damit es beim Löschen im temp/nntp wegen der geöffneten Dateien zu keinem Absturz kommt.
DeleteFiles, Hochgeladen auf h**p://rapidshare.com/files/4363578/DeleteFiles.rar.html,
Uudeview … Konsolen Version:
Gibt es neue Erkenntnisse? Konnte wegen Urlaub und Dienstreise in letzter Zeit nicht testen?
Gruß, Plastic
-
Hi Plastic,
vielen Dank für die Antwort und die neue Version. Ich habe mir bisher so geholfen, daß ich die Dateien erst in anderes Verzeichnis mit move befördert habe.Da hat es gut funktioniert.
Wegen Konsolenversion von uudeview habe ich weiter oben schon mal geschrieben. Es funktioniert wunderbar. Es gibt keine Mengenbeschränkung bei den zu zuführenden Dateien, geht sehr schnell und super finde ich die Filterfunktion, die nicht benötigte Dateitypen (z. Bsp. jpg o.ä.) gar nicht erst decodiert.
Grüße
Pogo
-
Die neue Version von DeleteFiles funktioniert prima. Vielen Dank
Grüße
Pogo
-
Hallo,
es gibt ein neues NNTPdefrag (siehe Sig).
Die 1.06 enthält nur eine (ziemlich wichtige) Änderung ...
1.06 - 2006/11/24
-----------------
- Bugfix: "Die erste UUD Datei wird immer weggelassen ..."
[Vielen Dank an plastic]
-
Hallo R32,
es gibt ein neues NNTPdefrag (siehe Sig).
Danke für die neue Version 1.06, werde sie gleich testen, Info folgt.
Einen Wunsch für die nächste Version habe ich, ist es möglich die abgearbeiteten *.nntp's gleich zu löschen, anstelle von *nntp_ zu setzten (mit einer Variabel in der Bat-Datei, wer will kann sie setzten)?
Grund ist Speicherplatz
hallo Pogo,
Die neue Version von DeleteFiles funktioniert prima. Vielen Dank
Freud mich, daß ich etwas beitragen kann!
Gruß, Plastic
-
Hallo R32,
die Version 1.06 funktioniert sehr Gut!
3.757 nntp-Testdateien (kleine nntp-Dateien verwendet, mit vielen Fehlern)
Version 1.05 ... 6.367 uud (davon 2.342 mit no_yend)
Version 1.06 ... 6.788 uud (leider funktioniert no_end nicht mehr).
nntp_B.pl ... 2.777 uud
mit Hilfe eines VBScript alle Dateien gelöscht ohne Yend, Ergebnis:
Version 1.05 ... 2.734 uud
Version 1.06 ... 2.740 uud
nntp_B.pl ... 2.739 uud
Zusammenfassung:
nntpDefrag 1.06 hat das beste Ergebnis
Es werden bei der Version 1.05 nicht alle uud's ohne "yend" erkannt! werde nochmals testen.
Danke R32,
Gruß plastic
-
Danke Plastic!
Ich schaue es (no_yend) mir nachher mal an.
R32
-
Version 1.06 ... 6.788 uud (leider funktioniert no_end nicht mehr).
Hab es gerade mal laufen lassen ... funktioniert bei mir!
Hast Du evtl. das Argument '-a 1' nicht verwendet?
Gruß,
R32
-
Hallo R32,
Hast Du evtl. das Argument '-a 1' nicht verwendet?
Da habe ich etwas verschlafen, oder?
Danke R32 für das zusätzliche Argument, werde es am Abend testen.
Gruß, Plastic
-
Hallo R32,
Test durchgeführt und es funktioniert, danke.
Eine Verbesserung gibt es noch, wenn eine Datei doppelt ohne yEnd vorkommt wird sie nicht umbenannt!
Wenn Du in einer nntp-Datei, yEnd löscht und danach die nntp Datei kopierst und sie mit nntpDefrag durchlaufen läßt müssen alle Dateien doppelt vorhanden sein. Aber nur eine Datei ohne "yEnd" wir auf "no_yend" umbenannt.
Vielleicht findest Du eine Lösung.
Gute Nacht,
Plastic
-
Ok, danke!
Schaue ich mir an.
-
R32, Danke
wenn Du Datenmaterial brauchst bitte melden.
Gruß, Plastic