Thema: SkyNet Mod R32

[R32]

Hallo,

hier die bereits angekündigte Version 1.12.
Für Windows: h**p://rapidshare.de/files/29165724/skynet.R32_1.12_Windows.rar.html
Für Linux     : h**p://rapidshare.de/files/29068396/skynet.R32_1.12_Linux.rar.html

Besonders nette Kommentare sind, wie immer, gern genommen.   
Danke an spoke1 für den Linux Beta-Test.

Gruß,
R32


Die wichtigsten Änderungen ...

1.12 - 2006/08/12
-----------------

neu:

- Hotkey: b
  Benchmark Modus wird an/aus-geschaltet.
  Im neuen Unterverzeichnis liegt u.a. die Datei benchmark.ini.
  Die Parameter hieraus werden zur Laufzeit neu eingelesen
  um zur gewünschten Zeit den skynet Benchmark zu starten.
  Die Info Parameter in der ini sollten vorher ausgefüllt werden.
  Die Ergebnisse des Benchmarks werden in der skynet.log abgelegt.
  Achtung: Beim Starten und Beenden des Benchmarks werden alle vorhandenen
           Dateien in der Liste und der Cache gelöscht!
 
- Hotkey: Ctrl + v
  Hiermit wird der komplette Regex-Test ausgeschaltet. D.h. es werden alle
  möglichen Dateien geladen. Ist mehr zum Debuggen und Testen dazugekommen ...

- Eine vorhandene skynet.log wird beim Programmstart in skynet.bak.log
  umbenannt.
 
- Neue Anzeige: HTTP xxx F/s 
  Dies ist die Anzahl der neuen Dateien pro Sekunde aus dem HTTP Scan.
  Es müssten annähernd soviele sein, wie man bei 'Ctrl + v' erhält.
  Durch die Trägheit der Anzeige werden übrigens sehr kleine Dateien
  gar nicht erst in der Liste auftauchen, in der Anzeige (F/s) aber schon.

- Im Bereich HTTP Scan sind 2 Stellen geändert worden,
  die hoffentlich eine bessere Ausbeute bringen. Ein Benchmark
  1.12 vs 1.11 wirds zeigen ...

- interne Code-Umstrukturierung

[keine Ahnung, ob ich etwas vergessen habe, da der Code sich durch die
 Umstrukturierung nicht diffen läßt ...]


Bugfix:

- Small Font hat unter Linux falsche Dimensionsangaben.
  Text und Cursor waren dadurch u.U. falsch positioniert. 
  (Thanx an mtron)
 
- tcp/ip Parameter aus der skynet.in wurden nicht eingelesen.
  (Thanx an mtron)

[-Rotten Zombie-]

danke, ich werde es morgen bzw. heute testen...

[mtron]

dam. wieder segfault  ohne irgendwelche hinweise. (Linux version) Spoke, passiert das bei dir nicht? Würd mich wirklich interessieren woran das liegt...

Die Gui darstellung passt jetzt, danke! nur im FileFilter modus sind die zellen noch verschoben.

Code: [Auswählen]

mtron@workstation:/media/work/satdown$ ./xskynetR32_1.12
14:05:25.211   skynet SkyNet.:R32 1.12     Build  Aug 12 2006  00:46:51
14:05:25.211   conf_int    :  cache_max_block          = 131072
14:05:25.212   conf_int    :  cache_scan               = 5000
14:05:25.212   conf_int    :  cache_flush              = 10000
14:05:25.212   conf_string :  regex.dat                = regex.dat
14:05:25.212   conf_string :  regex.txt                = regex.txt
14:05:25.212   conf_string :  rules.txt                = rules.txt
14:05:25.214   conf_int    :  timeout_100k             = 60
14:05:25.214   conf_int    :  timeout_500k             = 60
14:05:25.214   conf_int    :  timeout_1m               = 300
14:05:25.214   conf_int    :  timeout_5m               = 300
14:05:25.214   conf_int    :  timeout_10m              = 600
14:05:25.214   conf_int    :  timeout_50m              = 600
14:05:25.214   conf_int    :  timeout_100m             = 1200
14:05:25.214   conf_int    :  timeout_500m             = 3000
14:05:25.214   conf_int    :  p2p_add                  = 3600
14:05:25.214   conf_int    :  autosave_time            = 0
14:05:25.214   conf_bool   :  save_segments            = false
14:05:25.214   conf_bool   :  http                     = true
14:05:25.214   conf_bool   :  nntp                     = false
14:05:25.214   conf_int    :  rep_timeout              = 30000
14:05:25.214   conf_int    :  tcp_timeout              = 300000
14:05:25.214   conf_bool   :  use_real_name            = true
14:05:25.214   conf_bool   :  show_cpu_usage           = true
14:05:25.214   conf_int    :  timeout_delete_limit     = 600
14:05:25.214   conf_string :  exec_cmd                 = exec.bat {filename}
14:05:25.214   conf_int    :  mss                      = 1500
14:05:25.214   conf_int    :  tcp_window               = 8388608
14:05:25.214   conf_int    :  incomplete_%             = 95
14:05:25.214   conf_int    :  incomplete_min_size      = 1048576
14:05:25.214   conf_string :  incomplete               = bad
14:05:25.214   conf_string :  temp                     = temp
14:05:25.214   conf_string :  ok                       = ok
14:05:25.214   conf_string :  sel1                     = top
14:05:25.214   conf_string :  incomplete_linux         = bad
14:05:25.214   conf_string :  temp_linux               = temp
14:05:25.214   conf_string :  ok_linux                 = ok
14:05:25.214   conf_string :  sel1_linux               = top
14:05:25.214   conf_string :  name_format              = E/m_c_s.E
14:05:25.214   conf_string :  out                      = (null)
14:05:25.214   conf_list   :  pids                     =
14:05:25.214   conf_string :  in                       = (null)
14:05:25.214   conf_string :  dream_ip                 = (null)
14:05:25.214   conf_int    :  dream_port               = 0
14:05:25.214   conf_list   :  lnb                      = 9750000 10600000 117000 00
14:05:25.214   conf_list   :  tuner                    = 11875000 H 27500000 A
14:05:25.215   conf_string :  FE                       = /dev/dvb/adapter0/front end0
14:05:25.215   conf_string :  DVR                      = /dev/dvb/adapter0/dvr0
14:05:25.215   conf_string :  DMX                      = /dev/dvb/adapter0/demux 0
14:05:25.215   conf_int    :  dmx_buffer               = 0
14:05:25.215   conf_int    :  dvr_buffer               = 0
14:05:25.255   conf_int    :  refresh                  = 500
14:05:25.256   conf_int    :  maximize                 = 0
14:05:25.256   conf_int    :  wh                       = 600
14:05:25.256   conf_int    :  ww                       = 800
14:05:25.256   conf_int    :  wy                       = 0
14:05:25.256   conf_int    :  wx                       = 0
14:05:25.257   conf_string :  xfont                    = -*-*-*-*-*-*-*-*-*-*-*- *-*-cp1251
14:05:25.537   conf_string :  xfontsmall               = -*-*-*-*-normal-*-8-*-* -*-*-*-iso8859-*
14:05:25.620   conf_int    :  err_dump_period          = 300000
14:05:25.620   conf_int    :  c_bg                     = 12632256
14:05:25.620   conf_int    :  c_bar1                   = 16777215
14:05:25.620   conf_int    :  c_bar2                   = 12582912
14:05:25.620   conf_int    :  c_bar3                   = 16776960
14:05:25.620   conf_int    :  c_bar4                   = 65280
14:05:25.621   conf_int    :  c_fade                   = 12632256
14:05:25.621   conf_int    :  fade_t1                  = 15000
14:05:25.621   conf_int    :  fade_max                 = 73
14:05:25.621   conf_int    :  fade_step                = 1
14:05:25.730   conf_int    :  c_stat_bg                = 6447714
14:05:25.731   conf_int    :  c_stat_text              = 12632256
14:05:25.731   conf_int    :  c_stat_text_small        = 0
14:05:25.731   conf_int    :  c_stat_text_hili1        = 16776960
14:05:25.731   conf_int    :  c_stat_text_hili2        = 65535
14:05:25.731   conf_int    :  c_stat_text_hili3        = 16711680
14:05:25.731   conf_int    :  c_cat_bg                 = 12369084
14:05:25.731   conf_int    :  c_cat_cursor1            = 12632256
14:05:25.731   conf_int    :  c_cat_cursor2            = 15658751
14:05:25.732   conf_int    :  c_cat_text1              = 0
14:05:25.732   conf_int    :  c_cat_text2              = 128
14:05:25.732   conf_int    :  c_file_cursor            = 16777215
14:05:25.732   conf_int    :  c_sort_eq                = 4210752
14:05:25.732   conf_int    :  c_keep                   = 192
14:05:25.732   conf_int    :  c_sel1                   = 16776960
14:05:25.732   conf_int    :  c_curve1                 = 16711680
14:05:25.732   conf_int    :  c_curve2                 = 255
14:05:25.733   conf_int    :  c_curve3                 = 65280
14:10:26.257   [1515-10 1520-15]
Segmentation fault

[spoke1]

@ mtron

nöööööh, hier ist alles schön. Läuft seit 10:00 Uhr munter fröhlich durch. 

[neox]

Vielen Dank für deine Arbeit
Finde den r32mod den besten grabber im freebereich der auch ohne zu zicken mit meiner karte funkt.
werde dann morgen gleich die neue version auf sirius (nntp) testen.

lg NeoX

[Plastic]

Hallo an alle,

wird heute um 22:00 bis 22:30 getestet?

lg, Plastic

Super Forum

[R32]

@neox
Danke für's Lob! Der größte Teil gebührt natürlich nach wie vor dem Skynet-Macher. Aber freut mich, wenn jemand meine Änderungen als nützlich empfindet.
Der nntp-Scan ist von mir bisher übrigens komplett unangetastet geblieben. Ich hab es auch nur einmal kurz ausprobiert und war nicht so angetan vom Ergebnis. Kannst ja mal berichten ...

@Plastic
Du beziehst dich wahrscheinlich auf meine Anfrage im Thread von spoke1. Sorry, ich hab den Termin heute nicht mehr ernst genommen, da auch nicht viel Feedback kam und es wohl auch wieder zu kurzfristig geworden waere.

[willi123]

Kellerrechner leider ausgefallen, musste Stubenrechner nehmen, also P4, 3Ghz, 1GBRAM, TT-Budgetkarte, XO, SP2:
Files:38, added 188[1,73GB] ok:109 [477,37MB] incomp:1 [6.07MB] del 40 [253.91MB]
(Wetter bescheiden, Gewitter )
Wer kann mehr, hoffentlich nicht LINUX...
 

[Plastic]

@ R32
Danke für deine Arbeit.

Habe am Wochenende mit nntp-Files getestet mit v1.12 und Sk*netX...
Bei der v1.12 werden viele Dateien 1GB groß (Sk*netX sind die Dateien OK!
Am Anfang der Datei sind einige Daten die verwendet werden können, Rest nicht verwendbar!
Der Fehler kommt vermutlich  von der original Version 0.91, werde es noch testen!
R32! kannst Du dir das einmal anschauen? Würde gerne mit deiner überarbeiteten Version nntp testen.
Vorteil von nntp: kein Virus, kein Pas*wor*.


Was haltet Ihr von einem Test mit unterschiedlichen Puffergrößen in der Sk*net.ini
#...tcp/ip
Tcp_timeout=300000
Tcp_windows=8M
Tc_buffer=32k
… usw.
Habe in den letzten Tagen viel darüber gelesen, habe aber noch nicht herausbekommen bei welchen Werten eine Verbesserung möglich ist.
   Kann ich damit meinen Cache optimieren? Hatte beim Test am Sonntag 100%

Gruß, plastic

[willi123]

@R32
Da kann ich mich nur anschliessen, wenn Du in nntp noch ein bisschen Zeit investieren könntest wäre sicher vielen geholfen. Leider wirkt auch die rules.txt nicht bei nntp, wer auf 8°W arbeitet fängt damit leider auch einen Haufen Müll da er nichts ausschliessen kann. Hast Du denn noch Zeit???

[R32]

NNTP habe ich mir jetzt mal angeschaut. Da ich nur auf 19,2°O komme, ist mein größtes Problem das Testen. Bei 3 oder 4 nntp Streams in 6 Stunden wird es wohl länger dauern, bis ich zu sinnvollen Erkenntnissen gelangen kann. 

@willi123
Was meinst Du denn konkret?
Meinst Du, daß man per regex die Newsgroups filtern kann? Das sieht nicht so kompliziert aus ...
Auf Dateinamen zu filtern, könnte "etwas" aufwendiger (Programmieraufwand und CPU Leistung zur Laufzeit) werden.

@plastic
Direkt für den cache sind eher diese Werte zuständig:
cache_max_block=128k
cache_scan=5000
cache_flush=10000

Änderungen an den Tcp_* Parametern hab ich auch schon ausprobiert. Allerdings hat man ja nie den direkten Vergleich zu vorher. Insofern ist Deine Idee (Synchron Streaming mit verschiedenen Parametern) genau richtig.

Ich fürchte nur, es werden wieder nur wenige bereit sein, bei soetwas mitzumachen. Obwohl die 1.13 schon über 70 mal (Win + Linux) heruntergeladen wurde ...
Eigentlich sehr schade!

Mit dem Schritt, die Änderungen hier zum Download bereitzustellen, hatte ich mir eigentlich erhofft, schneller und besser an den  richtigen Schrauben drehen zu können. Oder bin ich zu anspruchsvoll? Sind 4 oder 5 Aktive von 70 schon viel?
Man kann's wohl nicht ändern.
Mach doch einfach mal einen Aufruf mit Einstellungen, Terminvorschlag etc.

[buster]

1. wo kann ich die 1.13 runter laden?

2. entschuldigung das ich wieder nicht dabei war ich hatte da einfach keine zeit

sonatag nachmittag hätte ich z.b. nichts vor (hoffe ich) oder nächste woche vormittag so um 10 (hab zur zeit frei)

[R32]

1. wo kann ich die 1.13 runter laden?

Sorry, war wohl doch schon zu spaet. Ich meinte natuerlich die 1.12.

2. entschuldigung das ich wieder nicht dabei war ich hatte da einfach keine zeit

sonatag nachmittag hätte ich z.b. nichts vor (hoffe ich) oder nächste woche vormittag so um 10 (hab zur zeit frei)

Vielleicht ist es auch unguenstig, dass gerade Urlaubszeit ist. Oder die Leute brauchen die Karten rund um die Uhr fuer die "offenen" Kanaele ...
Sonntag passt. Man muss ja mittlerweile auch nur noch in der benchmark.ini die Zeit einstellen und irgendwann vorher starten.

[willi123]

@R32
Ich meinte nicht nach Inhalt filtern, sondern so wie bei http die rules.txt bezüglich filtern nach MAC-Adressen wirkt. Also, bestimmte MACs für nntp ein- bzw. ausschliessen um die Menge zu reduzieren. Nutzt man jetzt (bei skynet 0.90 die ich z.B. bevorzuge) die rules.txt wirkt das MAC-Filter nur für die http-Daten, bei nntp werden immer alle genommen.
(Am Sonntag wär ich natürlich dabei, bitte Aufgaben stellen und es geht los!)

[Plastic]

diese woche habe ich leider keine zeit zu testen!
plastic