Re: [OT] Argument list too long beim kopieren vieler Dateien [OT]

2006-08-24 Diskussionsfäden Michelle Konzack
Am 2006-08-03 18:00:12, schrieb Peter Wiersig:

 Der Grossteil meines Spams wird an anderen Merkmalen als dem Body
 klassifiziert und ich erlebe in den letzten Wochen einem Zug der
 Spammer die versuchen speziell Bayes Filter zu umgehen. Schon
 aufgefallen, das viele Worte in Betreffzeilen einen
 Linux/OSS-Software Bezug erhalten?

Auch, aber komplette Textblöcke, die aus Linux mailinglisten kopiert
wurden.  Da meine E-Mails in zwei PostgreSQL Datenbanken gespeichert
werden habe ich hier höllenmäßigs Such- und Vergleichfunktionen mit
Hilfe von tsearch2...

Fast alle Textblöcke habe ich irgendwo auf den 106 Mailinglisten auf
denen ich bin wiedergefunden.

Greetings
Michelle Konzack
Systemadministrator
Tamay Dogan Network
Debian GNU/Linux Consultant


-- 
Linux-User #280138 with the Linux Counter, http://counter.li.org/
# Debian GNU/Linux Consultant #
Michelle Konzack   Apt. 917  ICQ #328449886
   50, rue de Soultz MSM LinuxMichi
0033/6/6192519367100 Strasbourg/France   IRC #Debian (irc.icq.com)


-- 
Haeufig gestellte Fragen und Antworten (FAQ): 
http://www.de.debian.org/debian-user-german-FAQ/

Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED]
mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)



Re: [OT] Argument list too long beim kopieren vieler Dateien [OT]

2006-08-04 Diskussionsfäden Christian Frommeyer
Am Donnerstag 03 August 2006 21:05 schrieb Matthias Haegele:
 Echt nicht? Dann liegen die 60.000 Spam-Mails hier ja völlig
 umsonst rum...

 Wie alt sind denn die, und wie ist dein Verhältnis Spammails zu
 Hammails ca?.

Die ältesten etwa 2 Jahre. Das Verhältnis ist wohl nicht ganz 1:1 
(Vorteil für die Spammails) scheinbar also auch eher ungünstig.

 (Bei mir ca.  300 Spam zu ~6 ham) (Fast ausschliesslich
 Listenmails mit 1% priv. Mails) ...

Mein Listenarchiv habe ich aufgegeben.

Gruß Chris

-- 
A: because it distrupts the normal process of thought
Q: why is top posting frowned upon



[OT] Argument list too long beim kopieren vieler Dateien [OT]

2006-08-03 Diskussionsfäden Matthias Haegele

Hallo Ihr!

Ziel:
alle Dateien im Unterverzeichnis ls -la
/home/username/Maildir/.Inbox_OLD/cur/ nach /tmp/ham/
zu kopieren. (um sie mit sa-learn --ham später zu lernen ...)

Das funktioniert:
---

cp /home/mhaegele/Maildir/.Inbox_OLD/cur/* /tmp/ham/
-su: /bin/cp: Argument list too long

Da dort 47342 Dateien liegen funktioniert das nicht :

(ls -la /home/username/Maildir/.Inbox_OLD/cur/ | wc -l 47344)
-su: /bin/cp: Argument list too long

Lösung: ins Verzeichnis /home/.../cur/ wechseln und dort:

find . -name * -exec cp {} /tmp/ham/.Inbox_OLD/ \;
-

Was so nicht funktioniert:

So nun bräuchte ich das gleiche (Die Dateien sind im Zielverzeichnis ja 
nicht weniger geworden ...)

für u. a. Befehl, irgendwie komme ich nicht auf die Syntax, jemand nen Tipp?


sudo -u amavis -H sa-learn --ham --showdots /tmp/ham/.Inbox_OLD/*

(ein chown -R amavis /tmp/ham/.Inbox_OLD/ habe ich gemacht ...)

als user darf man das -exec nicht ausführen?.

Falls ich mich etwas wirr ausgedrückt habe, beantworte ich gerne 
Rückfragen ...


Danke für jeden Hinweis
MH


--
Haeufig gestellte Fragen und Antworten (FAQ): 
http://www.de.debian.org/debian-user-german-FAQ/


Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED]
mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)



Re: [OT] Argument list too long beim kopieren vieler Dateien [OT]

2006-08-03 Diskussionsfäden Peter Wiersig
On Thu, Aug 03, 2006 at 05:38:22PM +0200, Matthias Haegele wrote:
 
 Ziel:
 alle Dateien im Unterverzeichnis ls -la
 /home/username/Maildir/.Inbox_OLD/cur/ nach /tmp/ham/
 zu kopieren. (um sie mit sa-learn --ham später zu lernen ...)

Du weisst das man Bayes-Filter nicht mit alten Daten fuettern
soll? Lieber fuer einige Wochen auf das automatische filtern
verzichten und stattdessen mit aktuellen Dateien arbeiten.

 So nun bräuchte ich das gleiche (Die Dateien sind im
 Zielverzeichnis ja nicht weniger geworden ...) für u. a. Befehl,
 irgendwie komme ich nicht auf die Syntax, jemand nen Tipp?

find | xargs und --target bei cp, mv etc. benutzen.

Peter


-- 
Haeufig gestellte Fragen und Antworten (FAQ): 
http://www.de.debian.org/debian-user-german-FAQ/

Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED]
mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)



Re: [OT] Argument list too long beim kopieren vieler Dateien [OT]

2006-08-03 Diskussionsfäden Christian Frommeyer
Am Donnerstag 03 August 2006 17:48 schrieb Peter Wiersig:
 Du weisst das man Bayes-Filter nicht mit alten Daten fuettern
 soll?

Echt nicht? Dann liegen die 60.000 Spam-Mails hier ja völlig umsonst 
rum...

Gruß Chris

-- 
A: because it distrupts the normal process of thought
Q: why is top posting frowned upon



Re: [OT] Argument list too long beim kopieren vieler Dateien [OT]

2006-08-03 Diskussionsfäden Peter Wiersig
On Thu, Aug 03, 2006 at 05:53:04PM +0200, Christian Frommeyer wrote:
 Am Donnerstag 03 August 2006 17:48 schrieb Peter Wiersig:
  Du weisst das man Bayes-Filter nicht mit alten Daten fuettern
  soll?
 
 Echt nicht? Dann liegen die 60.000 Spam-Mails hier ja völlig
 umsonst rum...

http://spamassassin.apache.org/full/3.0.x/dist/doc/sa-learn.html#effective_training

Zum einen wandelt sich auch Spam relativ haeufig, zum anderen
werden die Jahreszahlen dann zu hoch bewertet.

Ich trainiere meine Filter lieber nur mit aktuellen Daten. Am
effektivsten lernt z.B. POPFile nur wenn dieser Fehler macht. In
den Filter von SA habe ich noch nicht allzutief hineingeschaut,
wuerde aber auf Grund meines Kenntnisstands von Bayes-Filtern die
auto-learn Funktion nicht aktivieren.

Der Grossteil meines Spams wird an anderen Merkmalen als dem Body
klassifiziert und ich erlebe in den letzten Wochen einem Zug der
Spammer die versuchen speziell Bayes Filter zu umgehen. Schon
aufgefallen, das viele Worte in Betreffzeilen einen
Linux/OSS-Software Bezug erhalten?

Peter


-- 
Haeufig gestellte Fragen und Antworten (FAQ): 
http://www.de.debian.org/debian-user-german-FAQ/

Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED]
mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)



Re: [OT] Argument list too long beim kopieren vieler Dateien [OT]

2006-08-03 Diskussionsfäden Christian Frommeyer
Am Donnerstag 03 August 2006 18:00 schrieb Peter Wiersig:
 http://spamassassin.apache.org/full/3.0.x/dist/doc/sa-learn.html#effe
ctive_training

 Zum einen wandelt sich auch Spam relativ haeufig, zum anderen
 werden die Jahreszahlen dann zu hoch bewertet.

Danke für den Link. Ja klingt logisch. Also weg mit dem Müll ;)

Gruß Chris

-- 
A: because it distrupts the normal process of thought
Q: why is top posting frowned upon



Re: [OT] Argument list too long beim kopieren vieler Dateien [OT]

2006-08-03 Diskussionsfäden Matthias Haegele

Peter Wiersig schrieb:

On Thu, Aug 03, 2006 at 05:53:04PM +0200, Christian Frommeyer wrote:


Am Donnerstag 03 August 2006 17:48 schrieb Peter Wiersig:


Du weisst das man Bayes-Filter nicht mit alten Daten fuettern
soll?


Die Mails sind fast ausschliesslich Mails diesen Jahres (diverse 
Mailinglisten) ...




Echt nicht? Dann liegen die 60.000 Spam-Mails hier ja völlig
umsonst rum...


Wie alt sind denn die, und wie ist dein Verhältnis Spammails zu Hammails 
ca?.


(Bei mir ca.  300 Spam zu ~6 ham) (Fast ausschliesslich Listenmails 
mit 1% priv. Mails) ...


Bei mir wird das meiste momentan mittels Postfix restrictions 
rausgefiltert, das scheint immer noch das effektivste zu sein (s.u. bei 
Interesse).




http://spamassassin.apache.org/full/3.0.x/dist/doc/sa-learn.html#effective_training

Zum einen wandelt sich auch Spam relativ haeufig, zum anderen
werden die Jahreszahlen dann zu hoch bewertet.

Ich trainiere meine Filter lieber nur mit aktuellen Daten. Am
effektivsten lernt z.B. POPFile nur wenn dieser Fehler macht. In
den Filter von SA habe ich noch nicht allzutief hineingeschaut,
wuerde aber auf Grund meines Kenntnisstands von Bayes-Filtern die
auto-learn Funktion nicht aktivieren.


Wieso nicht? mit manueller Korrektur bei Falschentscheidungen?
Ein Nachteil ist die AWL-Score (autowhiteliste) die bei mir bei Spams 
an die Mailinglisten immer wieder dazwischenfunkt.
Der Bayes-Test liegt bei mir sehr oft goldrichtig (vor allem bei 
BAYES_99), false-positives hatte ich hierdurch bis jetzt noch nicht.
Andererseits rutschen einige neuere Spammails durch bei denen nur 
BAYES_40 anschlägt.




Der Grossteil meines Spams wird an anderen Merkmalen als dem Body
klassifiziert und ich erlebe in den letzten Wochen einem Zug der
Spammer die versuchen speziell Bayes Filter zu umgehen. Schon
aufgefallen, das viele Worte in Betreffzeilen einen
Linux/OSS-Software Bezug erhalten?


Solchen Spam habe ich bis jetzt nicht bemerkt ...


Peter


Grüsse
MH


btw: ich setzte SA aus unstable ein (auf dem Server), die Abhängigkeiten 
sind hier ja nicht zu wild ...


benutzt ihr eigentlich sa-update?

Hat jemand eine Rulesammlung regex f. Postfix um backscatter der 
verbreiteten Virusrückmeldungen rauszufiltern (auch auf japanisch ;-) ).


pflogsumm /var/log/mail.log


message bounce detail (by relay)

  127.0.0.1[127.0.0.1] (total: 1)
 1   5.7.1 Message content rejected, UBE, id=00942-07 (in reply ...

message reject detail
-
  RCPT
Helo command rejected: Dont use my IP Address go away (total: 2)
   1   81.185.155.186
   1   210.105.42.233
Helo command rejected: need fully-qualified hostname (total: 4)
   1   62.65.183.35
   1   fastres.net
   1   124.106.233.21
   1   219.135.156.98
Recipient address rejected: User unknown in local recipient table (total: 
1)   1   [EMAIL PROTECTED]
Sender address rejected: Domain not found (total: 1)
   1   [EMAIL PROTECTED]
Sender address rejected: undeliverable address (total: 2)
   1   [EMAIL PROTECTED]
   1   [EMAIL PROTECTED]

message reject warning detail: none

message hold detail: none

message discard detail: none

smtp delivery failures: none

Warnings

  smtpd (total: 5)
 2   smtpd_peer_init: 81.215.200.161: address not listed for hostnam...
 1   smtpd_peer_init: 124.106.233.21: address not listed for hostnam...
 1   smtpd_peer_init: 68.93.150.140: address not listed for hostname...
 1   Unable to look up MX host for mail2senegall.com: Host not found





--
Haeufig gestellte Fragen und Antworten (FAQ): 
http://www.de.debian.org/debian-user-german-FAQ/


Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED]
mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)