Re: [Python] Consigli da voi esperti :-)

2009-12-04 Per discussione Valerio Turturici
Carlos Catucci ha scritto: Beh sono in gran parte manuali scaricati da knowfree.net http://knowfree.net. Se mi date uno spazio dove poggiare tutto il materiale (sono due cartelle web e tradizionale, per rispettivi 763 e 402 Mb). Ah allora no, pensavo fossero link. Su knowfree.net ci si

Re: [Python] Consigli da voi esperti :-)

2009-12-04 Per discussione Carlos Catucci
fossi in voi non lo farei alla luce del sole, quel knowfree.net sembra free as in robbery Onestamente io scarico da li copie pdf di manuali che acquisto, perche' per leggere la carta resta la carta (almeno fino a che non prendo un lettore con e-paper tipo l''Iliad) ma se devi fare un search

Re: [Python] Consigli da voi esperti :-)

2009-12-04 Per discussione Valerio Turturici
Carlos Catucci ha scritto: Onestamente io scarico da li copie pdf di manuali che acquisto, perche' per leggere la carta resta la carta (almeno fino a che non prendo un lettore con e-paper tipo l''Iliad) ma se devi fare un search rapido ... [o sei Johnny 5 (robot di Corto circuito) oppure

[Python] Unicode e ipython (era: Re: Usare Unicode e charset)

2009-12-04 Per discussione Pietro Battiston
Ho seguito con interesse la discussione: io so gestire dignitosamente l'unicode nei programmi... ma ancora non ho mai capito come si comporta ipython a riguardo: pie...@vousci:~$ python Python 2.6.4 (r264:75706, Nov 2 2009, 14:44:17) [GCC 4.4.1] on linux2 Type help, copyright, credits or

Re: [Python] Unicode e ipython (era: Re: Usare Unicode e charset)

2009-12-04 Per discussione Marco Mariani
Pietro Battiston wrote: in che encoding mi sta parlando? E soprattutto perché? http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=409710 http://lists.ipython.scipy.org/pipermail/ipython-tickets/2007-April/33.html -- This e-mail (and any attachment(s)) is strictly confidential and for

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Daniele Varrazzo
On Fri, 4 Dec 2009 12:34:15 +0100, Ernesto e.pica...@unical.it wrote: Per ora il modo più semplice che ho trovato è: import os f=open(infile) for i in f: l=(i.strip()).split(\t) out=open(l[2]+.txt,a) out.write(i) out.close() f.close() Lanciato su un file di

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Ernesto
Perchè apri e chiudi i file ad ogni riga? Ogni volta gli fai flushare il buffer. Lasciali aperti: Ho provato a lasciarli aperti ma ho ottenuto un errore che mi indicava che avevo più di 24 file aperti. In realtà i file di output che mi aspetto sono più di 1000. Ernesto

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Ivan Giuliani
On Fri, Dec 4, 2009 at 12:40 PM, Daniele Varrazzo p...@develer.com wrote: On Fri, 4 Dec 2009 12:34:15 +0100, Ernesto e.pica...@unical.it wrote: Per ora il modo più semplice che ho trovato è: import os f=open(infile) for i in f:       l=(i.strip()).split(\t)       out=open(l[2]+.txt,a)    

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Giovanni Marco Dall'Olio
2009/12/4 Ernesto e.pica...@unical.it: import os f=open(infile) for i in f:        l=(i.strip()).split(\t)        out=open(l[2]+.txt,a)        out.write(i)        out.close() f.close() Scusami, ma io questo lo farei con gawk (sempre che tu sia su un sistema unix) $: gawk '{print $0

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Marco Beri
2009/12/4 Ernesto e.pica...@unical.it Perchè apri e chiudi i file ad ogni riga? Ogni volta gli fai flushare il buffer. Lasciali aperti: Ho provato a lasciarli aperti ma ho ottenuto un errore che mi indicava che avevo più di 24 file aperti. In realtà i file di output che mi aspetto sono più

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Marco Beri
2009/12/4 Giovanni Marco Dall'Olio dalloli...@gmail.com Scusami, ma io questo lo farei con gawk (sempre che tu sia su un sistema unix) $: gawk '{print $0 output_$3.txt}' input.txt Per esperienza, i tool unix sono molto piu' veloci di quanto tu possa fare in python (beh, sono scritti in C o

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione David Mugnai
On Fri, 2009-12-04 at 12:40 +0100, Daniele Varrazzo wrote: On Fri, 4 Dec 2009 12:34:15 +0100, Ernesto e.pica...@unical.it wrote: Per ora il modo più semplice che ho trovato è: import os f=open(infile) for i in f: l=(i.strip()).split(\t) out=open(l[2]+.txt,a)

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione David Mugnai
On Fri, 2009-12-04 at 12:49 +0100, Ernesto wrote: Perchè apri e chiudi i file ad ogni riga? Ogni volta gli fai flushare il buffer. Lasciali aperti: Ho provato a lasciarli aperti ma ho ottenuto un errore che mi indicava che avevo più di 24 file aperti. In realtà i file di

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Marco Beri
2009/12/4 David Mugnai d...@gnx.it oltre a questo (che cmq porterà i maggiori benefici) potremmo guadagnare qualcosa anche con: Il link che ho postato usa un approccio diverso. Usa delle liste in memoria e scrive solo quando ha raggiunto una certa soglia. Solo due file aperti al massimo ed

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Daniele Varrazzo
On Fri, 04 Dec 2009 12:59:52 +0100, David Mugnai d...@gnx.it wrote: 3) se le linee nel file hanno lunghezza fissa non usare il for ma andare di f.read(qualchekb) file.__iter__ fa questo dietro le quinte. Infatti se vuoi davvero creare un programma filtro in Python devi non solo usare python

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Ernesto
puoi aumentare il numero di file aperti contemporanemante, su che os stai lavorando? Su OS X 10.5.___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Ernesto
oltre a questo (che cmq porterà i maggiori benefici) potremmo guadagnare qualcosa anche con: Il link che ho postato usa un approccio diverso. Usa delle liste in memoria e scrive solo quando ha raggiunto una certa soglia. Solo due file aperti al massimo ed esecuzione molto veloce

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Marco Beri
2009/12/4 Ernesto e.pica...@unical.it oltre a questo (che cmq porterà i maggiori benefici) potremmo guadagnare qualcosa anche con: Il link che ho postato usa un approccio diverso. Usa delle liste in memoria e scrive solo quando ha raggiunto una certa soglia. Solo due file aperti al

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione David Mugnai
On Fri, 2009-12-04 at 13:10 +0100, Daniele Varrazzo wrote: On Fri, 04 Dec 2009 12:59:52 +0100, David Mugnai d...@gnx.it wrote: 3) se le linee nel file hanno lunghezza fissa non usare il for ma andare di f.read(qualchekb) file.__iter__ fa questo dietro le quinte. Infatti se vuoi davvero

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione David Mugnai
On Fri, 2009-12-04 at 13:39 +0100, Daniele Varrazzo wrote: On Fri, 4 Dec 2009 13:32:56 +0100, Marco Beri marcob...@gmail.com wrote: [snip] Ok, attento in uscita dal loop: devi scrivere le ultime righe rimaste nel dizionario. E ricordati di avere un limite massimo di righe tale da

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione David Mugnai
On Fri, 2009-12-04 at 13:12 +0100, Ernesto wrote: puoi aumentare il numero di file aperti contemporanemante, su che os stai lavorando? Su OS X 10.5. quindi uno unix based, ci sarà sicuramente un comando per aumentare il numero permesso di file aperti contemporaneamente, magari è

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Nicola Larosa
Daniele Varrazzo wrote: Io infatti avrei salvato tutti i dizionari dopo un numero prefissato di righe lette dal file di input. In questo modo l'occupazione di memoria è controllata e le prestazioni credo siano in linea (qualche file potrebbe avere poche righe, ma se su 1000 file aperti si

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Manlio Perillo
Nicola Larosa ha scritto: [...] David Mugnai wrote: non stiamo reinventando quello che già fa il sistema operativo con il file buffer? invece di scrivere logica addizionale che mima quello che fa già il kernel potremmo provare ad aprire i file con bufsize=10M :) Con quello istruisci il

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Manlio Perillo
Manlio Perillo ha scritto: Nicola Larosa ha scritto: [...] David Mugnai wrote: Ah, scusa, ho riposto a te invece che a David. Ciao Manlio ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Daniele Varrazzo
On Fri, 04 Dec 2009 14:38:44 +0100, Nicola Larosa n...@teknico.net wrote: Daniele Varrazzo wrote: Io infatti avrei salvato tutti i dizionari dopo un numero prefissato di righe lette dal file di input. In questo modo l'occupazione di memoria è controllata e le prestazioni credo siano in linea

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione David Mugnai
On Fri, 2009-12-04 at 15:08 +0100, Daniele Varrazzo wrote: [snip] No, non stiamo reinventando i buffer: li stiamo usando meglio. hmm, più che meglio forse in maniera diversa (e magari più opportuna a seconda del problema) 24 è un limite basso, ma se il numero di file potenzialmente da

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione David Mugnai
On Fri, 2009-12-04 at 14:56 +0100, Manlio Perillo wrote: Nicola Larosa ha scritto: [...] David Mugnai wrote: non stiamo reinventando quello che già fa il sistema operativo con il file buffer? invece di scrivere logica addizionale che mima quello che fa già il kernel potremmo provare ad

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Massimo Capanni
Gawk per Windows funziona discretamente bene. Mi ha processato file di 900 mega in pochi secondi liberandomi di molto lavoro manuale :) Il 04 dicembre 2009 12.59, Marco Beri marcob...@gmail.com ha scritto: 2009/12/4 Giovanni Marco Dall'Olio dalloli...@gmail.com Scusami, ma io questo lo farei

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Giovanni Marco Dall'Olio
2009/12/4 Massimo Capanni massimo.capa...@gmail.com: Gawk per Windows funziona discretamente bene. Mi ha processato file di 900 mega in pochi secondi liberandomi di molto lavoro manuale :) effettivamente sì, se il problema postato dall'op é per questioni di lavoro io utilizzerei gawk, senza

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Pietro Battiston
Il giorno ven, 04/12/2009 alle 13.39 +0100, Daniele Varrazzo ha scritto: On Fri, 4 Dec 2009 13:32:56 +0100, Marco Beri marcob...@gmail.com wrote: 2009/12/4 Ernesto e.pica...@unical.it oltre a questo (che cmq porterà i maggiori benefici) potremmo guadagnare qualcosa anche con:

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Daniele Varrazzo
On Fri, 04 Dec 2009 19:05:12 +0100, Pietro Battiston too...@email.it wrote: Il giorno ven, 04/12/2009 alle 13.39 +0100, Daniele Varrazzo ha scritto: Io infatti avrei salvato tutti i dizionari dopo un numero prefissato di righe lette dal file di input. In questo modo l'occupazione di memoria è

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Pietro Battiston
Il giorno ven, 04/12/2009 alle 19.33 +0100, Daniele Varrazzo ha scritto: On Fri, 04 Dec 2009 19:05:12 +0100, Pietro Battiston too...@email.it wrote: Il giorno ven, 04/12/2009 alle 13.39 +0100, Daniele Varrazzo ha scritto: Io infatti avrei salvato tutti i dizionari dopo un numero prefissato

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Daniele Varrazzo
On Fri, 04 Dec 2009 20:16:05 +0100, Pietro Battiston too...@email.it wrote: Il giorno ven, 04/12/2009 alle 19.33 +0100, Daniele Varrazzo ha scritto: On Fri, 04 Dec 2009 19:05:12 +0100, Pietro Battiston too...@email.it wrote: Il giorno ven, 04/12/2009 alle 13.39 +0100, Daniele Varrazzo ha

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Pietro Battiston
Il giorno ven, 04/12/2009 alle 23.49 +0100, Daniele Varrazzo ha scritto: On Fri, 04 Dec 2009 20:16:05 +0100, Pietro Battiston too...@email.it wrote: Il giorno ven, 04/12/2009 alle 19.33 +0100, Daniele Varrazzo ha scritto: On Fri, 04 Dec 2009 19:05:12 +0100, Pietro Battiston too...@email.it

Re: [Python] split di file di grandi dimensioni

2009-12-04 Per discussione Daniele Varrazzo
On Sat, 05 Dec 2009 00:32:22 +0100, Pietro Battiston too...@email.it wrote: def processa_linea(linea): contenuto = estrai_contenuto(linea) target = estrai_target(linea) if not target in self.diz: self.diz[target] = []