On 2013-03-31 22:58, Aplemaser wrote:
Attualmente il tempo di importazione è di 4 ore o poco meno. Voglio
ridurre
il tempo, ma non so fino a quanto posso arrivare. Tutto è nato perchè
ho
notato che 3 core su 4 dormono i sonni dei giusti mentre l'altro
corse
lavora come un pazzo e quindi vorrei impegnare la CPU per ridurre
questi
tempi.
Hai ragione: facendo andare in parallelo i core sfrutteresti meglio la
macchina, e il tuo problema non è I/O bound altrimenti non vedresti
neanche quel singolo core maxxato.
Come farlo non è gratis e non c'è una ricetta generica. Se il tuo input
è su tanti file, lancia 4 processi in parallelo e fai lavorare ognuno su
1/4 dell'input. Se il file di input è uno solo puoi spezzare il processo
in due parti: uno che legge l'input, lo spezza e ne manda i pezzi in una
coda; altri 3-4 processi che leggono dalla coda in round-robin e fanno
il loro lavoro sul pezzetto. Per questo tipo di lavori ZeroMQ è
perfetto: ha poco overhead e le primitive giuste per questo tipo di
coordinazione. Come detto non esistono ricette generiche, ma esistono
dei pattern generici, e 0MQ rende abbastanza semplice implementarli.
Tieni conto che, dopo l'elaborazione, passare i dati a MySQL come stai
probabilmente facendo (con delle INSERT) non è il modo più efficiente.
Su PostgreSQL usare COPY è almeno 20 volte più efficiente di INSERT per
il bulk-load dei dati. Se MySQL è opzionale come dici, abbandonalo e usa
postgres: psycopg offre supporto a COPY da Python
<http://initd.org/psycopg/docs/usage.html#copy>. Se resti in MySQL penso
tu possa usare LOAD DATA INFILE per velocizzare il caricamento, ma è un
po' più articolato (devi salvare i dati in un file temporaneo o creare
una pipe).
--
Daniele Varrazzo - Develer S.r.l.
http://www.develer.com
_______________________________________________
Python mailing list
Python@lists.python.it
http://lists.python.it/mailman/listinfo/python
