Re: [Python] [OT] Cheap MapReduce in Go
Ciao GollumOne! 2015-07-16 10:02 GMT+02:00 Gollum1 gollum1.smeag...@gmail.com: Ma esiste una ml di utenti italiani di go? Potremmo anche crearla, almeno queste cose non sarebbero più ot. Stavo per segnalarlo ma non sapevo bene come fare a non sembrare bacchettone ma visto che sei andato avanti tu... :) Si c'è: https://groups.google.com/forum/#!forum/golangit è a scarsissimo traffico ed è un peccato, le discussioni fatte qui negli ultimi mesi meritavano di andare di là, o meglio, gente che sta di là meritava di assistere alle discussioni in oggetto. Oppure modifichiamo il nome a questa lista, visto che sono più i post su go (peraltro interessantissimi) che i post su python. Sì, ultimamente l'OT è una fetta importante del traffico :P Certo, è difficile differenziale totalmente, visto che la maggior parte dei post nascono come comparazione. Se di là sono daccordo, a me il crosspost quando è utile piace Buon fresco -- M. @maxpippi :: http://dev.pippi.im/ ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] [OT] Cheap MapReduce in Go
Il 14 luglio 2015 07:51:36 CEST, Giovanni Porcari giovanni.porc...@softwell.it ha scritto: Il giorno 14/lug/2015, alle ore 01:37, enrico franchi enrico.fran...@gmail.com ha scritto: 2015-07-14 0:28 GMT+01:00 enrico franchi enrico.fran...@gmail.com: On Mon, Jul 13, 2015 at 7:35 PM, Riccardo Magliocchetti riccardo.magliocche...@gmail.com wrote: Qualche tempo fa era uscito qualcosa del genere dove veniva usata una commovente pipeline: http://aadrake.com/command-line-tools-can-be-235x-faster-than-your-hadoop-cluster.html E vorrei vedere! Chiunque faccia big data per davvero concorderebbe: 2 GB non e' abbastanza per pagare l'overhead di Hadoop e compagnia briscola. E ancora grep-sized. Comunque l'articolo e' spettacolare. Anche la metodologia e' molto solida e rigorosa. Piacevole lettura, grazie! Concordo. Piacevolissimo e istruttivo. Questa è la vera differenza tra farsi le ‘pippe' e farsi le ‘pipe’ ;) G ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python Ma esiste una ml di utenti italiani di go? Potremmo anche crearla, almeno queste cose non sarebbero più ot. Oppure modifichiamo il nome a questa lista, visto che sono più i post su go (peraltro interessantissimi) che i post su python. Certo, è difficile differenziale totalmente, visto che la maggior parte dei post nascono come comparazione. Buon Caronte a tutti (qui si boccheggia). Byez -- Gollum1 Teoro, dov'è il mio teoro Inviato dal mio dispositivo Android con K-9 Mail. Perdonate la brevità e gli errori di battitura (maledetto correttore automatico). ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] [OT] Cheap MapReduce in Go
Il giorno 14/lug/2015, alle ore 01:37, enrico franchi enrico.fran...@gmail.com ha scritto: 2015-07-14 0:28 GMT+01:00 enrico franchi enrico.fran...@gmail.com: On Mon, Jul 13, 2015 at 7:35 PM, Riccardo Magliocchetti riccardo.magliocche...@gmail.com wrote: Qualche tempo fa era uscito qualcosa del genere dove veniva usata una commovente pipeline: http://aadrake.com/command-line-tools-can-be-235x-faster-than-your-hadoop-cluster.html E vorrei vedere! Chiunque faccia big data per davvero concorderebbe: 2 GB non e' abbastanza per pagare l'overhead di Hadoop e compagnia briscola. E ancora grep-sized. Comunque l'articolo e' spettacolare. Anche la metodologia e' molto solida e rigorosa. Piacevole lettura, grazie! Concordo. Piacevolissimo e istruttivo. Questa è la vera differenza tra farsi le ‘pippe' e farsi le ‘pipe’ ;) G ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] [OT] Cheap MapReduce in Go
Il 13/07/2015 20:20, Carlo Miron ha scritto: http://marcio.io/2015/07/cheap-mapreduce-in-go/ tl;dr Sometimes you don’t need overly complex infrastructures or systems to do a job well. In this case, we were running these exact same aggregations over close to 20 EMR instances that would take a few minutes to execute the entire MapReduce job over hundreds of Gigabytes of data each day. When we decided to take a look at this problem again, we rewrote this task using Go, and we now simply run this on a single 8-core machine and the whole daily execution takes about 10 minutes. We cut a lot of the costs associated with maintaining and running these EMR systems and we just schedule this Go app to run once a day over our daily dataset. You can find the entire code here: https://gist.github.com/mcastilho/e051898d129b44e2f502 Qualche tempo fa era uscito qualcosa del genere dove veniva usata una commovente pipeline: http://aadrake.com/command-line-tools-can-be-235x-faster-than-your-hadoop-cluster.html -- Riccardo Magliocchetti @rmistaken http://menodizero.it ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
[Python] [OT] Cheap MapReduce in Go
http://marcio.io/2015/07/cheap-mapreduce-in-go/ tl;dr Sometimes you don’t need overly complex infrastructures or systems to do a job well. In this case, we were running these exact same aggregations over close to 20 EMR instances that would take a few minutes to execute the entire MapReduce job over hundreds of Gigabytes of data each day. When we decided to take a look at this problem again, we rewrote this task using Go, and we now simply run this on a single 8-core machine and the whole daily execution takes about 10 minutes. We cut a lot of the costs associated with maintaining and running these EMR systems and we just schedule this Go app to run once a day over our daily dataset. You can find the entire code here: https://gist.github.com/mcastilho/e051898d129b44e2f502 © -- |:**THE BEER-WARE LICENSE** (Revision 42): | ca...@golang.it wrote this mail. As long as you retain | this notice you can do whatever you want with this stuff. | If we meet some day, and you think this stuff is worth it, | you can buy me a beer in return. |--Carlo Miron : ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] [OT] Cheap MapReduce in Go
On Mon, Jul 13, 2015 at 7:35 PM, Riccardo Magliocchetti riccardo.magliocche...@gmail.com wrote: Qualche tempo fa era uscito qualcosa del genere dove veniva usata una commovente pipeline: http://aadrake.com/command-line-tools-can-be-235x-faster-than-your-hadoop-cluster.html E vorrei vedere! Chiunque faccia big data per davvero concorderebbe: 2 GB non e' abbastanza per pagare l'overhead di Hadoop e compagnia briscola. E ancora grep-sized. . ..: -enrico- ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] [OT] Cheap MapReduce in Go
2015-07-14 0:28 GMT+01:00 enrico franchi enrico.fran...@gmail.com: On Mon, Jul 13, 2015 at 7:35 PM, Riccardo Magliocchetti riccardo.magliocche...@gmail.com wrote: Qualche tempo fa era uscito qualcosa del genere dove veniva usata una commovente pipeline: http://aadrake.com/command-line-tools-can-be-235x-faster-than-your-hadoop-cluster.html E vorrei vedere! Chiunque faccia big data per davvero concorderebbe: 2 GB non e' abbastanza per pagare l'overhead di Hadoop e compagnia briscola. E ancora grep-sized. Comunque l'articolo e' spettacolare. Anche la metodologia e' molto solida e rigorosa. Piacevole lettura, grazie! -- . ..: -enrico- ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
