Mantovani++
2014-05-16 11:43 GMT-03:00 Gabriel Vieira <gabriel.vie...@gmail.com>: > Obrigado também! > > > 2014-05-16 11:29 GMT-03:00 Carlos Costa <crnco...@gmail.com>: > > Caramba, não sabia que a India era assim. Obrigado por compartilhar!!! vou >> ler no fim de semana. >> >> ( )s >> Carlos. >> >> >> 2014-05-16 11:15 GMT-03:00 Daniel de Oliveira Mantovani < >> daniel.oliveira.mantov...@gmail.com>: >> >> Bom dia, ontem a noite eu li a notícia mais interessante dos últimos >>> meses. Uma notícia que mostra a evolução de um dos países emergentes >>> com uma das maiores populações do mundo. Eu li o case, que vocês vão >>> usar como exemplo. O primeiro caso de Big Data relacionado à Dados >>> Eleitorais na Índia. >>> >>> O contrário do resto do mundo, eles não tem dados demográficos e >>> perfis socioeconômicos. No projeto eles tiveram que fazer tudo do >>> zero, foram processados milhões de PDF's. >>> >>> Para vocês terem ideia de como esse projeto foi desafiador, a Índia é >>> um país tão desorganizado que não existe nenhum documento equivalente >>> ao CPF ou o SSN. Se você fizer um empréstimo na Índia, o gerente do >>> banco vai visitar à sua casa e apenas emprestam pequenas quantidades >>> de dinheiro. Um banco da Índia pode ter a mesma pessoa repetida na >>> base de dados como um cliente diferente centenas de vezes. Quando o >>> Milind Chitgupakar me mostrou os padrões dos documentos que eles >>> precisavam processar e bater com outras centenas de bases diferentes, >>> em diferentes formatos, eu achei que seria quase impossível cruzar >>> toda essa informação, num período tão curto de tempo. >>> >>> Basicamente esse projeto usou Perl, Java, PostgreSQL e Hadoop. Foram >>> 8TB de dados processados num cluster de Hadoop com 64 nodes e também >>> no PostgreSQL(basicamente procedures escritas em Perl). >>> >>> Esse é um tremendo case para toda comunidade Open Source, e eu estou >>> muito contente com os resultados. >>> >>> >>> http://epaper.metroindia.com/story.aspx?id=4593&boxid=98266432&ed_date=2014-5-15&ed_code=820009&ed_page=2#.U3SduZLSCm4.twitter >>> >>> >>> http://epaperbeta.timesofindia.com/Article.aspx?eid=31809&articlexml=Hyd-startup-cobbles-up-Indias-first-poll-data-15052014014040 >>> >>> >>> http://www.thehindubusinessline.com/news/politics/india-elections-big-data-throws-up-interesting-trivia/article6011219.ece >>> >>> http://dataconomy.com/big-data-complexity-and-indias-election/ >>> >>> >>> http://www.informationweek.in/informationweek/news-analysis/295826/hyderabad-analytics-startup-builds-india-largest-electoral-repository-814-crore-voters >>> >>> >>> http://www.moneylife.in/business-wire-news/hyderabads-analytics-start-up-modak-analytics-builds-indias-largest-ever-big-data-repository-of-electoral-data/39233.html >>> >>> >>> http://www.cxotoday.com/story/hyderabads-analytics-start-up-builds-big-data-repository-of-electoral-data/ >>> >>> https://www.youtube.com/watch?v=9JuqPvuCp30 >>> >>> >>> -dom >>> >>> -- >>> >>> Daniel de Oliveira Mantovani >>> Business Analytic Specialist >>> Perl Evangelist /Astrophysics hobbyist. >>> +55 11 9 8538-9897 >>> XOXO >>> =begin disclaimer >>> Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ >>> SaoPaulo-pm mailing list: SaoPaulo-pm@pm.org >>> L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> >>> =end disclaimer >>> >> >> >> =begin disclaimer >> Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ >> SaoPaulo-pm mailing list: SaoPaulo-pm@pm.org >> L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> >> =end disclaimer >> >> > > > -- > Gabriel Vieira > > =begin disclaimer > Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ > SaoPaulo-pm mailing list: SaoPaulo-pm@pm.org > L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> > =end disclaimer > > -- André Garcia Carneiro Software Engineer (11)982907780
=begin disclaimer Sao Paulo Perl Mongers: http://sao-paulo.pm.org/ SaoPaulo-pm mailing list: SaoPaulo-pm@pm.org L<http://mail.pm.org/mailman/listinfo/saopaulo-pm> =end disclaimer
