>
> Isso depende do processo externo e de como você está forkando. Se você
> deixar pra modificar absolutamente o mínimo de dados dentro do processo
> forkado, acho bem difícil que um processo completamente novo ocupe menos
> memória, já que você se beneficia do copy-on-write.
>
Código para testar
> "Stanislaw" == Stanislaw Pusep writes:
Stanislaw> Thiago, muito obrigado pela excelente resposta!
Stanislaw> Realmente, há muita coisa a ser considerada, todavia, ainda
estou longe de chegar no gargalo do TCP/IP em
Stanislaw> si.
Stanislaw> O que eu percebi é que, infelizme
On Oct 20, 2011, at 4:58 PM, Stanislaw Pusep wrote:
> Perlssoal, alguém conhece agente(s) HTTP, preferencialmente em Perl, e
> preferencialmente capazes de paralelizar downloads, que não sejam estes?
> • LWP::UserAgent
> • HTTP::Tiny
> • HTTP::Lite
> • AnyEvent::Curl::Multi
On Thu, Oct 20, 2011 at 05:25:20PM -0200, Stanislaw Pusep wrote:
>OK, aqui vai o spoiler: estou fazendo benchmark (de overhead) de todos os
>HTTP agents que conheAS:o. E oA LWP estA! *MUITO* feio na fita:
>https://metacpan.org/module/AnyEvent::Net::Curl::Queued#OVERHEAD
>ABS()
Stan
HTTP::Request + AnyEvent ???
Esse aqui q eu não conheço ainda...
http://search.cpan.org/~mlehmann/AnyEvent-HTTP-2.13/HTTP.pm
Cheers!
2011/10/20 Stanislaw Pusep
> Perlssoal, alguém conhece agente(s) HTTP, preferencialmente em Perl, e
> preferencialmente capazes de paralelizar downloads, que
Calma, eu não chutaria cachorro morto, até por que devo muito ao LWP :)
Cada teste individual opera em uma lista razoável de URLs (~1500).
Fiz todos os testes aproximadamente dessa maneira:
cmpthese(5 => {
'LWP::UserAgent' => sub {
my $cv = AE::cv;
my $ua = LWP::UserAgent->new;
> "Stanislaw" == Stanislaw Pusep writes:
Stanislaw> OK, aqui vai o spoiler: estou fazendo benchmark (de
Stanislaw> overhead) de todos os HTTP agents que conheço. E o LWP
Stanislaw> está *MUITO* feio na fita:
Stanislaw> https://metacpan.org/module/AnyEvent::Net::Curl::Queued#OV
Exactamente :)
E é MUITO mais rápido do que o LWP::UserAgent :D
ABS()
2011/10/20 Lindolfo Lorn Rodrigues
> Opa, mas o LWP::Curl não faz download em paralelo.
> Na verdade até faz, se usar o Parallel::ForkManager :)
>
>
> 2011/10/20 Stanislaw Pusep
>
>> Boa! Como pude me esquecer deles :D
>>
Opa, mas o LWP::Curl não faz download em paralelo.
Na verdade até faz, se usar o Parallel::ForkManager :)
2011/10/20 Stanislaw Pusep
> Boa! Como pude me esquecer deles :D
>
>
> ABS()
>
>
>
> 2011/10/20 Rafael Prenzier
>
>> é não to me lembrando de nenhum que fuja desses
>>
>> o Lorn aqui da
Boa! Como pude me esquecer deles :D
ABS()
2011/10/20 Rafael Prenzier
> é não to me lembrando de nenhum que fuja desses
>
> o Lorn aqui da lista implementou um módulo LWP::Curl
> e tem Mechanize que é uma interface do LWP
>
> abraço
>
>
> 2011/10/20 Stanislaw Pusep
>
>> Sim, claro, mas co
é não to me lembrando de nenhum que fuja desses
o Lorn aqui da lista implementou um módulo LWP::Curl
e tem Mechanize que é uma interface do LWP
abraço
2011/10/20 Stanislaw Pusep
> Sim, claro, mas com quais métodos, além desses?
>
> ABS()
>
>
>
>
> 2011/10/20 Rafael Prenzier
>
>> Hu se
OK, aqui vai o spoiler: estou fazendo benchmark (de overhead) de todos os
HTTP agents que conheço. E o LWP está *MUITO* feio na fita:
https://metacpan.org/module/AnyEvent::Net::Curl::Queued#OVERHEAD
ABS()
2011/10/20 Rafael Prenzier
> inclusive, estou lendo a Doc aqui no Cpan e o exemplo que e
Sim, claro, mas com quais métodos, além desses?
ABS()
2011/10/20 Rafael Prenzier
> Hu se você usar o Parallel::ForkManager com qualquer método de
> Download, resolve?
>
> 2011/10/20 Stanislaw Pusep
>
>> Perlssoal, alguém conhece agente(s) HTTP, preferencialmente em Perl, e
>> preferencia
inclusive, estou lendo a Doc aqui no Cpan e o exemplo que ele dá é
justamente paralelizando Downloads
http://search.cpan.org/~dlux/Parallel-ForkManager-0.7.5/ForkManager.pm
use LWP::Simple;
use Parallel::ForkManager;
...
@links=(
["http://www.foo.bar/rulez.data","rulez_data.txt";],
Hu se você usar o Parallel::ForkManager com qualquer método de Download,
resolve?
2011/10/20 Stanislaw Pusep
> Perlssoal, alguém conhece agente(s) HTTP, preferencialmente em Perl, e
> preferencialmente capazes de paralelizar downloads, que não sejam estes?
>
>- LWP::UserAgent
>- HTTP
Perlssoal, alguém conhece agente(s) HTTP, preferencialmente em Perl, e
preferencialmente capazes de paralelizar downloads, que não sejam estes?
- LWP::UserAgent
- HTTP::Tiny
- HTTP::Lite
- AnyEvent::Curl::Multi
- lftp
- curl
- wget
P.S. - vulgo: "complete a lista" :P
ABS()
=
16 matches
Mail list logo
