Então essa consulta deve rodar num cluster ou coisa parecida, pois para suportar a média de 231 consultas/segundo, tem que ter uma boa estrutura - nem tanto de I/O mas de acesso a dados e processamento. De qq forma, num serviço com esse dimensionamento, realmente não deve ocorrer uma sobrecarga significativa.
Boa sorte! Alexandre Peçanha alexpeca...@gmail.com 2009/6/15 Reinaldo Aparecido Pereira <ctocv...@yahoo.com.br> > > > Confesso que também me preocupo com esses problemas. > > Já fiz um teste com 30 horas consecutivas de mineração e não tive > problemas. > > Note que o campo de entrada é o RENAVAM que não tem um número de seqüência, > logo, antes do programa realizar a consulta ele precisar gerar um RENAVAM e > testar se é válido. > > Isso já garante um delay em cada consulta e, pelas informações que tenho > sobre o acesso à base, aparentemente, vários ips (200) consultando essa > base > não traria sobrecarga ao sistema. > > O servidor que está hospedado essa base tem vários outros sistemas e > aproximadamente 20 milhões de acessos diários. > > > De: delphi-br@yahoogrupos.com.br <delphi-br%40yahoogrupos.com.br> [mailto: > delphi-br@yahoogrupos.com.br <delphi-br%40yahoogrupos.com.br>] Em > nome de Alexandre Peçanha > Enviada em: segunda-feira, 15 de junho de 2009 15:21 > Para: delphi-br@yahoogrupos.com.br <delphi-br%40yahoogrupos.com.br> > Assunto: Re: RES: [delphi-br] OFF TOPIC: Mega Projeto > > Olá Reinaldo, > Já participei de um projeto parecido, e gostaria apenas de dar uns toques > relativos a potenciais problemas de ordem prática nesse tipo de iniciativa. > > Supondo que o dono da base (Detran-PR) tenha se preocupado com a segurança > da informação, consultas massivas tendem a ter o seguinte tratamento: > > a. 1 IP faz uma consulta massiva e torna o serviço lento - isso é > facilmente > detectavel e o procedimento padrão é colocar esse IP numa blacklist e > proibir seu acesso ao serviço. > > b. Vários IP´s fazem consultas massivas. O mais comum é tirar o serviço do > ar. Isso certamente será enxergado (pelo sistema) como um ataque do tipo > negação de serviço, e os ip´s serão igualmente postos numa blacklist, e por > se tratar de um sistema do governo, isso pode desencadear algum tipo de > processo - (vi acontecer exatamente essa situação num projeto que tentava > buscar a base de regiões de exploração de minerais no site www.dnpm.gov.br > ). > As implicações são consideráveis para a empresa patrocinadora da atividade. > No caso de pessoas físicas, não faço idéia das medidas adotadas (se > houverem). > > Para este tipo de extração, é preciso cuidado para não gerar uma fila de > espera no serviço, ou seja, o aplicativo gerado, deve proporcionar um > intervalo entre consultas, e dependendo da quantidade de pessoas envolvidas > nessa extração, esse tempo deve ser bastante grande (tipo 10 a 15 segundos > entre consultas de um mesmo cliente), pois aumentos de demanda nesse tipo > de > serviço sempre chamam a atenção dos administradores do sistema. > > E esse tipo de extração, deve ocorrer num período razoávelmente curto, pois > assim que os administradores detectarem a consulta automatizada, tenha > certeza de que eles irão adotar o captcha para voltar aos níveis normais de > serviço. > > ... não quero jogar água fria no projeto, só quero alertá-los para os > cuidados necessários... > > []´s > > Alexandre Peçanha > alexpeca...@gmail.com <alexpecanha%40gmail.com> <mailto: > alexpecanha%40gmail.com <alexpecanha%2540gmail.com>> > > 2009/6/15 Reinaldo Aparecido Pereira > <ctocv...@yahoo.com.br<ctocvl_1%40yahoo.com.br> > <mailto:ctocvl_1%40yahoo.com.br <ctocvl_1%2540yahoo.com.br>> > > > > > > > > Esta base está on-line, é pública e sem captcha. > > > > Juridicamente poderei acessar a base sim. Isso de acordo com uma > > jurisprudência de outubro do ano passado. > > > > Veja o caso da base de CPF da Receita Federal. > > > > A consulta é publica, mas existe o captcha que impede a automação das > > pesquisas. > > > > Mas isso não impede que qualquer empresa contrate muitas pessoas que > fiquem > > o dia inteiro digitando e consultando. > > > > Segundo um caso ocorrido no passado, a venda dessa informação é proibida > > mas o uso não. > > > > De: delphi-br@yahoogrupos.com.br <delphi-br%40yahoogrupos.com.br><mailto: > delphi-br%40yahoogrupos.com.br <delphi-br%2540yahoogrupos.com.br>> > <delphi-br%40yahoogrupos.com.br> [mailto: > > delphi-br@yahoogrupos.com.br <delphi-br%40yahoogrupos.com.br> <mailto: > delphi-br%40yahoogrupos.com.br <delphi-br%2540yahoogrupos.com.br>> > <delphi-br%40yahoogrupos.com.br>] Em nome de > > Fernando de Laurentiis > > Enviada em: segunda-feira, 15 de junho de 2009 13:39 > > > > Para: delphi-br@yahoogrupos.com.br <delphi-br%40yahoogrupos.com.br><mailto: > delphi-br%40yahoogrupos.com.br <delphi-br%2540yahoogrupos.com.br>> > <delphi-br%40yahoogrupos.com.br> > > Assunto: Re: RES: [delphi-br] OFF TOPIC: Mega Projeto > > Prioridade: Alta > > > > E essa base, ela é legal?? > > Vc poderia ter acesso a esse tipo de informações?? > > > > []'sss > > > > Em 15/06/2009 12:58, Reinaldo Aparecido Pereira < > ctocv...@yahoo.com.br <ctocvl_1%40yahoo.com.br> > <mailto:ctocvl_1%40yahoo.com.br <ctocvl_1%2540yahoo.com.br>> <ctocvl_1% > 40yahoo.com.br><mailto: > > ctocvl_1%40yahoo.com.br <ctocvl_1%2540yahoo.com.br>> > escreveu: > > > > Caros, > > > > Estou preparando um documento detalhado para explicar o projeto e > > encaminharei à todos os interessados. > > > > Mas adianto, a base que desejo extrair é a de veículos do Detran-PR. > > > > http://celepar7.pr.gov.br/mtm/servicos/cons_multa.asp > > > > Essa base pode ser usada para uma infinidade de coisas. Alguns dados da > > base: > > > > - VEICULO > > > > - MARCA > > > > - MODELO > > > > - PLACA > > > > - RENAVAM > > > > - CHASSIS > > > > - SITUACAO (SE ESTÁ FINANCIADO, SE TEM BUSCA E APREENSÃO) > > > > - MULTA, (SE TEM MULTAS E QUAIS). > > > > Nem preciso dizer que isso tem um valor incalculável. > > > > Eu desejo usá-la para um site que logo concluirei de contestação de > multas. > > > > A base será usada para que a partir de um placa eu consiga o Renavam. > > > > Em breve enviarei informações detalhadas. > > > > Assim que todos os interessados se manifestarem, envio os detalhe. > > > > De: delphi-br@yahoogrupos.com.br <delphi-br%40yahoogrupos.com.br><mailto: > delphi-br%40yahoogrupos.com.br <delphi-br%2540yahoogrupos.com.br>> > <delphi-br%40yahoogrupos.com.br> <mailto: > > delphi-br%40yahoogrupos.com.br <delphi-br%2540yahoogrupos.com.br>> > > [mailto:delphi-br@yahoogrupos.com.br <delphi-br%40yahoogrupos.com.br> > <mailto:delphi-br%40yahoogrupos.com.br <delphi-br%2540yahoogrupos.com.br>> > <delphi-br%40yahoogrupos.com.br><mailto: > > delphi-br%40yahoogrupos.com.br <delphi-br%2540yahoogrupos.com.br>> ] Em > > nome de EmbarcaDelphi > > Enviada em: segunda-feira, 15 de junho de 2009 10:50 > > Para: delphi-br@yahoogrupos.com.br <delphi-br%40yahoogrupos.com.br><mailto: > delphi-br%40yahoogrupos.com.br <delphi-br%2540yahoogrupos.com.br>> > <delphi-br%40yahoogrupos.com.br><mailto: > > delphi-br%40yahoogrupos.com.br <delphi-br%2540yahoogrupos.com.br>> > > Assunto: Re: [delphi-br] OFF TOPIC: Mega Projeto > > > > Quem quer ser laranjas? A Base de Dados são informações de contas > > bancárias, hehehe (brincadeira) > > Estou aguadando mais informações sobre esse seu "Mega Projeto" > > > > Reginaldo escreveu: > > > > > > > > > Meu pc de casa fica ligado 24 hs, posso contribuir, mas poderia dar > > > mais detalhes do que contem essa base de dados ? > > > > > > Reginaldo > > > > > > ----- Original Message ----- > > > From: Reinaldo Aparecido Pereira > > > To: delphi-br@yahoogrupos.com.br <delphi-br%40yahoogrupos.com.br> > <mailto:delphi-br%40yahoogrupos.com.br <delphi-br%2540yahoogrupos.com.br>> > <delphi-br%40yahoogrupos.com.br><mailto: > > delphi-br%40yahoogrupos.com.br <delphi-br%2540yahoogrupos.com.br>> br% > > > 40yahoogrupos.com.br> > > > > br%40yahoogrupos.com.br> > > > Sent: Monday, June 15, 2009 8:56 AM > > > Subject: [delphi-br] OFF TOPIC: Mega Projeto > > > > > > Olá amigos, > > > > > > Preciso de 300 voluntários para a execução de um projeto bem > simples. > > > Trata-se de um robô que irá baixar uma base de dados de 5 milhões de > > > linhas. > > > > > > Para baixar usando apenas meu computador, segundo alguns cálculos > > > levarei 1 > > > ano. > > > > > > Dessa forma, estou convidando-os para uma grande desafio. Preciso de > > > 300 pcs > > > rodando um aplicativo para baixar a base. Acredito que um dia à um > dia > > e > > > meio de processamento está resolvido. > > > > > > A base tem um valor enorme e depois de integrada, envio a cópia dela > > para > > > cada um que participou do processo. > > > > > > Quaisquer dúvidas estou à total disposição. > > > > > > Grato, > > > > > > Reinaldo > > > > > > > > > > > > > [As partes desta mensagem que não continham texto foram removidas] > > > > [As partes desta mensagem que não continham texto foram removidas] > > > > > > > > [As partes desta mensagem que não continham texto foram removidas] > > [As partes desta mensagem que não continham texto foram removidas] > > > [As partes desta mensagem que não continham texto foram removidas]
