Fabiano Weimar dos Santos escreveu: >> 4. A importação de cada registro da notícia que vem do banco SQL é >> feita via um ExternalMethod que lê um arquivo texto do disco e insere >> no ZODB via invokeFactory. Quando executamos a importação de um >> arquivo com 3000 registros o comportamento é satisfatório até os >> primeiros 100 registros (menos de um segundo por registro).. a partir >> daí há uma degradação de performance muito grande, levando a inserção >> durar mais de 3 segundos por registro. Existe algum macete para este >> tipo de operação? Já tentamos realizar o commit a cada 50 registros >> inseridos para aliviar o backlog do ZODB e tivemos um ganho rezoável. >> Mas acima de 5000 registros por arquivo não vai nem com reza brava. > > Talvez pq o ZODB começa a crescer e exigir um consumo de memória além > dos recursos disponíveis/desejáveis. > > Durante a importação você chegou a monitorar a memória?
Eu ia dar a sugestão de transformar essas notícias em arquivos HTML e fazer a importação via WebDAV ou FTP. Abraço, -- Jean Ferri
