2008/3/4 vinicius_marco [EMAIL PROTECTED]:
Pessoal,
Estamos desenvolvendo um sítio que armazenará mais de meio milhão
de notícias já quando entrar em produção. Estes registros virão de uma
migração de uma base já existente.
Questões:
1. Zope/Plone agüenta o tranco?
Talvez.
Você já estimou o tamanho de seu ZODB? Você terá memória suficiente para ele?
Calculo: 500mil x 10 kb cada objeto = 4.7 GB
Agora, se você armazenar fotos associadas a noticias e seu objeto
subir para apenas 200 kb (uma foto JPEG em dois tamanhos mais o
conteúdo em si) dariam cerca de 95 GB. Como você precisa de 2x esse
tamanho em espaço em disco, precisarias de uns 190GB (fora espaço de
backup). Outra coisa interessante para prever é o consumo de memória
por instancia. Se você considerar que precisa de uns 10% do tamanho do
ZODB por instancia de Zope, precisarias de 500MB a 9,5GB de RAM por
instancia (e isso se sua aplicação for BEM otimizada).
Não sei se você percebeu, mas para um volume de informações como esse,
eu acho que vale a pena tomar cuidado e adotar soluções de SGDB
relacional e indexação externa (estilo XAPIAN)/Lucene).
2. Posso colocar todos os registros em uma única pasta (LargeFolder
- BtreeFolder)? Tenho que separar por algum critério (notícias de 2005
numa pasta chamada not_2005, not_2006, not_2007, por exemplo)? Sendo
que cada ano tem mais de 200.000 registros..
Poder você pode, mas quando for listar o conteúdo de uma pasta, o
resultado será um pouco exagerado. Talvez criar uma pasta por dia seja
mais adequado.
3. Instalamos o TextIndexNG3 por considerá-lo mais robusto que o
ZCTextIndex. Contudo estamos tendo problemas quando o usuário coloca
caracteres não convencionais no campo de busca. Ex.: 1. , (vírgula) 2.
Abertura de parenteses sem fechamento (parece que ele tenta
interpretar a consulta), etc. Vale à pena? Volto patra o ZCTextIndex?
Para um volume muito grande de informações eu sempre achei o TextIndexNG lento.
O seu problema com virgulas e parenteses é uma questão de
parametrização no splitter (da uma investigada no código :-).
4. A importação de cada registro da notícia que vem do banco SQL é
feita via um ExternalMethod que lê um arquivo texto do disco e insere
no ZODB via invokeFactory. Quando executamos a importação de um
arquivo com 3000 registros o comportamento é satisfatório até os
primeiros 100 registros (menos de um segundo por registro).. a partir
daí há uma degradação de performance muito grande, levando a inserção
durar mais de 3 segundos por registro. Existe algum macete para este
tipo de operação? Já tentamos realizar o commit a cada 50 registros
inseridos para aliviar o backlog do ZODB e tivemos um ganho rezoável.
Mas acima de 5000 registros por arquivo não vai nem com reza brava.
Talvez pq o ZODB começa a crescer e exigir um consumo de memória além
dos recursos disponíveis/desejáveis.
Durante a importação você chegou a monitorar a memória?
É isso aí pessoal.
Toda dica é bem vinda.
[]'s
Marcov,
--
Fabiano Weimar dos Santos (xiru)
Weimar Consultoria
Hospedagem Plone, Zope e Python
http://www.pytown.com
