Re: [FRsAG] Stockage de fichiers en masse

2011-01-05 Par sujet Yann Verry
On Tue, Jan 04, 2011 at 03:16:06PM +0100, Greg wrote: Mais pour t'aider, il faudrait que tu nous explique ce qui coince ? (Les perfs ?) et aussi plus de détails sur l'archi. Actuellement j'ai le modèle décris, un volume par dossier [0-9] sur un filer, ensuite une sous arbo

[FRsAG] Stockage de fichiers en masse

2011-01-04 Par sujet Yann Verry
Bonjour la liste, Je vous sollicite pour avoir plusieurs avis sur la questions. Comment faite vous pour gérer des millions de fichiers sur votre FS ? Il y a bien la solution de créer des arbo du type [0-9]/[0-9]/dossiers_specifique/mes_fichiers[0-5] ça fonctionne bien au début puis quand on

Re: [FRsAG] Stockage de fichiers en masse

2011-01-04 Par sujet Greg
Le 04/01/2011 12:35, Yann Verry a écrit : Bonjour la liste, Je vous sollicite pour avoir plusieurs avis sur la questions. Comment faite vous pour gérer des millions de fichiers sur votre FS ? Il y a bien la solution de créer des arbo du type [0-9]/[0-9]/dossiers_specifique/mes_fichiers[0-5]

Re: [FRsAG] Stockage de fichiers en masse

2011-01-04 Par sujet Pierre-Henry Muller
Le 04/01/11 12:35, Yann Verry a écrit : - mogileFS Très bonne solution, éprouvée de mon côté à petite échelle ~800K items entre 15Ko et 200Mo. A grande échelle je connais de tête Skyblog qui l'utilise je ne connais pas le nb d'items. L'avantage c'est que tu ne t'occupe pas de savoir comment

[FRsAG] Stockage de fichiers en masse

2011-01-04 Par sujet Yann Verry
On Tue, Jan 04, 2011 at 01:04:41PM +0100, Greg wrote: Le 04/01/2011 12:35, Yann Verry a écrit : Bonjour la liste, Je vous sollicite pour avoir plusieurs avis sur la questions. Comment faite vous pour gérer des millions de fichiers sur votre FS ? Il y a bien la solution de créer des arbo

Re: [FRsAG] Stockage de fichiers en masse

2011-01-04 Par sujet Florian Coulmier
Que faîte vous chez vous ? Au risque de dire une évidence, as-tu bien mis l'option noatime au montage de ta partition. Le gain en performance est assez phénoménale lorsqu'il y a beaucoup de lecture sur les fichiers. Florian ___ Liste de diffusion

Re: [FRsAG] Stockage de fichiers en masse

2011-01-04 Par sujet Greg
Le 04/01/2011 13:24, Yann Verry a écrit : Comment ça, ça coince ? Que sont ces fichiers ? Du cache, des images, des mails, ... ? des images principalement de petites taille Dans ce cas, je resterais sur un FS, associé à tout un tas de techniques possibles. (RAID10, buffer cache, tuning