Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-23 Par sujet Adrien Pujol
> Le 22 juillet 2010 14:47, Sky Gunning a écrit : >> Bonjour à tous, >> >> Je doit réfléchir à la structure pour un service de stockage de médias. Pour ce qui est du hardware, là, il y a de l'idée: http://blog.backblaze.com/2009/09/01/petabytes-on-a-budget-how-to-build-cheap-cloud-storage/ --

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet frantishrek
Le 22 juillet 2010 14:47, Sky Gunning a écrit : > Bonjour à tous, > > Je doit réfléchir à la structure pour un service de stockage de médias. Bonjour, J'arrive peut-être après la bataille mais il y a un cette article que vous connaissez peut-être déjà qui permet de bien resituer le problème : ht

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Christophe Casalegno
Le jeudi 22 juillet 2010 14:47:20, Sky Gunning a écrit : > Bonjour à tous, > > Je doit réfléchir à la structure pour un service de stockage de médias. > > Je développe surtout le bouzin, mais évidemment, y'a personne dans ma boite > qui soit adminsys... > > Je pensez à N serveur de stockage, un

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Greg
Bonjour Pierre-Henry ;) De mon côté après avoir testé GlusterFS en v2 et v3, il y a bien trop de problème notamment des non reconnection du point de montage aux serveurs ou des fichiers corrompu. +1 Entre les deux et c'est ce que j'ai choisi, tu as MogileFS, ce n'est pas un filesysteme po

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Pierre-Henry Muller
De mon côté après avoir testé GlusterFS en v2 et v3, il y a bien trop de problème notamment des non reconnection du point de montage aux serveurs ou des fichiers corrompu. En vraiment distribué tu as Hadoop mais c'est une grosse archi à mettre en place. Entre les deux et c'est ce que j'ai chois

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Bedis 9
2010/7/22 Sky GUNNING > Le 22/07/2010 16:06, JF Bustarret a écrit : > > Le 22 juil. 2010 à 16:01, Bedis 9 a écrit : >> >> >> >>> Csync2 et Rsync ont leur limite >>> C'est sûr qu'un rsync sur 10 de fichier éxécuter par un cron >>> toutes >>> les 5 minutes va te pr

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Sky GUNNING
Le 22/07/2010 16:06, JF Bustarret a écrit : Le 22 juil. 2010 à 16:01, Bedis 9 a écrit : Csync2 et Rsync ont leur limite C'est sûr qu'un rsync sur 10 de fichier éxécuter par un cron toutes les 5 minutes va te prendre du temps ;) Tu peux coupler les 2 avec du inotify

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Gérard BIGOT
2010/7/22 Sky Gunning > Bonjour à tous, > > Je doit réfléchir à la structure pour un service de stockage de médias. > > Je développe surtout le bouzin, mais évidemment, y'a personne dans ma boite > qui soit adminsys... > > Je pensez à N serveur de stockage, un serveur pour la BDD (mysql) et N > s

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet JF Bustarret
Le 22 juil. 2010 à 16:01, Bedis 9 a écrit : >> Csync2 et Rsync ont leur limite >> >> > C'est sûr qu'un rsync sur 10 de fichier éxécuter par un cron toutes > les 5 minutes va te prendre du temps ;) > > Tu peux coupler les 2 avec du inotify pour déclencher les copies de nouveaux > f

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Bedis 9
> Csync2 et Rsync ont leur limite > > C'est sûr qu'un rsync sur 10 de fichier éxécuter par un cron toutes les 5 minutes va te prendre du temps ;) Tu peux coupler les 2 avec du inotify pour déclencher les copies de nouveaux fichiers à la fin de chaque écriture. a+

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Lilian RIGARD - Devclic
GlusterFS est là pour répondre à la demande si il n'y a pas de verrous exclusifs posés par une application ... Tout est scalable et on peut aller haut dans les To en rajoutant des serveurs et des serveurs. Pour ma part, nous ne l'utilisons pas pour la partie clustering car on a des problèmes d

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Bedis 9
Je tourne pour le moment avec du glusterfs 3.0.4 actuellement sur des chassis IBM. j'ai des DAS où je stocke les données, un coup de LVM et de l'EXT4 (pour la 'scalabilité' et car plus de 16T de données en vue) et hop. ça te fait un raid 1 over network. Mais mon Raid1 est sur du WAN (LDN-MAD) et G

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Sky GUNNING
Le 22/07/2010 15:40, Laurent Druffin a écrit : Le 22/07/2010 14:47, Sky Gunning a écrit : Bonjour à tous, ... Il faudrait que tu décrives un peu mieux ce que fait le produit et le dimensionnement de l'ensemble pour en cerner les besoins d'infra... Après on pourra (peut-être) t'apporter une

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Laurent Druffin
Le 22/07/2010 14:47, Sky Gunning a écrit : Bonjour à tous, Je doit réfléchir à la structure pour un service de stockage de médias. Je développe surtout le bouzin, mais évidemment, y'a personne dans ma boite qui soit adminsys... Je pensez à N serveur de stockage, un serveur pour la BDD (mysql)

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Bedis 9
> > NB : si tu attends du trafic, une couche de proxies devant les serveurs >> web est plus qu'intéressant >> >> >> > Si par traffic tu entend bande passante, alors oui, y'en aura de plus en > plus. > > en effet, pour limiter les accès en lecture à ton FS, une petite couche de Varnish serait la bi

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Bedis 9
> Effectivement, les moyens sont pour le moment assez limité. > regarde du côté de glusterfs (en version 3.0.4 ou plus, sinon y'a quelques bugs ...) et au pire, plutôt que d'utiliser un rsync bourrin, regarde du côté de csync2. a+ ___ FRsaG mailing list

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Olivier Bonvalet
Hello, Le 22/07/2010 15:28, Sky GUNNING a écrit : [...] Effectivement, les moyens sont pour le moment assez limité. Troisième réaction : ça sent le projet qui a vraiment besoin d'un sysadmin. Possible, mais cf. problème de moyens pour l'instant pour ce projet. De l'intérêt des prestations d'

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Sky GUNNING
Bonjour Quelque chose me dit que tu as plus besoin d'un architecte que d'un sysadmin... (Remarque, je pense ne pas avoir compris la question, donc je me trompe peut-être). C'est possible ... je ne sais pas trop. Ceci est pour parer à un problème qui va survenir tôt ou tard avec la conf

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet JF Bustarret
Le 22 juil. 2010 à 14:47, Sky Gunning a écrit : > Bonjour à tous, > > Je développe surtout le bouzin, mais évidemment, y'a personne dans ma boite > qui soit adminsys... Quelque chose me dit que tu as plus besoin d'un architecte que d'un sysadmin... (Remarque, je pense ne pas avoir compris la qu

Re: [FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Eric Joseph-Alexandre
Le Thu, 22 Jul 2010 14:47:20 +0200, Sky Gunning a écrit : > Bonjour à tous, Bonjour, > > Vous avez des conseils sur comment gérer le côté réparation ? Sujet qui m'interesse. J'ai des sites avec des tonnes d'images et je galère un max pour les sauvegardes. Au début je gérais avec rsync, mais

[FRsaG] Structure pour un service de stockage de m édias

2010-07-22 Par sujet Sky Gunning
Bonjour à tous, Je doit réfléchir à la structure pour un service de stockage de médias. Je développe surtout le bouzin, mais évidemment, y'a personne dans ma boite qui soit adminsys... Je pensez à N serveur de stockage, un serveur pour la BDD (mysql) et N serveur pour gérer l'affichage. En sach