Re: [Comandob] Gluster
El día 23 de enero de 2012 16:35, Angel Docampo escribió: > El día 23 de enero de 2012 16:22, Ramiro Magallanes > escribió: >> El lun, 23-01-2012 a las 16:08 +0100, Ignacio Torres Masdeu escribió: >>> On Monday 23 de January de 2012 at 15:54, Angel Docampo wrote: >>> > ¿Cual puede ser la solución pues? ¿Ajo y agua? ¿O se puede usar UDP? >>> > Gluster no trae soporte para UDP, aunque he visto que hay esto >>> > https://github.com/vbellur/glusterfs-udp >>> >>> Ramiro ha mencionado dos veces en este hilo libib, con lo que entiendo que >>> la respuesta es GlusterFS sobre infraestructura InfiniBand. >>> >>> ¿Ramiro, puedes dar detalles de implementación? ¿Usa IP sobre IB o va a >>> pelo como dios manda? >> >> +1 >> >> Si utilizas Ip sobre IB, acabas viendo limitado la tarjeta infiniband a >> 10G , cosa que es una putada porque Infiniband soporta cosas como QDR >> con lo que pierdes 3/4 partes de la potencia, otra vez por limitaciones >> de TCP. >> >> Lo suyo , es utilizar infiniband con libib. La configuracion es >> sencilla , una vez que tienes soporte en el kernel, las tarjetas, y el >> switch infiniband conectado, el resto es configurar el brick con ese >> acceso y todo lo demas es igual. >> >> Si lanzais una prueba una vez implementado IB , vereis que la diferencia >> es arrolladora. >> >> Slds! >> > Pues hoy estoy montando otro gluster con tarjetas IB, el switch me > llega esta semana. Voy a ver el tema de libib... > A la hora de configurar el volumen (de crearlo, vamos) seria algo como? > > # gluster volume create NOMBRE replica 2 transport ib-verbs > nodo1:/brick1 nodo2:/brick1 > > Gracias por la orientacion!! ^^ mierda, no son IB, son FCoE... mi gozo en un pozo... -- http://malevolent.wordpress.com http://tuxjuegos.tuxfamily.org -- ___ Comandob mailing list Comandob@badopi.org http://lists.badopi.org/mailman/listinfo/comandob
Re: [Comandob] Gluster
El día 23 de enero de 2012 16:22, Ramiro Magallanes escribió: > El lun, 23-01-2012 a las 16:08 +0100, Ignacio Torres Masdeu escribió: >> On Monday 23 de January de 2012 at 15:54, Angel Docampo wrote: >> > ¿Cual puede ser la solución pues? ¿Ajo y agua? ¿O se puede usar UDP? >> > Gluster no trae soporte para UDP, aunque he visto que hay esto >> > https://github.com/vbellur/glusterfs-udp >> >> Ramiro ha mencionado dos veces en este hilo libib, con lo que entiendo que >> la respuesta es GlusterFS sobre infraestructura InfiniBand. >> >> ¿Ramiro, puedes dar detalles de implementación? ¿Usa IP sobre IB o va a pelo >> como dios manda? > > +1 > > Si utilizas Ip sobre IB, acabas viendo limitado la tarjeta infiniband a > 10G , cosa que es una putada porque Infiniband soporta cosas como QDR > con lo que pierdes 3/4 partes de la potencia, otra vez por limitaciones > de TCP. > > Lo suyo , es utilizar infiniband con libib. La configuracion es > sencilla , una vez que tienes soporte en el kernel, las tarjetas, y el > switch infiniband conectado, el resto es configurar el brick con ese > acceso y todo lo demas es igual. > > Si lanzais una prueba una vez implementado IB , vereis que la diferencia > es arrolladora. > > Slds! > Pues hoy estoy montando otro gluster con tarjetas IB, el switch me llega esta semana. Voy a ver el tema de libib... A la hora de configurar el volumen (de crearlo, vamos) seria algo como? # gluster volume create NOMBRE replica 2 transport ib-verbs nodo1:/brick1 nodo2:/brick1 Gracias por la orientacion!! ^^ -- http://malevolent.wordpress.com http://tuxjuegos.tuxfamily.org -- ___ Comandob mailing list Comandob@badopi.org http://lists.badopi.org/mailman/listinfo/comandob
Re: [Comandob] Gluster
El lun, 23-01-2012 a las 16:08 +0100, Ignacio Torres Masdeu escribió: > On Monday 23 de January de 2012 at 15:54, Angel Docampo wrote: > > ¿Cual puede ser la solución pues? ¿Ajo y agua? ¿O se puede usar UDP? > > Gluster no trae soporte para UDP, aunque he visto que hay esto > > https://github.com/vbellur/glusterfs-udp > > Ramiro ha mencionado dos veces en este hilo libib, con lo que entiendo que la > respuesta es GlusterFS sobre infraestructura InfiniBand. > > ¿Ramiro, puedes dar detalles de implementación? ¿Usa IP sobre IB o va a pelo > como dios manda? +1 Si utilizas Ip sobre IB, acabas viendo limitado la tarjeta infiniband a 10G , cosa que es una putada porque Infiniband soporta cosas como QDR con lo que pierdes 3/4 partes de la potencia, otra vez por limitaciones de TCP. Lo suyo , es utilizar infiniband con libib. La configuracion es sencilla , una vez que tienes soporte en el kernel, las tarjetas, y el switch infiniband conectado, el resto es configurar el brick con ese acceso y todo lo demas es igual. Si lanzais una prueba una vez implementado IB , vereis que la diferencia es arrolladora. Slds! -- ___ Comandob mailing list Comandob@badopi.org http://lists.badopi.org/mailman/listinfo/comandob
Re: [Comandob] Gluster
El lun, 23-01-2012 a las 15:54 +0100, Angel Docampo escribió: > El día 23 de enero de 2012 14:13, Ramiro Magallanes > escribió: > > El lun, 23-01-2012 a las 10:24 +0100, Angel Docampo escribió: > > > >> No era mi intención compararlo como si fueran smartphones, hablo según > >> lo experimentado. Es por todos sabido que el talón de aquiles de > >> GlusterFS son los ficheros pequeños. Tanto que en todos los lados > >> desaconsejan que los ficheros de los servidores web se residan en un > >> glustefs. > > > > En realidad la limitacion de los ficheros pequeños no es algo exclusivo > > de Gluster, sino de la implementacion de tcp. > > > > En otros sistemas de almacenamiento que se basan en tcp y no contemplan > > serializacion alguna, estas en las mismas y las velocidades son bajas, > > pero por el overhead normal de copiar 20 ficheros de 2k y los > > tiempos que esto implica > > > > Cuando pruebas libib, te das cuenta que tcp para estas cosas , es el > > mal. > > ¿Cual puede ser la solución pues? ¿Ajo y agua? ¿O se puede usar UDP? > Gluster no trae soporte para UDP, aunque he visto que hay esto > https://github.com/vbellur/glusterfs-udp > > Yo he acabado, como he comentado antes, jugando con los FS sobre los > que los volumenes de gluster se montan, y se nota cacho la diferencia, > siempre hablando de transferencia por red, entre por ejemplo, ext3 y > btrfs. No hay solucion excepto que cambiar el protocolo de comunicacion. No recuerdo exactamente los numeros, pero imaginate que copias 3500 ficheros pequeños, donde el porcentaje de control y troceado del fichero y recomposicion del lado B, ya de per-se tiene un tiempo. La solucion es cambiar el transporte y/o el metodo de tranferencia. (por ejemplo ,lo que ya he dicho mil veces , Infiniband con su libreria, donde no hay tcp y al ser un entorno controlado y serializado todo es mas sencillo). Slds! -- ___ Comandob mailing list Comandob@badopi.org http://lists.badopi.org/mailman/listinfo/comandob
Re: [Comandob] Gluster
On Monday 23 de January de 2012 at 15:54, Angel Docampo wrote: > ¿Cual puede ser la solución pues? ¿Ajo y agua? ¿O se puede usar UDP? > Gluster no trae soporte para UDP, aunque he visto que hay esto > https://github.com/vbellur/glusterfs-udp Ramiro ha mencionado dos veces en este hilo libib, con lo que entiendo que la respuesta es GlusterFS sobre infraestructura InfiniBand. ¿Ramiro, puedes dar detalles de implementación? ¿Usa IP sobre IB o va a pelo como dios manda? -- Ignacio Torres Masdeu -- ___ Comandob mailing list Comandob@badopi.org http://lists.badopi.org/mailman/listinfo/comandob
Re: [Comandob] Gluster
El día 23 de enero de 2012 14:13, Ramiro Magallanes escribió: > El lun, 23-01-2012 a las 10:24 +0100, Angel Docampo escribió: > >> No era mi intención compararlo como si fueran smartphones, hablo según >> lo experimentado. Es por todos sabido que el talón de aquiles de >> GlusterFS son los ficheros pequeños. Tanto que en todos los lados >> desaconsejan que los ficheros de los servidores web se residan en un >> glustefs. > > En realidad la limitacion de los ficheros pequeños no es algo exclusivo > de Gluster, sino de la implementacion de tcp. > > En otros sistemas de almacenamiento que se basan en tcp y no contemplan > serializacion alguna, estas en las mismas y las velocidades son bajas, > pero por el overhead normal de copiar 20 ficheros de 2k y los > tiempos que esto implica > > Cuando pruebas libib, te das cuenta que tcp para estas cosas , es el > mal. ¿Cual puede ser la solución pues? ¿Ajo y agua? ¿O se puede usar UDP? Gluster no trae soporte para UDP, aunque he visto que hay esto https://github.com/vbellur/glusterfs-udp Yo he acabado, como he comentado antes, jugando con los FS sobre los que los volumenes de gluster se montan, y se nota cacho la diferencia, siempre hablando de transferencia por red, entre por ejemplo, ext3 y btrfs. Saludos! -- ___ Comandob mailing list Comandob@badopi.org http://lists.badopi.org/mailman/listinfo/comandob
Re: [Comandob] Gluster
El lun, 23-01-2012 a las 10:24 +0100, Angel Docampo escribió: > No era mi intención compararlo como si fueran smartphones, hablo según > lo experimentado. Es por todos sabido que el talón de aquiles de > GlusterFS son los ficheros pequeños. Tanto que en todos los lados > desaconsejan que los ficheros de los servidores web se residan en un > glustefs. En realidad la limitacion de los ficheros pequeños no es algo exclusivo de Gluster, sino de la implementacion de tcp. En otros sistemas de almacenamiento que se basan en tcp y no contemplan serializacion alguna, estas en las mismas y las velocidades son bajas, pero por el overhead normal de copiar 20 ficheros de 2k y los tiempos que esto implica Cuando pruebas libib, te das cuenta que tcp para estas cosas , es el mal. > Es muy difícil conseguir una velocidad óptima de transferencia en un > entorno con todo tipo de archivos. Se pueden configurar muchos > parámetros, y probar con los FS sobre los que los volumenes de gluster > residen, así como el protocolo de red para transferirlos, pero toma > mucho tiempo dar con el setting adecuado. > > En casa de clientes, a menudo me encuentro montando volumenes con > bricks formateados en reiserfs para ficheros pequeños, o ext3 para > ficheros grandes. Últimamente he hecho pruebas con btrfs (con muy > gratos resultados, por cierto) para entornos mixtos. > > En el caso de MySQL (no he probado con otras DB) éste maneja su propio > locking y caching con lo que suele dar problemas con el locking y > caching de glusterfs. Creo que por eso no recomiendan usar la > replicación a través de gluster. Slds! -- ___ Comandob mailing list Comandob@badopi.org http://lists.badopi.org/mailman/listinfo/comandob
Re: [Comandob] Gluster
El día 17 de enero de 2012 17:23, Joan Puiggali - Kopernix escribió: > >> Per a DB crec que va una mica com el cul... no l'he provat però he >> llegit en molts llocs que va de pena... > > El hardware que se utilice para red. tiene mucho que decir en todo esto. De > todos modos el caso de unos es almacenamiento masivo. con escalabilidad alta, > el de otros centralizar discos, para levantar maquinas virtuales desde mas de > una ubicación y en caso de fallo de estas poderlo levantar con facilidad de > otra, al mismo tiempo pedir rendimiento... > > Vamos que para necesidades colores, no se puede comparar con otras soluciones > como si comparáramos dos smartphones... No era mi intención compararlo como si fueran smartphones, hablo según lo experimentado. Es por todos sabido que el talón de aquiles de GlusterFS son los ficheros pequeños. Tanto que en todos los lados desaconsejan que los ficheros de los servidores web se residan en un glustefs. Es muy difícil conseguir una velocidad óptima de transferencia en un entorno con todo tipo de archivos. Se pueden configurar muchos parámetros, y probar con los FS sobre los que los volumenes de gluster residen, así como el protocolo de red para transferirlos, pero toma mucho tiempo dar con el setting adecuado. En casa de clientes, a menudo me encuentro montando volumenes con bricks formateados en reiserfs para ficheros pequeños, o ext3 para ficheros grandes. Últimamente he hecho pruebas con btrfs (con muy gratos resultados, por cierto) para entornos mixtos. En el caso de MySQL (no he probado con otras DB) éste maneja su propio locking y caching con lo que suele dar problemas con el locking y caching de glusterfs. Creo que por eso no recomiendan usar la replicación a través de gluster. > > Merci Ramiro por el comentario de Zfs. > > -- > JPA > -- > ___ > Comandob mailing list > Comandob@badopi.org > http://lists.badopi.org/mailman/listinfo/comandob -- http://tuxjuegos.tuxfamily.org -- ___ Comandob mailing list Comandob@badopi.org http://lists.badopi.org/mailman/listinfo/comandob
