Re: [FUG-BR] Otimização do ZFS in-kernel.

[Ricardo Campos Passanezi]

On Tue, Sep 20, 2016 at 08:58:48PM -0300, Paulo Henrique wrote:
> Em 20 de setembro de 2016 19:07, Paulo Olivier Cavalcanti <
> procavalca...@gmail.com> escreveu:
> 
> 

...

> Paulo,
> 
> O que estou observando é que caso eu não limite o ARC o ZFS praticamente
> monopolisa a memoria, esse servidor é um banco de dados MySQL e dependendo
> da operação chega a consumir 21G para o ARC dos 24Gbytes de RAM.
> A menos que esse seja um efeito colateral de se estar usar SSDs de cache e
> log no pool.
> 
> Att. Paulo Henrique.
> 

Bom, como é servidor de banco de dados você pode, além de fazer os
ajustes, em especial no ARC, fazer um tunning nos datasets. Veja:
http://open-zfs.org/wiki/Performance_tuning#Database_workloads


-- 
Ricardo Campos Passanezi
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Otimização do ZFS in-kernel.

[Paulo Henrique]

Em 20 de setembro de 2016 19:07, Paulo Olivier Cavalcanti <
procavalca...@gmail.com> escreveu:

> Em 20/09/2016 11:55, Paulo Henrique escreveu:
>
>> [...]
>>
>
> estou testando agora com mais calma.
>> Sim o sistema é instalado com zfs:root.
>>
>> root@radius:/home/usshd # zpool list
>> NAMESIZE  ALLOC   FREE  EXPANDSZ   FRAGCAP  DEDUP  HEALTH  ALTROOT
>> dados   928G  10.8G   917G - 0% 1%  1.00x  ONLINE  -
>> zroot   448G  4.26G   444G - 0% 0%  1.00x  ONLINE  -
>>
>>
>> root@radius:/home/usshd # zpool status
>>pool: dados
>>   state: ONLINE
>>scan: none requested
>> config:
>>
>>  NAMESTATE READ WRITE CKSUM
>>  dados   ONLINE   0 0 0
>>mirror-0  ONLINE   0 0 0
>>  ada2ONLINE   0 0 0
>>  ada3ONLINE   0 0 0
>>  logs
>>ada4  ONLINE   0 0 0
>>  cache
>>ada5  ONLINE   0 0 0
>>
>> errors: No known data errors
>>
>>pool: zroot
>>   state: ONLINE
>>scan: none requested
>> config:
>>
>>  NAMESTATE READ WRITE CKSUM
>>  zroot   ONLINE   0 0 0
>>mirror-0  ONLINE   0 0 0
>>  ada0p3  ONLINE   0 0 0
>>  ada1p3  ONLINE   0 0 0
>>
>> errors: No known data errors
>> root@radius:/home/usshd #
>>
>>
>>
> Na minha opinião, só em situações de pouca RAM, I/O de disco baixo,
> webservers de alto desempenho etc, é que se deve mexer no ARC, L2ARC e
> demais parâmetros do ZFS. Os parâmetros default atendem a 99% das situações.
>
>
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>

Paulo,

O que estou observando é que caso eu não limite o ARC o ZFS praticamente
monopolisa a memoria, esse servidor é um banco de dados MySQL e dependendo
da operação chega a consumir 21G para o ARC dos 24Gbytes de RAM.
A menos que esse seja um efeito colateral de se estar usar SSDs de cache e
log no pool.

Att. Paulo Henrique.

-- 
:UNI>http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Otimização do ZFS in-kernel.

[Paulo Olivier Cavalcanti]

Em 20/09/2016 11:55, Paulo Henrique escreveu:

[...]



estou testando agora com mais calma.
Sim o sistema é instalado com zfs:root.

root@radius:/home/usshd # zpool list
NAMESIZE  ALLOC   FREE  EXPANDSZ   FRAGCAP  DEDUP  HEALTH  ALTROOT
dados   928G  10.8G   917G - 0% 1%  1.00x  ONLINE  -
zroot   448G  4.26G   444G - 0% 0%  1.00x  ONLINE  -


root@radius:/home/usshd # zpool status
   pool: dados
  state: ONLINE
   scan: none requested
config:

 NAMESTATE READ WRITE CKSUM
 dados   ONLINE   0 0 0
   mirror-0  ONLINE   0 0 0
 ada2ONLINE   0 0 0
 ada3ONLINE   0 0 0
 logs
   ada4  ONLINE   0 0 0
 cache
   ada5  ONLINE   0 0 0

errors: No known data errors

   pool: zroot
  state: ONLINE
   scan: none requested
config:

 NAMESTATE READ WRITE CKSUM
 zroot   ONLINE   0 0 0
   mirror-0  ONLINE   0 0 0
 ada0p3  ONLINE   0 0 0
 ada1p3  ONLINE   0 0 0

errors: No known data errors
root@radius:/home/usshd #




Na minha opinião, só em situações de pouca RAM, I/O de disco baixo, 
webservers de alto desempenho etc, é que se deve mexer no ARC, L2ARC e  
demais parâmetros do ZFS. Os parâmetros default atendem a 99% das situações.


-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] FreeBSD 11 e vlans

[Marcelo Gondim]

Em 20/09/2016 16:27, Matheus Cucoloto escreveu:

2016-09-06 7:06 GMT-03:00 Renato Frederick :



De: Marcelo Gondim 
Responder: Lista Brasileira de Discussão sobre FreeBSD (FUG-BR) <
freebsd@fug.com.br>
Data: 5 de setembro de 2016 at 18:19:26
Para: Lista Brasileira de Discussão sobre FreeBSD (FUG-BR) <
freebsd@fug.com.br>
Assunto:  Re: [FUG-BR] FreeBSD 11 e vlans



chegaram a testar as releases mais antigas, por ex da 10 até a 8?

Não testamos porque não queria retroceder na versão. A versão
10.1-stable que estávamos usando até a revisão xpto, funcionava bem mas
dela pra frente dava pau. Mas dava somente com as conexões com vlan. As
conexões sem vlan funcionavam normalmente. Como eu não podia abrir mão
das vlans, fui obrigado à partir pro Juniper mesmo.



Opa, no 9 o problema da Vlan não acontece, pelo menos no meu cenário.

O curioso é que fazem 2 anos que isso esta se arrastando.


Opa Matheus,

Eu agora desfiz meu cenário e não consigo mais testar. Você ainda tem 
esse cenário e conseguiria testar se no FreeBSD 11 consertaram?


[]´s

Gondim


-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] FreeBSD 11 e vlans

[Matheus Cucoloto]

2016-09-06 7:06 GMT-03:00 Renato Frederick :

>
>
> De: Marcelo Gondim 
> Responder: Lista Brasileira de Discussão sobre FreeBSD (FUG-BR) <
> freebsd@fug.com.br>
> Data: 5 de setembro de 2016 at 18:19:26
> Para: Lista Brasileira de Discussão sobre FreeBSD (FUG-BR) <
> freebsd@fug.com.br>
> Assunto:  Re: [FUG-BR] FreeBSD 11 e vlans
>
>
> >
> > chegaram a testar as releases mais antigas, por ex da 10 até a 8?
> Não testamos porque não queria retroceder na versão. A versão
> 10.1-stable que estávamos usando até a revisão xpto, funcionava bem mas
> dela pra frente dava pau. Mas dava somente com as conexões com vlan. As
> conexões sem vlan funcionavam normalmente. Como eu não podia abrir mão
> das vlans, fui obrigado à partir pro Juniper mesmo.
>
>
Opa, no 9 o problema da Vlan não acontece, pelo menos no meu cenário.

O curioso é que fazem 2 anos que isso esta se arrastando.

-- 
---
Matheus Cucoloto
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Otimização do ZFS in-kernel.

[Paulo Henrique]

Em 20 de setembro de 2016 10:48, Ricardo Campos Passanezi <
ri...@ige.unicamp.br> escreveu:

> On Tue, Sep 20, 2016 at 10:42:38AM -0300, Paulo Henrique wrote:
> > Saudações Ricardo,
> >
> > Não é que o zfs_load no loader.conf já basta, contudo ainda sou meio
> > "old-school" e gosto das coisas compiladas in-kernel.
>
> Bom, no tocante "old-school", sou do tempo da "free...@br.freebsd.org"
> :-)
>
>
>
> > Algumas coisas que procurei e não achei com relação ao ZFS.
> > Definição de espaço de memoria destinado ao ARC
> > Definição de espaço de memoria destinado ao L2ARC
> > Essas variáveis que impactam em todo o sistema seria muito bom se
> tivesse a
> > opção de definilas no kernel ou mesmo via sysctl.
> > Antigamente podia definir o root no arquivo de configuração do kernel
> > também porém não achei a opção.
>
> Bem, depois de carregado via loader (ou se instalou como "zfs on root"):
>
> # sysctl -a | egrep zfs | wc
>  262 534   10156
> # sysctl vfs.zfs | egrep arc
> vfs.zfs.l2arc_norw: 1
> vfs.zfs.l2arc_feed_again: 1
> vfs.zfs.l2arc_noprefetch: 1
> vfs.zfs.l2arc_feed_min_ms: 200
> vfs.zfs.l2arc_feed_secs: 1
> vfs.zfs.l2arc_headroom: 2
> vfs.zfs.l2arc_write_boost: 8388608
> vfs.zfs.l2arc_write_max: 8388608
> vfs.zfs.arc_meta_limit: 322436480
> vfs.zfs.arc_free_target: 3542
> vfs.zfs.arc_shrink_shift: 7
> vfs.zfs.arc_average_blocksize: 8192
> vfs.zfs.arc_min: 161218240
> vfs.zfs.arc_max: 1289745920
>
> Esses são valores padrão numa máquina virtual que acabei de instalar
> (não fiz nenhuma otimização).
>
> É bem isso mesmo que quero, cheguei a dar uma olhada nessas variáveis e
estou testando agora com mais calma.
Sim o sistema é instalado com zfs:root.

root@radius:/home/usshd # zpool list
NAMESIZE  ALLOC   FREE  EXPANDSZ   FRAGCAP  DEDUP  HEALTH  ALTROOT
dados   928G  10.8G   917G - 0% 1%  1.00x  ONLINE  -
zroot   448G  4.26G   444G - 0% 0%  1.00x  ONLINE  -


root@radius:/home/usshd # zpool status
  pool: dados
 state: ONLINE
  scan: none requested
config:

NAMESTATE READ WRITE CKSUM
dados   ONLINE   0 0 0
  mirror-0  ONLINE   0 0 0
ada2ONLINE   0 0 0
ada3ONLINE   0 0 0
logs
  ada4  ONLINE   0 0 0
cache
  ada5  ONLINE   0 0 0

errors: No known data errors

  pool: zroot
 state: ONLINE
  scan: none requested
config:

NAMESTATE READ WRITE CKSUM
zroot   ONLINE   0 0 0
  mirror-0  ONLINE   0 0 0
ada0p3  ONLINE   0 0 0
ada1p3  ONLINE   0 0 0

errors: No known data errors
root@radius:/home/usshd #




>
> >
> > Abraços.
> >
> > --
> > :UNI> > Paulo Henrique.
> > NoRm4nD @ FreeNode.Net
> > Fone: (21) 37089388.
> > -
> > Histórico: http://www.fug.com.br/historico/html/freebsd/
> > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
> --
> Ricardo Campos Passanezi
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>



-- 
:UNI>http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] UEFI

[Paulo Henrique]

Em 20 de setembro de 2016 11:21, Cabral Bandeira 
escreveu:

> dd if=usb.img of=/dev/sdd1 bs=4M faço assim no Linux mas dá erro no boot,
> falta algo?
>
> Cabral Bandeira
>
> > Em 20 de set de 2016, às 10:44, Paulo Henrique 
> escreveu:
> >
> > 2016-09-20 3:21 GMT-03:00 Cabral Bandeira :
> >
> >> não, baixei a versão memstick e passei pro pendrive, olhei esse pmbr
> achei
> >> meio complicado fazer um pendrive, algum lugar vende?
> >>
> >> Cabral Bandeira
> >>
> >>> Em 20 de set de 2016, às 02:18, Paulo Henrique  >
> >> escreveu:
> >>>
> >>> Em 19 de setembro de 2016 23:46, Cabral Bandeira 
> >>> escreveu:
> >>>
>  da boot e depois um erro que não monta, dicas? FreeBSD 11
> 
>  Cabral Bandeira
>  -
>  Histórico: http://www.fug.com.br/historico/html/freebsd/
>  Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >>>
> >>> Instalou o pmbr ?
> >>>
> >>> Att.
> >>>
> >>> --
> >>> :UNI> >>> Paulo Henrique.
> >>> Fone: (21) 37089388.
> >>> -
> >>> Histórico: http://www.fug.com.br/historico/html/freebsd/
> >>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >> -
> >> Histórico: http://www.fug.com.br/historico/html/freebsd/
> >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >>
> >
> > Cara gravar um memstick é tão simples e rápido, não leva nem 30 minutos.
> > Deixa de ser preguiçoso !
> >
> > Abraços
> > --
> > :UNI> > Paulo Henrique.
> > NoRm4nD @ FreeNode.Net
> > Fone: (21) 37089388.
> > -
> > Histórico: http://www.fug.com.br/historico/html/freebsd/
> > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
Por favor !!

https://www.freebsd.org/doc/en_US.ISO8859-1/books/handbook/bsdinstall-pre.html

Att.


-- 
:UNI>http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] UEFI

[Cabral Bandeira]

dd if=usb.img of=/dev/sdd1 bs=4M faço assim no Linux mas dá erro no boot, falta 
algo?

Cabral Bandeira 

> Em 20 de set de 2016, às 10:44, Paulo Henrique  
> escreveu:
> 
> 2016-09-20 3:21 GMT-03:00 Cabral Bandeira :
> 
>> não, baixei a versão memstick e passei pro pendrive, olhei esse pmbr achei
>> meio complicado fazer um pendrive, algum lugar vende?
>> 
>> Cabral Bandeira
>> 
>>> Em 20 de set de 2016, às 02:18, Paulo Henrique 
>> escreveu:
>>> 
>>> Em 19 de setembro de 2016 23:46, Cabral Bandeira 
>>> escreveu:
>>> 
 da boot e depois um erro que não monta, dicas? FreeBSD 11
 
 Cabral Bandeira
 -
 Histórico: http://www.fug.com.br/historico/html/freebsd/
 Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>>> 
>>> Instalou o pmbr ?
>>> 
>>> Att.
>>> 
>>> --
>>> :UNI>>> Paulo Henrique.
>>> Fone: (21) 37089388.
>>> -
>>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> -
>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> 
> 
> Cara gravar um memstick é tão simples e rápido, não leva nem 30 minutos.
> Deixa de ser preguiçoso !
> 
> Abraços
> -- 
> :UNI> Paulo Henrique.
> NoRm4nD @ FreeNode.Net
> Fone: (21) 37089388.
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Otimização do ZFS in-kernel.

[Ricardo Campos Passanezi]

On Tue, Sep 20, 2016 at 10:42:38AM -0300, Paulo Henrique wrote:
> Saudações Ricardo,
> 
> Não é que o zfs_load no loader.conf já basta, contudo ainda sou meio
> "old-school" e gosto das coisas compiladas in-kernel.

Bom, no tocante "old-school", sou do tempo da "free...@br.freebsd.org"
:-)



> Algumas coisas que procurei e não achei com relação ao ZFS.
> Definição de espaço de memoria destinado ao ARC
> Definição de espaço de memoria destinado ao L2ARC
> Essas variáveis que impactam em todo o sistema seria muito bom se tivesse a
> opção de definilas no kernel ou mesmo via sysctl.
> Antigamente podia definir o root no arquivo de configuração do kernel
> também porém não achei a opção.

Bem, depois de carregado via loader (ou se instalou como "zfs on root"):

# sysctl -a | egrep zfs | wc
 262 534   10156
# sysctl vfs.zfs | egrep arc
vfs.zfs.l2arc_norw: 1
vfs.zfs.l2arc_feed_again: 1
vfs.zfs.l2arc_noprefetch: 1
vfs.zfs.l2arc_feed_min_ms: 200
vfs.zfs.l2arc_feed_secs: 1
vfs.zfs.l2arc_headroom: 2
vfs.zfs.l2arc_write_boost: 8388608
vfs.zfs.l2arc_write_max: 8388608
vfs.zfs.arc_meta_limit: 322436480
vfs.zfs.arc_free_target: 3542
vfs.zfs.arc_shrink_shift: 7
vfs.zfs.arc_average_blocksize: 8192
vfs.zfs.arc_min: 161218240
vfs.zfs.arc_max: 1289745920

Esses são valores padrão numa máquina virtual que acabei de instalar
(não fiz nenhuma otimização).


> 
> Abraços.
> 
> -- 
> :UNI> Paulo Henrique.
> NoRm4nD @ FreeNode.Net
> Fone: (21) 37089388.
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

-- 
Ricardo Campos Passanezi
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] UEFI

[Paulo Henrique]

2016-09-20 3:21 GMT-03:00 Cabral Bandeira :

> não, baixei a versão memstick e passei pro pendrive, olhei esse pmbr achei
> meio complicado fazer um pendrive, algum lugar vende?
>
> Cabral Bandeira
>
> > Em 20 de set de 2016, às 02:18, Paulo Henrique 
> escreveu:
> >
> > Em 19 de setembro de 2016 23:46, Cabral Bandeira 
> > escreveu:
> >
> >> da boot e depois um erro que não monta, dicas? FreeBSD 11
> >>
> >> Cabral Bandeira
> >> -
> >> Histórico: http://www.fug.com.br/historico/html/freebsd/
> >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >
> > Instalou o pmbr ?
> >
> > Att.
> >
> > --
> > :UNI> > Paulo Henrique.
> > Fone: (21) 37089388.
> > -
> > Histórico: http://www.fug.com.br/historico/html/freebsd/
> > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>

Cara gravar um memstick é tão simples e rápido, não leva nem 30 minutos.
Deixa de ser preguiçoso !

Abraços
-- 
:UNI>http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Otimização do ZFS in-kernel.

[Paulo Henrique]

Em 20 de setembro de 2016 09:49, Ricardo Campos Passanezi <
ri...@ige.unicamp.br> escreveu:

> On Mon, Sep 19, 2016 at 08:57:02PM -0300, Paulo Henrique wrote:
> > Saudações camaradas,
> >
> > Observei que as opções de otimização de construção do ZFS bultin kernel
> > foram removidas no 10.3 Stable, não há mais nenhuma otimização in-kernel
> > para o ZFS.
> > Consultei o LINT, sys/conf/NOTES e amd64/conf/NOTES e as opções que
> > permitia construir o sistema com o ZFS on-kernel não estão mais
> presentes.
> >
> > Abraços e qualquer informação será bem vinda.
>
> Um 'zfs_load="YES"' no loader.conf já não resolve?
>
>
>
> --
> Ricardo Campos Passanezi
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>

Saudações Ricardo,

Não é que o zfs_load no loader.conf já basta, contudo ainda sou meio
"old-school" e gosto das coisas compiladas in-kernel.
Algumas coisas que procurei e não achei com relação ao ZFS.
Definição de espaço de memoria destinado ao ARC
Definição de espaço de memoria destinado ao L2ARC
Essas variáveis que impactam em todo o sistema seria muito bom se tivesse a
opção de definilas no kernel ou mesmo via sysctl.
Antigamente podia definir o root no arquivo de configuração do kernel
também porém não achei a opção.

Abraços.

-- 
:UNI>http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] Otimização do ZFS in-kernel.

[Ricardo Campos Passanezi]

On Mon, Sep 19, 2016 at 08:57:02PM -0300, Paulo Henrique wrote:
> Saudações camaradas,
> 
> Observei que as opções de otimização de construção do ZFS bultin kernel
> foram removidas no 10.3 Stable, não há mais nenhuma otimização in-kernel
> para o ZFS.
> Consultei o LINT, sys/conf/NOTES e amd64/conf/NOTES e as opções que
> permitia construir o sistema com o ZFS on-kernel não estão mais presentes.
> 
> Abraços e qualquer informação será bem vinda.

Um 'zfs_load="YES"' no loader.conf já não resolve?



-- 
Ricardo Campos Passanezi
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Re: [FUG-BR] UEFI

[Cabral Bandeira]

não, baixei a versão memstick e passei pro pendrive, olhei esse pmbr achei meio 
complicado fazer um pendrive, algum lugar vende? 

Cabral Bandeira 

> Em 20 de set de 2016, às 02:18, Paulo Henrique  
> escreveu:
> 
> Em 19 de setembro de 2016 23:46, Cabral Bandeira 
> escreveu:
> 
>> da boot e depois um erro que não monta, dicas? FreeBSD 11
>> 
>> Cabral Bandeira
>> -
>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> 
> Instalou o pmbr ?
> 
> Att.
> 
> -- 
> :UNI> Paulo Henrique.
> Fone: (21) 37089388.
> -
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
-
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd