Re: OFF - melhor midia e drives para backup
OK, Felipe, muito obrigado pelas dicas detalhadas!
Meu caso é uma demanda de 300GB/mes NOVOS. São informações a serem
processadas, enviadas para o cliente, e guardadas para consultas
futuras. Estes 300GB devem permanecer no servidor não mais que 2 meses.
Então a cópia é mandatória, e deve ser confiável, pois os dados terão
que ser excluídos, ou não haverá espaço no servidor que baste.
Dimensionei 1.5TB, imaginando não mais que 5 meses de armazenamento. É
uma demanda estimada para o futuro próximo, hoje não chega a metade
disto. Para realizar consultas não é necessário que os dados voltem ao
servidor, pois o sistema permite uma consulta utilizando qualquer
máquina stand-alone, desde que os dados sejam recuperáveis e montados
read-only. Quanto a criptografia, não será necessário, pois os dados já
são armazenados criptografados, na origem.
obrigado
Vinicius
Felipe Augusto van de Wiel (faw) escreveu:
-BEGIN PGP SIGNED MESSAGE-
Hash: SHA1
On 07-06-2008 11:48, Vinicius De Mario wrote:
Montei um servidor Debian, que será utilizado prioritariamente para
armazenamento de dados (arquivos de diversos tipos), com capacidade de
aprox. 1.5TB (são 4 HDs de 750GB, configurados como RAID 10).
Estima-se uma demanda futura de cerca de 300GB/mes. Os dados não
necessitam ficar permanentemente armazenados neste servidor, pois após
processados serão utilizados apenas para consultas esporádicas.
Você pode utilizar a técnico do [1]Mike Rubel para fazer
snapshots de backup com rsync, o mesmo princÃpio foi automatizado
e é fácil de implementar usando o pacote rsnapshot.
1. http://www.mikerubel.org/computers/rsync_snapshots/
Se a massa de dados _muda_, isso quer dizer, 300GB/mês
*totalmente* novos, o rsnapshot não vai ajudá-lo, mas se a
maioria do ambiente é repetida com poucas mudanças, o rsnapshot
tem a grande vantagem de só consumir o "delta" além do backup
base inicial e ainda manter uma "visão completa" do sistema de
arquivos. Se 300GB/mês for o inicial e 30GB/mês o delta, então
você teria praticamente 5 anos de backup em 1.5TB.
Como o volume de dados é relativamente alto, imagino que seria
mais prático, e confiável, utilizar fita magnética.
Mais prático é utilizar sistemas de snapshot pra disco,
os backups são mais fáceis de manusear, manipular e restaurar,
você precisa ter mais cuidado com a segurança e,
preferencialmente, ter a máquina de backup em outro local
fÃsico.
MÃdias removÃveis, quaisquer que seja, tem outra
logÃstica, você precisa assegurar o dados ("criptografia"),
embora na primeira opção você também deva fazer isso, nesta
isto é quase que obrigatório. Também será necessário um
sistema de catálogo para facilitar as buscas e restaurações
e um controle de indexação das mÃdias.
As mÃdias são mais fáceis de remover e levar para
um cofre ou para outro local fÃsico, mas seu tempo de
operação não é igual ao tempo de operação de discos rÃgidos
ou unidades de armazenamento ("storage"). Se há dinheiro
para investir, uma solução de backup talvez seja o mais
interessante, incluindo um robô.
Fiz uma pesquisa básica
na Internet, mas sinceramente não consegui me certificar
de quais drives e tecnologias seriam mais adequados e
totalmente compatÃveis com Linux/Debian, e, de preferência,
disponÃveis no Brasil.
Sony e IBM costumam oferecer suporte para AIT e DLT
em GNU/Linux, embora eles recomendem ferramentas
especializadas como Tivoli. Nos dois casos, não é difÃcil
ligar para o representante e pedir para ver os equipamentos
ou realizar testes.
Tecnologicamente a AIT é melhor, gravação helicoidal,
seria a evolução da DAT, mas não sei se a Sony abriu pra
outros além deles fabricarem. A DLT é mais popular e tem
alternativas (IBM, HP). Ambas tem altas capacidades de
armazenamento e velocidade de gravação/leitura.
Como os arquivos deverão ficar armazenados por longo tempo
(circa de 5 anos), talvez fitas WROM sejam um boa solução
em termos de custo/benefÃcio.
Depende do cenário, você vai precisar de um local
apropriado pra armazenar isso, algo como cofre anti-chama
ou sala-cofre (esse é o caso para as mÃdias removÃveis).
Como não tenho experiência prática no assunto, venho apelar
aos colegas uma orientação a respeito, de quem já convive(eu)
com situação semelhante. Dei uma espiada nos sites da Quantum
e Sony, mas não consegui chegar a nenhuma conclusão.
Vá para o telefone e marque visitas, o pessoal está
acostumado a levar folhetos, dar explicações técnica e até
mesmo providenciar equipamentos para testes e demonstrações.
Sua demanda parece ser no sentido de ter uma
empresa ou um "datacenter" que forneça o apoio à solução
de backup, você pode usar ferramentas como duplicity para
criptografar os dados e armazená-los em um local remoto
como um
Re: OFF - melhor midia e drives para backup
-BEGIN PGP SIGNED MESSAGE-
Hash: SHA1
On 07-06-2008 11:48, Vinicius De Mario wrote:
> Montei um servidor Debian, que será utilizado prioritariamente para
> armazenamento de dados (arquivos de diversos tipos), com capacidade de
> aprox. 1.5TB (são 4 HDs de 750GB, configurados como RAID 10).
>
> Estima-se uma demanda futura de cerca de 300GB/mes. Os dados não
> necessitam ficar permanentemente armazenados neste servidor, pois após
> processados serão utilizados apenas para consultas esporádicas.
Você pode utilizar a técnico do [1]Mike Rubel para fazer
snapshots de backup com rsync, o mesmo princípio foi automatizado
e é fácil de implementar usando o pacote rsnapshot.
1. http://www.mikerubel.org/computers/rsync_snapshots/
Se a massa de dados _muda_, isso quer dizer, 300GB/mês
*totalmente* novos, o rsnapshot não vai ajudá-lo, mas se a
maioria do ambiente é repetida com poucas mudanças, o rsnapshot
tem a grande vantagem de só consumir o "delta" além do backup
base inicial e ainda manter uma "visão completa" do sistema de
arquivos. Se 300GB/mês for o inicial e 30GB/mês o delta, então
você teria praticamente 5 anos de backup em 1.5TB.
> Como o volume de dados é relativamente alto, imagino que seria
> mais prático, e confiável, utilizar fita magnética.
Mais prático é utilizar sistemas de snapshot pra disco,
os backups são mais fáceis de manusear, manipular e restaurar,
você precisa ter mais cuidado com a segurança e,
preferencialmente, ter a máquina de backup em outro local
físico.
Mídias removíveis, quaisquer que seja, tem outra
logística, você precisa assegurar o dados ("criptografia"),
embora na primeira opção você também deva fazer isso, nesta
isto é quase que obrigatório. Também será necessário um
sistema de catálogo para facilitar as buscas e restaurações
e um controle de indexação das mídias.
As mídias são mais fáceis de remover e levar para
um cofre ou para outro local físico, mas seu tempo de
operação não é igual ao tempo de operação de discos rígidos
ou unidades de armazenamento ("storage"). Se há dinheiro
para investir, uma solução de backup talvez seja o mais
interessante, incluindo um robô.
> Fiz uma pesquisa básica
> na Internet, mas sinceramente não consegui me certificar
> de quais drives e tecnologias seriam mais adequados e
> totalmente compatíveis com Linux/Debian, e, de preferência,
> disponíveis no Brasil.
Sony e IBM costumam oferecer suporte para AIT e DLT
em GNU/Linux, embora eles recomendem ferramentas
especializadas como Tivoli. Nos dois casos, não é difícil
ligar para o representante e pedir para ver os equipamentos
ou realizar testes.
Tecnologicamente a AIT é melhor, gravação helicoidal,
seria a evolução da DAT, mas não sei se a Sony abriu pra
outros além deles fabricarem. A DLT é mais popular e tem
alternativas (IBM, HP). Ambas tem altas capacidades de
armazenamento e velocidade de gravação/leitura.
> Como os arquivos deverão ficar armazenados por longo tempo
> (circa de 5 anos), talvez fitas WROM sejam um boa solução
> em termos de custo/benefício.
Depende do cenário, você vai precisar de um local
apropriado pra armazenar isso, algo como cofre anti-chama
ou sala-cofre (esse é o caso para as mídias removíveis).
> Como não tenho experiência prática no assunto, venho apelar
> aos colegas uma orientação a respeito, de quem já convive(eu)
> com situação semelhante. Dei uma espiada nos sites da Quantum
> e Sony, mas não consegui chegar a nenhuma conclusão.
Vá para o telefone e marque visitas, o pessoal está
acostumado a levar folhetos, dar explicações técnica e até
mesmo providenciar equipamentos para testes e demonstrações.
Sua demanda parece ser no sentido de ter uma
empresa ou um "datacenter" que forneça o apoio à solução
de backup, você pode usar ferramentas como duplicity para
criptografar os dados e armazená-los em um local remoto
como um datacenter contratado e pagando por espaço usado.
Abraço,
- --
Felipe Augusto van de Wiel (faw)
"Debian. Freedom to code. Code to freedom!"
-BEGIN PGP SIGNATURE-
Version: GnuPG v1.4.6 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org
iD8DBQFISuACCjAO0JDlykYRArh2AKCVA9+fr3bYYwdGBiEOf74PVJUhUQCg1ZjG
1iNoFvOU1sGCC0F6VumKnLU=
=hkhu
-END PGP SIGNATURE-
--
To UNSUBSCRIBE, email to [EMAIL PROTECTED]
with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
OFF - melhor midia e drives para backup
Montei um servidor Debian, que será utilizado prioritariamente para armazenamento de dados (arquivos de diversos tipos), com capacidade de aprox. 1.5TB (são 4 HDs de 750GB, configurados como RAID 10). Estima-se uma demanda futura de cerca de 300GB/mes. Os dados não necessitam ficar permanentemente armazenados neste servidor, pois após processados serão utilizados apenas para consultas esporádicas. Como o volume de dados é relativamente alto, imagino que seria mais prático, e confiável, utilizar fita magnética. Fiz uma pesquisa básica na Internet, mas sinceramente não consegui me certificar de quais drives e tecnologias seriam mais adequados e totalmente compatíveis com Linux/Debian, e, de preferência, disponíveis no Brasil. Como os arquivos deverão ficar armazenados por longo tempo (circa de 5 anos), talvez fitas WROM sejam um boa solução em termos de custo/benefício. Como não tenho experiência prática no assunto, venho apelar aos colegas uma orientação a respeito, de quem já convive(eu) com situação semelhante. Dei uma espiada nos sites da Quantum e Sony, mas não consegui chegar a nenhuma conclusão. saudações -- Vinicius -- To UNSUBSCRIBE, email to [EMAIL PROTECTED] with a subject of "unsubscribe". Trouble? Contact [EMAIL PROTECTED]
