Como criar seu próprio servidor de armazenamento em nuvem por uma fração do custo

Se você administra uma empresa de pequeno ou médio porte que requer muito armazenamento digital, chegará o momento em que você precisará de sua própria nuvem. Seja armazenamento para clientes ou backups de dados da empresa, os grandes fornecedores não são baratos. Você provavelmente está considerando Amazon S3, Dell, Sun, EMC e NetApp, entre outros.

Mas se você realmente deseja reduzir custos, aceite o desafio com suas próprias mãos. Com alguns truques e um pouco de know-how, você pode obter pedabytes de armazenamento por apenas um décimo do preço que qualquer uma dessas grandes marcas.

Neste guia, mostraremos como usar alguns ingredientes principais:

• Discos rígidos de consumo para manter os custos baixos
• Componentes de mercadorias prontamente disponíveis
• Racks e caixas com eficiência de espaço
• Software grátis
• HTTPS para armazenar e recuperar dados

Esse método foi testado e testado pela BackBlaze, uma empresa de backup em nuvem que foi pioneira nesse esquema. Vamos nos emprestar muito do conhecimento que o BackBlaze compartilhou generosamente com o mundo.

Drives e componentes

Quando despojado de tudo, menos a função principal do que todas as grandes marcas de nuvem corporativa fazem, o que você obtém é tão simples quanto transferir dados de e para um disco rígido pela Internet. Se você está construindo seu próprio servidor em nuvem, os discos rígidos que você compra determinam amplamente o preço e compõem a estimativa em massa – pelo menos metade e até 80% – de seu investimento.

O software é gratuito e, portanto, o restante vem do gabinete, dos racks e de todos os componentes. O design de código aberto do gabinete mais recente do Backblaze alega que pode reduzir o custo para apenas 3,6 centavos de dólar por GB de armazenamento, totalizando 240 TB com todas as 60 unidades contabilizadas. Os pods ficam em racks de 4U e o design 6.0 se estende alguns centímetros além do limite, então considere quanto espaço você tem na sala do servidor.

Você pode comprar um desses “pods” pré-construídos por entre US $ 3.000 e US $ 7.000, dependendo de quantos slots de disco rígido você precisar, de 45 Drives ou Blackblaze. Com o pod pré-construído, a única outra coisa que você precisa comprar são os discos rígidos reais.

Ou você pode construir um você mesmo. Para um pod de 6ª geração com 60 discos rígidos, as listas completas de peças e preços estimados podem ser encontrados neste PDF. A maioria dos componentes pode ser encontrada em Newegg e Amazon, mas alguns virão de distribuidores especiais ou montadoras contratadas.

Embora as peças variem para cada versão do design do Backblaze, aqui está um resumo genérico de tudo o que você precisa:

• Chassi 4U
• Fonte de energia
• Interruptor de ligar / desligar
• Ventilador do caso
• Amortecedores
• Suportes para ventiladores
• Placa-mãe
• Ventilador da CPU
• CPU (Intel)
• 8GB RAM
• Backbplanes do multiplicador de portas
• Cartões SATA III
• Cabos SATA III
• Chicotes de cabos
• Parafusos e abraçadeiras

Montagem

Depois de ter todas as peças, é hora de começar a montagem. Você pode fazer o download do seguinte no BackBlaze:

• Diagramas de fiação (arquivo ZIP)
• Rotas de fiação (arquivo ZIP)
• Criar livro (PDF)

Ao todo, a configuração de 60 unidades custa cerca de US $ 3.500, de acordo com o BackBlaze. Lembre-se de que não inclui as unidades. Com 45 discos rígidos de 4 TB, a conta total chega a cerca de US $ 10.500, segundo a empresa.

Observe que, em um projeto anterior, o BackBlaze usava uma configuração de conexão direta, na qual todos os discos rígidos eram conectados diretamente a uma placa Rocket 750 SATA. Posteriormente, eles retornaram à sua configuração original, que usa backplanes multiplicadores de portas que contêm cinco unidades cada. Dependendo do hardware disponível a que preço, ambas são boas opções.

Criando uma nuvem

Então agora você construiu um servidor de armazenamento enorme por uma fração do que custaria usar os servidores de outras pessoas, mas ainda precisa transformá-lo em uma nuvem acessível a clientes, funcionários e / ou aplicativos.

Vamos trabalhar de baixo para cima. O Backblaze recomenda o Debian Linux de 64 bits como o sistema operacional. A ferramenta fdisk é usada para criar uma partição por unidade. Se você comprou um dos pods pré-fabricados, muitos dos drivers serão pré-instalados. As unidades são agrupadas em conjuntos de 15 em volumes RAID6 com duas unidades de paridade, cada uma usando o utilitário mdadm.

Agora você deve escolher entre o sistema de arquivos JFS ou ext4. Ext4 é mais comum, mas JFS é o que o BackBlaze usa. Cada pod possui seu próprio endereço IP HTTPS, que é como será acessado. O ext4 suporta até 1EiB, mas a cópia de distribuição do e2fsprogs suporta apenas 16 TB. Construir a partir da fonte usando o sinalizador de 64 bits resolve isso.

Depois de tudo isso, você acaba com cerca de 83% do espaço utilizável do total. É aqui que precisamos parar de confiar no Backblaze para obter conselhos, pois seu software em nuvem é proprietário.

Você tem algumas opções para software em nuvem. O NFS é experimentado e testado no Linux, mas não é tão compatível com dispositivos móveis.

Outra opção é a Oxygen Cloud, que usa o Oxygen Storage Connector para converter o armazenamento usado no servidor em armazenamento que pode ser usado com os aplicativos da Oxygen Cloud. A nuvem de oxigênio criptografa os dados em trânsito de ponta a ponta. Você também obtém acesso aos Oxygen Tunnel Gateways, que permitem acessar seu armazenamento de fora do seu próprio firewall, sem precisar alterar sua configuração..

Desvantagens

Antes de ir para Newegg e começar a encher seu carrinho de compras com discos rígidos e componentes, é importante considerar as possíveis desvantagens de não ir com um provedor como Amazon S3 ou EMC.

O maior risco é que você pode perder dados. Isso significa que você pode perder o emprego e / ou prejudicar sua empresa e colegas de trabalho. O sistema usa um único disco para o sistema operacional host, alguns não têm fontes de alimentação redundantes ou de failover, e qualquer software de integridade ou monitoramento deve ser construído, instalado e configurado manualmente.

Também não é tão fácil de expandir ou manter. Quando você paga pelo Amazon S3, a manutenção é feita por você. Mas uma tarefa tão simples quanto trocar uma unidade com falha em um pod de armazenamento DIY exige que você remova 12 parafusos e a tampa superior, para não mencionar a instalação de chicotes elétricos personalizados. Grande parte da manutenção necessária exigirá que o sistema seja colocado offline e possivelmente desligado.

A solução mais simples para esses dois problemas é criar um ou mais servidores redundantes extras que atuam como failovers.

Todas as imagens de Backblaze licenciadas sob CC BY 2.0