Estratégia de backup e restauração do Ceph

O que é o Ceph?

O Ceph é uma plataforma de armazenamento definida por software distribuída gratuitamente e de código aberto. Ele fornece armazenamento de arquivos, blocos e objetos usando sua base de cluster distribuído como infraestrutura. O Ceph não precisa depender de um sistema de arquivos de terceiros, pois seu próprio backend de armazenamento, chamado “BlueStore”, é capaz de gerenciar SSDs e HDDs diretamente.

Embora o protótipo original do Ceph tenha sido criado em 2005 (como um projeto de verão, nada menos!), ele não era tão popular durante a maior parte de seus anos de desenvolvimento como é agora, apesar de seu impressionante conjunto de recursos. O Ceph não requer hardware específico para operar e pode replicar dados com tolerância a falhas, oferecendo uma poderosa disponibilidade de dados usando uma combinação de instantâneos, replicação, codificação de eliminação, clonagem e outros recursos.

Alguns dos maiores exemplos do mundo moderno de infraestruturas Ceph incluem um grande provedor de nuvem, a DigitalOcean, uma empresa francesa de computação em nuvem, a OVH, e o CERN, uma organização intergovernamental de pesquisa famosa por seu laboratório de física de partículas, considerado o maior do planeta.

Por que é necessário fazer backup dos clusters Ceph

Uma das vantagens mais significativas da infraestrutura do Ceph é sua natureza de autogerenciamento e autocorreção, que, quando configurada corretamente, pode reduzir significativamente os custos gerais de gerenciamento para implantações pequenas e grandes.

Alguns usuários podem pensar que esse tipo de redundância é suficiente para deixar de usar os métodos tradicionais de segurança de dados, como sistemas e operações de backup e recuperação. Infelizmente, esse não é o caso do Ceph, e há vários tipos diferentes de situações e casos de uso que sua redundância não pode cobrir:

• A recuperação de desastres é um exemplo fácil do que o Ceph não pode contornar. A maioria dos desastres afeta clusters de armazenamento inteiros, tornando toda a infraestrutura comprometida e incapaz de ser restaurada.
• Os tipos modernos de ransomware já evoluíram várias vezes, oferecendo a capacidade de buscar e afetar cópias de backup e sistemas de armazenamento inteiros para impedir que a estrutura de redundância do Ceph funcione como um todo.
• Nem todos os eventos de corrupção de dados podem ser evitados com o Ceph, pois não é incomum que a corrupção se espalhe por sistemas e infraestruturas inteiros, afetando todas as cópias de redundância.
• Os erros humanos podem ser uma das categorias mais significativas de problemas que a maioria das medidas de segurança não é capaz de cobrir em sua totalidade. A própria natureza do sistema de replicação do Ceph significa que praticamente qualquer alteração nos dados originais é replicada em todas as suas cópias de redundância, inclusive a alteração ou exclusão acidental de informações importantes.

Dessa forma, várias medidas de segurança, como backups, ainda são necessárias, mesmo em um ambiente com tanta redundância como o Ceph.

Como as tarefas de backup são realizadas no Ceph

O Ceph usa um componente de armazenamento em bloco chamado RBD (RADOS Block Device) para operar cargas de trabalho e informações nos clusters do Ceph. Devido à natureza muito específica da infraestrutura do Ceph, há pelo menos duas maneiras diferentes de criar um backup ou uma cópia de um cluster:

• Anexo direto ao disco virtual usando uma VM proxy.
• Exportação de volume RBD diretamente da infraestrutura do Ceph.

Ambas as abordagens têm seu quinhão de desvantagens, especialmente quando se trata de criar tipos de backup não padrão (como o backup incremental).

O principal problema aqui é a incapacidade do Ceph de realizar o rastreamento de blocos alterados sem passar por todo o dispositivo de bloco. No entanto, o Ceph oferece sua própria solução para isso: a capacidade de extrair a chamada “diferença de snapshot”, que é gerada pela criação de um snapshot manual e um automático em diferentes períodos de tempo e pela comparação dos dois bloco a bloco.

Esse tipo de abordagem pode ser um pouco mais problemático do que os métodos tradicionais de backup incremental, mas seria uma necessidade para ambientes maiores que não podem se dar ao luxo de usar apenas backups completos por motivos de capacidade de armazenamento de dados.

Ao mesmo tempo, esses dois casos de uso só funcionam com um conjunto muito específico de circunstâncias, incluindo uma camada de virtualização e um software que suporte explicitamente a infraestrutura Ceph. Felizmente, esses não são os únicos métodos de backup para o Ceph como um todo.

Algumas soluções de backup são capazes de proteger os volumes RBD em um nível muito básico, da mesma forma que outros aplicativos ou VMs são protegidos. Essa abordagem específica também funciona para clusters Ceph, embora a lista de softwares que podem realizar tal façanha ainda seja surpreendentemente pequena.

Software de backup com suporte para Ceph

Como mencionamos anteriormente, algumas soluções podem proteger os volumes RBD sem a camada de virtualização, de forma semelhante a como os aplicativos regulares ou as VMs são protegidos.

Storware

A Storware é uma dessas soluções, com seu recurso vProtect Storage Provider que oferece proteção de dados baseada em políticas para praticamente qualquer tipo de volume necessário. Ele pode oferecer suporte aos volumes do Ceph, bem como a vários outros ambientes Kubernetes/OpenStack. O Storware oferece suporte à exportação direta de RBD e à conexão direta de disco por meio de um hipervisor como duas de suas principais abordagens para backups, deixando a escolha nas mãos do usuário.

O software geral também tem muitos outros casos de uso e recursos. O Storware é uma solução de backup centrada em VMs com suporte para muitas outras mídias de armazenamento; é uma plataforma relativamente fácil de usar que se destaca no gerenciamento de snapshots e pode oferecer uma quantidade razoável de personalização para seus usuários.

Classificações dos clientes:

• G2 – 4,7/5 pontuação baseada em 28avaliações de clientes

Vantagens:

• Uma interface de usuário simples e conveniente com uma experiência de usuário agradável.
• O software em si não tem agente, o que simplifica muito o processo geral de implementação.
• Em relação ao processo de implementação, configurar o Storware pela primeira vez também não é uma tarefa difícil para a maioria dos usuários.

Observações:

• Embora o software em si seja muito personalizável, algumas de suas áreas, como o sistema de notificação, são surpreendentemente rígidas nesse aspecto.
• A configuração do Storware não é um processo complicado, mas todo o crédito por isso vai para os materiais de aprendizado de terceiros na Internet.
• A configuração da política de retenção pode ser um incômodo por vários motivos.

Preços (no momento em que este artigo foi escrito):

• As informações sobre preços que a Storware fornece em seu site público são um tanto limitadas.
• Existem pelo menos dois planos de preços diferentes para o senhor escolher:
  • Freemium, que é uma versão gratuita da solução que é muito limitada em seus recursos – ela só pode trabalhar com até 1 TB de dados, até 10 VMs, até 10 aplicativos e assim por diante. Pelo lado positivo, ela apresenta todos os recursos e funcionalidades da Storware.
  • Free Trial, uma versão temporária da solução que está disponível por apenas 60 dias; ela inclui tudo o que a Storware tem a oferecer, sem nenhuma limitação de hardware ou software (além do limite de tempo).
• Tudo o mais em relação ao preço da solução só pode ser adquirido após a solicitação de uma cotação personalizada.

Minha opinião pessoal sobre a Storware:

O Storware é originalmente uma solução de backup e recuperação centrada em VM com muitos recursos nesse sentido, mas sua compatibilidade com o Ceph é o destaque aqui. O software pode extrair diferenças de snapshot diretamente da API do Ceph para melhorar o desempenho. Ele também oferece muitos recursos básicos orientados para backup por padrão, incluindo automação de backup, proteção de backup baseada em políticas, diferentes tipos de backup e muito mais. A capacidade de gerenciar volumes RBD fora da plataforma de virtualização também ajuda significativamente a Storware a gerenciar infraestruturas complexas compostas por vários tipos de armazenamento de dados.

Trilio

O Trilio é uma boa alternativa ao software anterior. Ele oferece a capacidade de extrair snapshots RBD da infraestrutura do Ceph, gerar a “diferença de snapshot” para backups incrementais e converter essas informações em um formato de arquivo mais conveniente e versátil que pode ser protegido com outros recursos do Trilio. Ele usa sua própria solução TrilioVault para oferecer continuidade dos negócios e proteção de dados em um único pacote.

O público principal do Trilio são os ambientes nativos da nuvem e seus usuários, sendo o Kubernetes e o OpenStack os elementos mais valiosos desse grupo de foco. A Trilio pode oferecer não apenas recursos de backup e recuperação, mas também resiliência e segurança de dados. A Trilio pode realizar a recuperação de desastres, auxiliar na conformidade baseada em evidências e vários outros recursos.

Vantagens:

• O Trilio pode trabalhar com várias APIs diferentes que podem simplificar o processo de criação e restauração de backups para aplicativos de contêineres e de nuvem (a API Nova e o Cinder são seus exemplos mais proeminentes).
• O software pode reduzir bastante o esforço manual necessário para realizar tarefas de backup e recuperação, oferecendo recursos de backup orientados por políticas e recursos de automação personalizáveis.
• Ele também pode capturar aplicativos e contêineres inteiros de uma só vez, garantindo que as dependências e outras conexões não sejam perdidas durante ou após o processo de backup e recuperação.

Observações:

• O foco do Trilio em ambientes em contêineres e nativos da nuvem o torna um tanto inútil para configurações tradicionais de ambientes de armazenamento de dados, o que pode limitar significativamente o alcance potencial e a utilidade geral da solução.
• Tecnologias como o OpenStack se desenvolvem com muita frequência, forçando softwares como o Trilio a se adaptarem e evoluírem para novas mudanças o mais rápido possível – algo com o qual nem todos os usuários se sentirão confortáveis.
• Embora o Trilio ofereça um certo nível de recursos de proteção de dados, a proteção de ambientes nativos da nuvem como um todo pode ser muito desafiadora, e é por isso que os recursos do Trilio não são particularmente ricos ou detalhados.

Preços (no momento em que este artigo foi escrito):

• O Trilio não oferece nenhuma informação oficial sobre preços em seu site público. A única maneira de obter essas informações é solicitar uma cotação personalizada da empresa.

Minha opinião pessoal sobre o Trilio:

O Trilio é uma solução bastante útil com um conjunto muito específico de casos de uso, ou seja, auxiliar ambientes nativos da nuvem e em contêineres com esforços de proteção de dados. O Trilio pode se integrar perfeitamente aos recursos de armazenamento distribuído do Ceph, oferecendo uma infinidade de recursos para integridade de dados, tempo de inatividade mínimo, desempenho máximo e assim por diante. O software em si é relativamente fácil de usar e intuitivo, o que o torna muito fácil de implantar e trabalhar, mesmo para usuários menos experientes. O Ceph não é o único tipo de infraestrutura que pode se beneficiar da integração da Trilio, já que o TrilioVault é compatível com todos os tipos de ambiente OpenStack.

Bacula Enterprise

Outra possível solução para fazer backup de dados de provedores de armazenamento em nuvem baseados em Ceph é o Bacula, com seu Bacula Cloud Driver que oferece suporte à maioria das tecnologias que compõem o Ceph e o S3.

A adição do armazenamento em nuvem à infraestrutura permite que o Bacula execute muitos de seus recursos orientados para backup e recuperação com uma personalização impressionante, altos níveis de segurança e um grande número de recursos para trabalhar. O backup dos próprios volumes Ceph é feito por meio de uma combinação de recursos de exportação RBD e BaculaLat do recurso bpipe, que permite a criação de backups de volumes de dados por meio de snapshots (ele também suporta os tipos de backup diferencial e incremental).

Classificações dos clientes:

• TrustRadius – 9.8/10 pontos e 54 avaliações de clientes
• G2 – 4,7/5 pontos e 56 avaliações de clientes

Vantagens:

• Suporte excepcional ao cliente com disponibilidade 24/7.
• Múltiplas integrações disponíveis e plataformas compatíveis, incluindo disco, fita, nuvem, VM, aplicativos, bancos de dados, contêineres, etc.
• Desempenho impressionante para operações de backup e recuperação.

Observações:

• O sistema de licenciamento modular usa um modelo básico baseado em assinatura com um preço adicional para alguns módulos específicos, o que pode ser insatisfatório para alguns usuários.
• O número total de recursos pode resultar em uma curva de aprendizado moderada, mesmo ao usar a GUI BWeb do Bacula em vez de uma interface de linha de comando.
• O ciclo de atualização do Bacula é relativamente curto. Muitas atualizações são lançadas regularmente, e muitas delas são obrigatórias para melhorar a segurança e a estabilidade do sistema.

Preços (no momento em que este artigo foi escrito):

• Não há informações oficiais sobre preços do Bacula Enterprise no site oficial.
• No entanto, o modelo geral de preços é explicado lá, e pode ser um pouco esmagador no início:
  • BSBE (Bacula Small Business Edition): 2 contratos, 20 agentes, inclui BWeb e suporte na Web.
  • Standard Tier: 2 contratos, 50 agentes, não mais do que 4 dias de espera para consultas de suporte ao cliente.
  • Bronze Tier: 2 contratos, 200 agentes, prazos de resposta do suporte ao cliente de 6 horas a 4 dias, suporte telefônico.
  • Camada Prata: 3 contratos, 500 agentes, prazos de resposta do suporte ao cliente de 4 horas a 2 dias, um plugin de deduplicação.
  • Gold Tier: 5 contratos, 2000 agentes, prazos de resposta do suporte ao cliente de 1 hora a 2 dias.
  • Platinum Tier: 5 contratos, 5000 agentes, o menor tempo de espera possível para o suporte ao cliente, suporte ao catálogo PostgreSQL, cursos gratuitos de Administrador (1 assento de treinamento).

Minha opinião pessoal sobre o Bacula Enterprise:

O Bacula Enterprise é um software de backup e recuperação interessante com uma infinidade de recursos e funcionalidades diferentes. Ele não só pode trabalhar com a maioria dos tipos de armazenamento e variações de infraestrutura existentes, mas também pode trabalhar com algumas das infraestruturas menos comuns, como Ceph e OpenStack. É uma solução versátil, especialmente flexível e personalizável, com um conjunto extraordinário de recursos. Existe até uma versão gratuita chamada Bacula Community, que oferece muitos dos recursos gratuitamente, mas pode ser um pouco mais difícil de trabalhar e dominar. O grande número de recursos pode ser um pouco esmagador, mas o pacote geral é extremamente competente e vale o tempo e o esforço.

Backy2

Como alternativa, há também soluções de backup relativamente pequenas com suporte explícito ao Ceph. O Backy2 é um desses exemplos, oferecendo software de backup de código aberto com uma infraestrutura baseada em blocos que pode funcionar com praticamente qualquer dispositivo baseado em blocos, inclusive volumes Ceph RBD. É uma solução de backup bastante específica para cada caso, mas poderosa, com compactação, desduplicação e criptografia de dados, o que a torna segura e eficiente em termos de espaço.

O Backy2 pode realizar seus backups em nível de bloco, o que reduz significativamente o tempo por backup e, ao mesmo tempo, diminui os requisitos de espaço de armazenamento. Ele pode ser integrado a várias infraestruturas diferentes e pode ajudar no gerenciamento de backup até certo ponto, fornecendo recursos de verificação da integridade dos dados, agendamento de backup e muito mais. Infelizmente, ele também é extremamente específico para cada caso, o que torna a busca de informações ou feedback sobre ele um processo muito desafiador.

cephbackup

Também existem outros projetos de backup do Ceph, como esta ferramenta simples do GitHub que pode executar backups completos e incrementais usando o mesmo processo que já vimos várias vezes. No entanto, vale a pena observar que essa ferramenta específica não é atualizada há mais de sete anos, o que coloca em dúvida sua compatibilidade e sua viabilidade geral.

Uma abordagem recomendada para a segurança de dados Ceph

O tópico de backups de RBD em larga escala tem sido predominante há vários anos, sem nenhuma solução simples para ele. No entanto, há muitas ideias que podem ser encontradas nos últimos anos, como este painel de 2018 que foi mostrado por um funcionário da OVH – um dos maiores usuários do ambiente Ceph, de longe.

O painel discute algumas informações básicas sobre o Ceph e seus recursos, bem como backups escalonáveis que nenhuma solução de backup de terceiros poderia oferecer na época (mesmo sua solução de backup atual, Duplicity).

A pessoa que apresentou o painel também discutiu todos os desafios que a escalabilidade do backup traz no contexto do Ceph, como limitações de tamanho de arquivo e de imagem.

A solução para todos os problemas gerados pela configuração existente acabou sendo surpreendentemente simples. A ideia era usar os recursos de clonagem do Ceph para criar uma cópia idêntica do sistema em um determinado momento, que poderia atuar como a primeira linha de defesa para substituir o cluster original se algo desse errado. O próprio desempenho do Ceph permitiu que esse método específico fosse extremamente rápido, mais rápido do que qualquer outro método de backup usado pela OVH anteriormente.

No entanto, isso não é tudo. Embora os recursos de clonagem do Ceph sejam rápidos, eles não são tão poderosos quando se trata de medidas de segurança e proteção. Por isso, ainda era recomendável usar as ferramentas de backup de terceiros existentes como a “segunda linha de defesa”, por assim dizer.

Essa abordagem combina a velocidade de clonagem do Ceph com a segurança adicional que o software de backup de terceiros acrescenta, mesmo que isso reduza significativamente o desempenho.

Conclusão

O Ceph é uma estrutura de armazenamento impressionante que oferece suporte à escalabilidade extrema para praticamente qualquer volume de armazenamento em um ambiente distribuído. Ele usa seus próprios recursos avançados de redundância para oferecer um alto nível de proteção contra muitos problemas diferentes relacionados a dados. No entanto, ela está longe de ser perfeita, e é por isso que as soluções de backup e recuperação ainda são necessárias juntamente com os clusters do Ceph.

Embora existam várias soluções diferentes que suportam os clusters Ceph até certo ponto, a maioria delas tem seu quinhão de desvantagens que as tornam um tanto incompletas quando usadas como a única solução de backup. Entretanto, a combinação dos próprios recursos de replicação do Ceph com recursos de backup de terceiros oferece um nível respeitável de proteção com várias camadas de segurança, o que parece ser o melhor que o Ceph pode oferecer no momento.

Perguntas frequentes

A infraestrutura de autocorreção do Ceph é uma medida de segurança suficiente por si só?

Embora o Ceph ofereça uma infraestrutura altamente redundante como um de seus principais recursos, ela está longe de ser suficiente para cobrir todos os possíveis vetores de ataque e variações de desastres, desde o fator humano até ameaças sofisticadas de ransomware.

Qual é a principal abordagem do Ceph quando se trata de operações de backup internas e de terceiros?

A maioria dos recursos de backup e replicação do Ceph é realizada usando uma montagem direta em disco via VM proxy ou um recurso de exportação de volume RBD. Há também a capacidade de se conectar diretamente aos volumes RBD quando não há nenhuma camada de virtualização usada no processo de backup, o que é algo que algumas soluções de backup podem aproveitar.