Google acidentalmente apaga dados de fundo de previdência de US$ 125 bilhões
O serviço de nuvem privada do Google é ótimo, mas em uma bizarra sequência de eventos, conseguiram apagar todos os dados de uma empresa. Das grandes
Carlos Cardoso 15/05/2024 às 16:22
Em 11 de setembro de 2001 (bota no Google), além de vidas, dados foram perdidos no ataque ao World Trade Center. Empresas inteiras foram pulverizadas, literal e metaforicamente. Muito se aprendeu com os eventos daquele dia fatídico.
- Google lança site em português focado na segurança dos usuários
- Como a TI sobreviveu aos ataques de 11 de Setembro
Dramática reconstituição da reunião entre os CEOs da Google Cloud e da UniSuper (Crédito: Stable Diffusion)
Empresas como a American Express e a Morgan Stanley tinham escritórios inteiros de backup, mantidos meticulosamente limpos e preparados, com datacentres replicando os dados dos computadores no World Trade Center. Devido ao caos que tomou conta de Nova York, quem tinha estratégias de contingência, depois de algumas horas estava no ar de novo. A American Express conseguiu processar 70% das transações do dia.
Outras empresas não tiveram a mesma sorte. Com backups físicos presenciais, seus dados foram destruídos para sempre. Ficou claro que a redundância era fundamental. Em backup vale a regra: Quem tem um, não tem nenhum.
PAUSA PARA CAUSOS
Mais importante que o backup, é garantir que ele funciona. Uma vez eu trabalhava em um provedor, tínhamos instalado dois HDs zero Km, Seagate Barracuda, na época uma fortuna. Colocamos os dois em mirror. Entre outras funções, aquele era nosso principal servidor de email. Um belo dia, um dos HDs corrompeu. O Windows NT, em sua inteligência, detectou a inconsistência no meio da noite, e começou automaticamente a replicar os dados do HD corrompido para o HD bom.
Em outra ocasião e outra empresa, tínhamos backup em fita de nosso servidor Exchange, feito diariamente, uma fita para cada dia. Precisamos recuperar informação perdida, e então descobrimos que o estagiário, para não perder tempo, fazia todos os backups diários somente na sexta-feira.
Agora imagine viver o horror de perder tudo, sem nem um ataque terrorista para justificar. Foi o que aconteceu com a UniSuper, que não é exatamente uma quitanda. Eles são um fundo de pensão na Austrália, com 620 mil membros, que movimenta fundos de US$ 125 bilhões.
Eles usavam datacentres próprios, até junho de 2023, quando migraram para a Nuvem Privada do Google, rodando VMware, principalmente. Tudo funcionou perfeitamente, até que dia 2 de maio algo deu muito errado.
Durante uma migração, o estagiário do Google errou alguma configuração, e uma série rara de falhas formou uma cadeia de acontecimentos que convenceu o sistema do Google que a conta principal da UniSuper não existia mais.
Usuários começaram a perder acesso, bancos de dados iam desaparecendo, gerentes e SysAdmins não tinham mais acesso, pois as máquinas virtuais não mais existiam. E não eram poucas.
Uma verdade (Crédito: Editoria de Arte)
A rede da UniSuper era composta de 1900 máquinas virtuais rodando em VMware, e foi tudo para o saco, tudo. E sim, eles tinham contingência, a rede era duplicada em outro nó do Google, em um datacentre em outra região geográfica.
Exceto que tal qual meus HDs do causo contado acima, o sistema do Google entendeu que a rede da UniSuper não existia mais, então replicou a eliminação de todas as instâncias de VMs na outra região geográfica.
O grito do CTO da UniSuper deve ter sido ouvido até de Krypton. Estima-se que cada funcionário de TI da empresa perdeu uns 10 anos de vida enquanto tentavam entender o acontecido. Após descartarem a hipótese de hackers e falha interna, todos os olhares e dedos apontaram para o Google, que deve ter respondido “foi mal”.
O lado bom é que a UniSuper mantinha um backup de sua rede em um segundo provedor de serviços de nuvem. O lado ruim é que não era um backup atualizado. Eles e o Google tiveram que reconstruir manualmente a infraestrutura, um imenso trabalho de corno que deixou os mais de 600 mil usuários sem poder acessar seus dados por mais de uma semana.
No dia 8 de maio, Peter Chun, CEO da UniSuper e Thomas Kurian, CEO da Google Cloud emitiram um comunicado em conjunto, pedindo desculpas e explicando o ocorrido.
Conclusão:
A UniSuper cometeu o erro básico de colocar todos os ovos na mesma cesta. Ter a infraestrutura replicada no mesmo provedor de serviços não adianta, se há a possibilidade de uma falha afetar as duas cópias.
Manter um backup em um segundo serviço só é eficiente se ele for continuamente atualizado, o que é muito, muito caro e eventualmente negligenciado. Com as consequências habituais.
O povo do Google falhou ao não prever condições raríssimas, mas não impossíveis, e ao não implementar mecanismos de segurança para que uma rede de 1900 máquinas não seja eliminada de forma automática, sem nenhuma supervisão humana.
