Desafio

O ambiente de dados da empresa já se encontrava na nuvem Amazon AWS, mas não seguia as melhores práticas sugeridas pelo fabricante. Como o procedimento foi realizado por uma consultoria terceira e o cliente não tinha conhecimento do que havia sido executado, a BRLink tinha o desafio inicial de realização de um assessment para descobrir a real arquitetura de dados projetada. Para isso, foi sugerido uma prova de valor (PoV).

Através do assessment inicial, foi possível perceber que a arquitetura de dados estava dividida em três contas: no ambiente produtivo, com o Database Migration Service (DMS) conectado ao banco de dados, ingerindo estes dados para o Amazon S3 em uma segunda conta. Estes dados eram processados uma vez ao dia e inseridos no Data Warehousing da AWS, o Amazon Redshift. Por fim, estes dados eram consumidos por um PowerBI que seria criado na conta Azure para criação de dashboards e consumo da área de negócio. Arquitetura macro representada abaixo:

O primeiro ponto crítico identificado foi no Data Transfer Out (DTO) onde ocorre a migração de dados da conta PRD → BI e posteriormente a transferência da conta BI → Azure. Foi identificado que a criação do PowerBI no ambiente Azure, apesar de requisito, não era por decisão de negócio, mas sim de desconhecimento do cliente e consultoria sobre a possibilidade de criação do mesmo em ambiente AWS.

Para seguir as melhores práticas de segurança, foi sugerida migração do DMS para a conta BI, limitando o acesso ao ambiente produtivo e também a criação do PowerBI na conta de BI. Uma preocupação latente da administradora de cartões era em relação à segurança da informação e contar com um ambiente complience à LGPD, por este motivo, todo o ambiente está localizado em São Paulo.

A sugestão da BRLink foi a realização da migração deste ambiente para North Virgínia, reduzindo os custos em pelo menos 50% do valor pago atualmente. Claro, todo o ambiente além de ser complience à LGPD, também deveria ser complience à GDPR por conta da nova região, para tal, estudou-se a sensibilidade de dados utilizados e as necessidades de uso da empresa.

Solução

A BRLink sugeriu a realização de mascaramento de dados sensíveis na ponta, que atualmente eram mascarados e ocorriam perda de seu valor, pois uma estratégia inicial foi a substituição dos valores por “X”, perdendo a capacidade de uso como chave único e relacionamento do ambiente. Além disso, algumas áreas específicas precisam de acesso à informação “crua”, não anonimizada, para isso, sugeriu-se a criação de uma conta de sandbox para envio de dados específicos para uso do time de anti-fraude, por exemplo. Além da migração para uma região de menor custo, também foi identificado a possibilidade de desligamento dos servidores em momentos de desuso e utilização de uma arquitetura Serverless, cumprindo os requisitos de performance e custos. Aplicando as duas mudanças mencionadas, estima-se uma redução de até 90% do custo atual em alguns serviços.

Além disso, a prova de valor (PoV) foi realizada após a entrega do assessment detalhado, com o foco em comprovar as melhorias sugeridas na fase inicial, desta forma, o time da BRLink executou as seguintes atividades: ingestão de tabelas importantes para área de negócio, transformação dos dados para otimização de uso no Athena e armazenamento no S3 e replicação de um dashboard em PowerBI com os dados que ingerimos do ambiente produtivo.

Para cumprir estas etapas, foi criado um workload para ingestão no serviço Database Migration Serviço (DMS), o qual conecta via JDBC no database MS SQL Server que se encontrava em uma EC2, na conta produtiva, onde todo o dado migrado é criptografado desde de sua entrada, até armazenagem no AWS S3. Concluindo a etapa de ingestão, foi necessário realizar transformações de dados para a disponibilização do formato otimizado para consulta, no caso da administradora de cartões, foi ingerido dados em formato CSV, com compressão GZIP na camada RAW (de armazenamento), posteriormente, estes dados foram transformados, particionados em formato Parquet e compresso em formato Snappy.

Como o time de negócio estava fechado para mudança da ferramenta de BI atual, o PowerBI, um requisito seria ter uma base de dados para realizar consultas similares ao ambiente On-Premise, com o mesmo resultado e performance similar. Com este direcionamento, a BRLink entendeu as regras de negócio do cliente, utilizando-se a query recebida com pequenas modificações para demonstrar a rapidez na migração e em um segundo momento, implementou uma query otimizando para as melhores práticas no uso do Athena e criou o dashboard demonstrativo.