Desafio

A empresa possui atualmente uma base de mais de 3 milhões de clientes em seu cartão de crédito, seu principal produto. Sua gestão percebeu que para oferecer aos usuários a melhor experiência possível em produtos financeiros, era necessário trabalhar com uma estrutura de dados mais flexível e escalável do que o seu ambiente atual, uma vez que possuía todo o seu ambiente de dados on-premises.

Solução

Considerando a atual estrutura de dados do cliente, a BRLink sugeriu a realização de uma prova de valor (PoV – Proof of Value) para avaliação de performance, custos e curva de aprendizado. Desta forma, foi proposta a realização de um projeto para realização das seguintes atividades: Landing Zone Foundation, Ingestão de Dados, Transformação de Dados e Criação de dashboard no Quick SIght.

Para simplificar a criação e governança da Landing Zone, o serviço AWS Control Tower foi utilizado. O AWS Control Tower automatiza o processo de configuração do ambiente, usando blueprints com as melhores práticas segundo o fabricante. 

A fim de conectar o ambiente AWS com o servidor de dados local do cliente, foi necessário criar duas VPNs separadas para alta disponibilidade na conta de rede. Após a configuração de um ambiente seguro para aterrissagem de dados, foi criado um workload para ingestão no serviço Database Migration Serviço (DMS), o qual conecta via JDBC no ambiente on-premises, onde todo o dado migrado é criptografado desde de sua entrada, até armazenamento no AWS S3. 

Para concluir a etapa de ingestão, foi necessário realizar transformações de dados para disponibilização em formato otimizado para consulta. Os dados foram ingeridos em formato CSV com compressão GZIP na camada RAW (de armazenamento “puro”), posteriormente, estes dados foram transformados e particionados em formato Parquet compresso em formato Snappy.

A PoV também tinha como objetivo demonstrar a performance e custos da ferramenta de BI da AWS, o Quicksight. No ambiente atual, o time utiliza do PowerBI e tem como objetivo a migração do mesmo. Com este direcionamento, a BRLink entendeu as regras de negócio do cliente, implementou uma query otimizando para as melhores práticas no uso do Athena e criou dashboards nos dois serviços. O resultado obtido foi uma performance equiparada de ambos e uma grande diferença em relação aos custos das duas ferramentas, levando o time da empresa a selecionar o Quicksight que melhor endereçava as suas necessidades de negócio em relação aos custos e performance.