Como a BRLink e AWS impulsionaram a Jornada de Dados da 2W Ecobank

Sobre a empresa

A 2W Ecobank é uma empresa que atua no setor de energia elétrica e possui uma plataforma completa de soluções que envolvem desde a energia renovável, como também a sustentabilidade e as finanças. A proposta da empresa é baseada no desenvolvimento de produtos inovadores, tecnológicos e disruptivos para levar ao consumidor final, hoje na figura empresarial, o maior poder de escolha. Motivados pela autonomia, a proposta da empresa passa pelo acesso ao que é chamado de mercado de energia livre, ou também chamado de ACL (ambiente de livre contratação).

Com presença em todo o território nacional e de mais de 190 colaboradores e milhares de agentes autônomos e parceiros, a 2W Ecobank é reconhecida por ser uma influenciadora de impacto e impulsionadora da liberdade de escolha e energia renovável para os muitos consumidores espalhados pelo Brasil, acreditando no princípio da democratização da sustentabilidade e no poder de mudar o mundo.

Através do mercado livre de energia, a 2W Ecobank leva aos consumidores empresariais a possibilidade de escolha de fornecedores, prazos e valores, o que cria um impacto direto na economia do cliente. Por meio do Portal do Cliente e tecnologias desenvolvidas, a 2W também leva ao consumidor a possibilidade de cálculos e compensações da emissão de carbono na atmosfera. Por fim, buscando a inovação no mercado de energia elétrica, a 2W também possui como produto contas gratuitas com facilidade de obtenção de crédito para os clientes.

Desafio do cliente

A 2W Ecobank procurou a BRLink com o desafio de centralizar seus dados em um ambiente que simplificasse a comunicação e o cruzamento de informações da empresa para análise e geração de relatórios de BI.

Em sua estrutura, múltiplos processos automáticos salvam dados operacionais e de casos de uso diariamente em seus bancos de dados. Contudo, esses dados são armazenados de modo descentralizado e em formatos diferentes, sem comunicação entre arquivos que contêm o mesmo tipo de informação. Assim, para realizar a consulta de dados em um intervalo de tempo específico, era necessário buscar o arquivo individual contendo os dados desse período.

Além disso, muitos dos dados gerados estavam em ambientes diferentes, dificultando a consolidação para análise. Frequentemente, os dados gerados eram salvos em buckets, bancos de dados e serviços de mercado, tornando o processo de extração de informações lento, manual e ineficiente.

Por que a 2W escolheu a BRLink?

Desde o início do projeto, a BRLink foi escolhida para realizar o movimento da 2W Ecobank para a AWS. A responsabilidade da BRLink incluiu a migração e configuração dos ambientes, com o objetivo de fornecer à 2W recursos de alta disponibilidade, escalabilidade de fácil configuração e seguindo os padrões de segurança, otimização de custos e eficiência de performance.

A BRLink também foi responsável pelo monitoramento proativo e acompanhamento de incidentes, conforme acordado no contrato de MSP, além de levar sempre com qualidade novas frentes para a nuvem.

Por ser parceira nível Premier da AWS, a BRLink trouxe uma PoV (Prova de Valor) para a 2W Ecobank, na qual a fundação do Data Lake foi construída para uma amostragem da fonte de dados desejada pela empresa. Vendo o valor da solução, um novo projeto foi desenvolvido para a evolução da estrutura, agregando novas fontes de dados e transformações de informações.

Solução Proposta

Para solucionar os desafios da 2W Ecobank, a BRLink desenvolveu uma arquitetura de Data Lake como repositório centralizado de informações, limpando e transformando os dados com qualidade. O Data Lake é dividido em camadas: raw (dados brutos como na fonte), clean (dados organizados e confiáveis), analytics (dados processados e prontos para consumo) e data quality metrics (métricas de qualidade dos dados). Para isso, foram utilizados os seguintes serviços da AWS:

Amazon Simple Storage Service (S3): Armazenamento de dados.

Amazon Simple Queue Service (SQS): Filas de mensageria para serviços, compondo filas com atraso para sincronização de dados, filas convencionais para garantia de processamento de dados e filas Dead Letter Queue (DLQ) com erros.

AWS Lambda: Processamento de informações serverless de baixa escala.

Amazon DynamoDB: Armazenamento de dados NoSQL para persistência de parâmetros de controle do Data Lake.

Amazon Kinesis Data Firehose: Entrega estruturada de dados ao S3.

Amazon CloudWatch: Armazenamento temporário de logs para monitoria das transformações e manipulações de dados.

AWS Secrets Manager: Armazenamento seguro de credenciais de acesso ao MongoDB (serviço externo que é uma das fontes de dados).

Amazon Simple Notification Service (SNS): Envio de notificações sobre eventos de ingestão dos dados em modelo “fan-out”, ou seja, distribuição para vários destinos.

AWS Glue: Suíte de serviços para transformação de dados no S3, onde utilizamos o AWS Glue Data Quality para a validação da qualidade de dados, Crawler para a catalogação dos dados, ETL Jobs para transformações mais robustas e AWS Glue Data Catalog para armazenamento do catálogo.

Amazon EventBridge: Trigger para a execução das transformações de ETL para a camada analítica do Data Lake.

AWS Athena: Consulta de dados em modelo de query via Presto.

Benefícios

A arquitetura elaborada pela BRLink segue as práticas do AWS Well-Architected Framework, incorporando os pilares de excelência operacional, segurança, confiabilidade, eficiência de desempenho e otimização de custos. Assim, a arquitetura desenvolvida é totalmente serverless, altamente escalável, sem expor informações sensíveis ou descriptografadas.

A 2W Ecobank obteve, com essa arquitetura, a capacidade de criar relações de dados que antes eram demoradas devido à separação lógica das informações. Utilizando o Data Lake, a organização e disposição dos dados para processos de BI tornaram-se simples e automatizados, permitindo consultas rápidas de dados, utilização de informações em sistemas e visualização de informações em dashboards.

O projeto também marcou o início da jornada de dados da 2W Ecobank, fomentando o desenvolvimento de uma cultura voltada para dados dentro da organização, além de viabilizar o uso de novas estratégias de tomada de decisão com base em fatores como modelos de Machine Learning e insights analíticos extraídos dos dados gerados.