EEmovel aprimora coleta de dados com AWS

A EEmovel, startup paranaense focada no desenvolvimento de soluções para corretores e imobiliárias, adotou ferramentas da Amazon Web Services (AWS) em um projeto liderado pela e-Core, parceira gaúcha da marca.

Anteriormente, a estratégia da empresa para alimentar sua base de imóveis, hoje abastecida com mais de 30 milhões de unidades, era predominantemente manual, o que tornava a abordagem cara, demorada e propensa a erros. 

Para manter as informações de sua base de dados atualizada, a companhia realizava um trabalho de web scraping em cerca de 11 mil sites do ramo no mercado brasileiro, o que gerava um volume de 20 milhões de anúncios por dia.

A empresa precisava encarar cerca de 100 quebras de script por dia, sendo que um único colaborador levava até oito horas para corrigir os erros de um único script. O objetivo, então, era levar mais eficiência e agilidade a esse processo. 

A solução para os problemas foi encontrada em uma arquitetura automatizada e inteligente baseada na tecnologia da AWS, incluindo softwares de scraping, como o Playwright e o Scrapy, responsáveis por otimizar o processo de coleta de dados e reduzir a manutenção manual.

Da AWS, foram utilizadas ferramentas como o AWS Lambda, para a execução de funções, o Amazon Bedrock, focado em IA generativa, o AWS Step Functions, para orquestração sem servidor para aplicações modernas, e o Amazon Simple Storage Service, para armazenamento de objetos.

O resultado foi a geração automática de robôs de scraping, combinando o Scrapy e Python de forma personalizada para cada site e eliminando a necessidade de intervenção humana.

De acordo com Matheus Gonçalves, engenheiro de dados da EEmovel, a nova abordagem reduziu significativamente os esforços da equipe e o custo associado à manutenção de scripts.

Adicionalmente, o tempo de reação a mudanças nos sites imobiliários diminui com ajuda da correção de problemas mais ágil.

Ao mesmo tempo, a capacidade de escalar os processos diante da diversidade de sites cresceu, gerando uma operação mais fluida e eficiente.

A EEmovel passou a desenvolver 80 scripts por dia, precisando de apenas dois dias e meio para concluir 200 scripts, o que antes exigia 40 dias. O custo anterior era de US$ 3,6 mil e foi reduzido para US$ 800.

O tempo de correção de scripts passou de 8 horas para 30 minutos com o uso do Amazon Bedrock. 

“Agora, o processo está otimizado para gerar novos códigos em 10 minutos e realizar a validação humana em 20 minutos, permitindo que um profissional corrija até 16 scripts por dia. Desta forma, o custo por script caiu de US$ 18 para US$ 4, representando uma economia de 78%”, calcula Gonçalves.

Criada em 2014, a EEmovel é uma startup que desenvolve soluções para o mercado imobiliário baseadas no uso de dados. 

Seu foco é apoiar a tomada de decisões em diferentes segmentos de negócios, incluindo imobiliárias, instituições financeiras, grandes varejistas, construtoras, incorporadoras e empresas do agronegócio. 

Uma de suas principais soluções é a plataforma EEmovel Brokers. Oferecida no modelo SaaS, ela permite que corretores e imobiliárias localizem imóveis para captação, realizem avaliações e gerenciem sua carteira de ofertas, utilizando bases de dados com mais de 30 milhões de imóveis ativos e atualizadas constantemente.

No mercado há 19 anos, a AWS oferece mais de 240 serviços a partir de 114 zonas de disponibilidade em 36 regiões geográficas. Em seu portfólio, estão milhões de clientes, desde startups a grandes companhias e agências governamentais.

A e-Core é uma empresa de desenvolvimento de software sediada em Porto Alegre, também presente em São Paulo e nos Estados Unidos, tendo em exportações de software uma parte majoritária da sua receita.

A consultoria conta com mais de 300 clientes ativos, com mais de 800 projetos entregues. Entre eles, estão Claro, Gympass, Totvs, Carrefour, Samsung, Itaú, Bradesco, C6 Bank, Leroy Merlin, iFood, Gerdau, Grupo Boticário e Movida.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Rolar para cima

Obrigado por escolher a Melhor!

Escolha a cidade que deseja atendimento!