Engenheiro de Dados

Visão Geral do Cargo

Construir e manter toda a camada de dados da plataforma: desde ingestão e transformação até armazenamento e indexação para RAG, garantindo qualidade, performance e escalabilidade.

Responsabilidades Principais

• Projetar e implementar pipelines de ingestão e ETL/ELT (dados estruturados, semiestruturados e de conhecimento)
• Modelar esquemas e estruturas de dados em PostgreSQL (Supabase) e bancos de vetores (Pinecone)
• Desenvolver automações em n8n para captura, pré‑processamento e carga de dados em tempo real ou batch
• Criar e manter rotinas de limpeza, padronização e validação de dados (data quality)
• Gerenciar versionamento de esquemas, migrações e documentação de Data Lake/Data Warehouse
• Monitorar performance de consultas e otimizar índices, particionamento e recursos de nuvem
• Integrar fontes externas (APIs Copilot, Bloomfire, Qatalog) e transformar em embeddings utilizáveis
• Colaborar com equipe de Dev Full‑Stack, IA e Produto para alinhar necessidades de dados e requisitos de analytics

Requisitos Obrigatórios

Linguagens e Ferramentas
• Python (Pandas, SQLAlchemy, Airflow/Prefect ou similar)
• SQL avançado (PostgreSQL)

Bancos de Dados & Armazenamento
• Supabase (PostgreSQL)
• Experiência com banco de vetores (Pinecone ou equivalente)

Orquestração & Automação
• n8n (criação de workflows, custom nodes, triggers)
• Docker / Docker Compose

Cloud & Infraestrutura
• AWS, GCP ou Azure (IAM, S3, RDS, serviços gerenciados)
• CI/CD (GitHub Actions, GitLab CI)

Data Quality & Governança
• Ferramentas/abordagens de data profiling, testes de ingestão e monitoramento

Diferenciais Desejáveis

• Experiência com dbt para versionamento de transformações
• Conhecimento em GraphQL e APIs REST
• Familiaridade com Kafka/RabbitMQ ou arquiteturas event‑driven
• Noções de DevOps em Kubernetes (Helm, Prometheus, Grafana)
• Experiência com metodologias de Data Mesh/Data Fabric
• Inglês avançado para leitura de documentação técnica