Observabilidade de Dados: Open Source ou Ferramenta Paga? (E a Opção Gratuita que Ninguém Menciona)

A decisão entre open source e ferramenta paga para observabilidade de dados costuma aparecer como uma escolha entre custo zero e contrato enterprise de R$10k–R$50k/mês. Essa comparação ignora dois pontos: ferramentas open source têm custo real escondido em horas de engenharia e infraestrutura, e existe uma terceira opção (ferramenta comercial com plano gratuito permanente) que elimina o dilema para a maioria das startups. Este guia cobre as quatro opções reais, o que cada uma efetivamente custa para um time de 0 a 5 engenheiros, e um checklist de cinco perguntas para decidir antes do próximo sprint.

Observabilidade de dados é o monitoramento automatizado de dados em produção: atualidade, schema, volume e precisão de métricas. Uma ferramenta de observabilidade de dados é um software que aprende o padrão normal dos seus dados e alerta quando ele muda.

O debate "open source vs. pago" chega atrasado nessa categoria

Qualquer engenheiro que trabalhou com dados no Brasil nos últimos cinco anos já viu esse ciclo. Time decide usar Great Expectations porque "é grátis e todo mundo usa". Um engenheiro passa duas semanas configurando. A suite de expectativas funciona em dev. Vai para produção e a primeira mudança de schema quebra metade das validações. O engenheiro passa mais um dia ajustando. Seis meses depois, ninguém mais mantém porque o engenheiro que configurou saiu da empresa.

O código foi gratuito. O resto não foi.

O debate "open source ou pago" faz sentido para ferramentas de BI, ETL ou visualização — categorias maduras onde a diferença de feature entre open source e pago é pequena. Para observabilidade de dados com detecção automática de anomalia, a diferença é maior: ferramentas comerciais aprendem o baseline estatístico dos seus dados automaticamente; soluções open source executam validações que você escreve e mantém manualmente. São produtos diferentes.

As quatro opções reais

Opção 1: Ferramenta comercial gratuita (plano free permanente)

Algumas ferramentas comerciais de observabilidade de dados oferecem plano free permanente — não trial de 14 dias, um plano real. O Tabkeel monitora até 10 tabelas e 2 métricas de negócio com baselines automáticos, detecção de drift de schema e alertas de atualidade. A conexão é somente-leitura (uma permissão SELECT é suficiente), leva cerca de dois minutos, e a IA escreve o SQL das métricas quando você descreve o que quer monitorar. Você revisa a query antes de ela rodar, mas não escreve do zero.

Para startups com 0 engenheiros de dados, esse é o ponto de partida certo. Você aprende o ritmo real dos seus dados, descobre quais alertas o time efetivamente age, e entende se anomalia de contagem de linhas ou spike de nulos é o seu principal modo de falha. Esse aprendizado vale mais do que o monitoramento em si, porque ele determina se faz sentido investir em customização open source ou simplesmente fazer upgrade de plano.

Bancos de dados suportados: Postgres, Supabase, BigQuery.

Opção 2: Ferramentas open source

Great Expectations, Elementary e Soda Core são as principais opções. O código é gratuito. A implementação não é — detalhada na próxima seção.

Opção 3: Ferramenta comercial paga

Quando os limites do plano free se tornam o gargalo — mais de 10 tabelas, mais de 2 métricas — planos pagos começam em $39/mês para o Tabkeel Pro, com 50 tabelas, métricas ilimitadas e checks SQL customizados. Para comparar o que cada ferramenta oferece nessa faixa de preço, veja o comparativo de ferramentas de observabilidade de dados.

Opção 4: Construir internamente

Para times com requisitos genuinamente únicos: fontes de dados proprietárias que nenhuma ferramenta comercial conecta, requisitos de compliance que bloqueiam SaaS de acessar o banco (contexto relevante para saúde, fintech regulado, ou empresas com restrições da LGPD para dados sensíveis), ou observabilidade como feature central do produto que você está vendendo para clientes. A maioria dos times deve esgotar as opções 1 a 3 antes de chegar aqui.

O que open source realmente custa

O código é gratuito. A operação não.

Para rodar Great Expectations em um banco Postgres de produção em uma startup brasileira, você normalmente precisa de:

• Engenheiro Python para escrever e manter a suite de expectativas à medida que schemas evoluem
• Infraestrutura de nuvem para agendar as execuções de validação: cerca de R$250–R$1.000/mês em AWS Lambda ou runner dedicado
• Tempo para tratar falsos positivos quando uma mudança de dado quebra uma expectativa codificada manualmente
• Atualizações periódicas quando a API do GX ou do Elementary muda entre versões major

Custo anual realista para um time pequeno rodando Great Expectations ou Elementary: R$15.000–R$50.000 em hora de engenharia mais infraestrutura. Isso assumindo um engenheiro sênior dedicando 10–15% do tempo para setup e manutenção no primeiro ano. Não é crítica às ferramentas — para times com expertise em Python, a customização vale cada centavo. Mas não é zero, e não é sem operação.

Uma restrição específica que frequentemente pega times de surpresa: Elementary requer dbt. Se o seu stack não usa dbt, Elementary não é uma opção, independentemente de quanto o preço zero pareça atraente. Isso elimina a ferramenta para a maioria das startups brasileiras que ainda não adotaram dbt.

O checklist de 5 perguntas para escolher a opção certa

Responda na ordem. A primeira resposta "sim" que bate num critério de decisão geralmente resolve a questão.

Decisão por tamanho de time

Quando migrar do plano gratuito para o pago

Você já ultrapassou o plano free quando qualquer um destes sinais aparecer:

• Você precisa monitorar mais de 10 tabelas — um produto em crescimento costuma cruzar esse limite em 3 a 6 meses
• Você identificou 3 ou mais métricas de negócio que importam (DAU, MRR e churn todas aparecendo na reunião de segunda)
• Você quer checks SQL customizados para lógica de negócio específica do seu produto
• O time está agindo nos alertas do plano free regularmente e você quer mais cobertura

O upgrade do free para Pro a $39/mês adiciona 50 tabelas, métricas ilimitadas e checks customizados. Os baselines e histórico de alertas são mantidos. Para entender o lado de detecção de anomalias, veja o guia prático de detecção de anomalias em dados. Para monitoramento de métricas de negócio, veja monitoramento de métricas de negócio em produção.

A maioria das ferramentas nessa categoria começa em preço enterprise. O plano Free do Tabkeel monitora 10 tabelas e 2 métricas de negócio com baselines automáticos e alertas de drift de schema — sem cartão. Conecte um banco somente-leitura em dois minutos e veja seu primeiro alerta hoje à noite.

Não sabe por onde começar? O diagnóstico gratuito de qualidade de dados dá uma nota A–F para o seu dataset em atualidade, completude, taxa de nulos e unicidade — sem necessidade de cadastro.

Perguntas frequentes

Qual a diferença entre comprar e construir observabilidade de dados?

Comprar observabilidade de dados significa conectar uma ferramenta comercial ao banco e deixar ela monitorar anomalias, mudanças de schema e desvios de métrica automaticamente. Construir significa escrever essa lógica internamente: o alerting, o cálculo de baseline, o agendamento e a manutenção. Comprar custa assinatura mensal e leva horas para configurar. Construir custa horas de engenharia: tipicamente R$1M–R$5M em uma empresa de médio porte, e leva 9 a 12 meses antes de ser confiável em produção.

Open source de observabilidade de dados é realmente grátis?

O código é gratuito. Rodar em produção não é. Ferramentas como Great Expectations e Elementary exigem engenheiro Python para configurar e manter expectativas, infraestrutura de nuvem para agendar execuções de validação (R$250–R$1.000/mês), e manutenção contínua quando schemas mudam ou versões de API são atualizadas. Custo anual realista para um time pequeno: R$15.000–R$50.000 em hora de engenharia mais infraestrutura. Justificado pela customização para times com expertise — mas longe de grátis.

Quanto custa construir observabilidade de dados internamente?

Um estudo de custo de 2022 da Bigeye estimou $954.000 para um build de primeiro ano em empresa de médio porte — três engenheiros, dois analistas e um gerente de produto por 9 a 12 meses. Para uma startup brasileira menor com dois engenheiros dedicados ao projeto, o mínimo realista é R$500.000–R$1.000.000 em hora de engenharia antes do sistema estar pronto para produção. Depois, manutenção contínua consome 15 a 20% do custo inicial por ano.

Quando uma startup deve comprar uma ferramenta de observabilidade de dados?

Compre (ou comece com plano free comercial) quando você não tem engenheiro Python disponível para manutenção contínua, seu stack não usa dbt, ou você precisa do monitoramento funcionando essa semana em vez de em três meses. O plano free especificamente faz sentido para qualquer startup que ainda não provou quais tabelas e métricas são mais críticas — use-o para aprender, depois decida se customização open source vale o custo de setup.

Dá para monitorar qualidade de dados sem engenheiro de dados?

Sim. Ferramentas comerciais conectam com papel de banco somente-leitura, aprendem baselines automaticamente e alertam sobre atualidade, spikes de taxa de nulos, drift de schema e anomalias de contagem de linhas sem exigir que você escreva SQL ou seja dono de algum pipeline. Um engenheiro de dados expande o que você pode monitorar — mas não é pré-requisito para as checagens centrais que pegam as falhas mais destrutivas.