Como medir qualidade, retrabalho e custo em projetos com IA

Um dos problemas de vibe coding é que a velocidade mascarara a qualidade. Você cria rápido, sente progresso, avança — mas não sabe se o que está criando é sólido ou está acumulando dívida técnica que vai explodir mais tarde.

Medir resolve isso. Não precisa de dashboard complexo. Precisa de alguns números simples que dizem se o projeto está indo bem.

Por que builders ignoram métricas

A resposta honesta: porque medir parece lento quando o objetivo é criar rápido.

O problema é que "criar rápido" sem medir frequentemente significa criar muito e refazer mais. O retrabalho que você não mediu é invisível — mas consome tempo real.

Medir não atrasa o projeto. Medir evita que você descubra tardiamente que ficou rodando em círculo por semanas.

As três dimensões que importam

Qualidade — o que foi criado faz o que deveria? Atende o padrão mínimo para ser usado?

Retrabalho — quanto do que foi feito precisou ser refeito? Por quê?

Custo — quanto está sendo gasto (tempo + dinheiro) por unidade de resultado entregue?

Essas três dimensões se influenciam mutuamente. Alta taxa de retrabalho aumenta o custo e reduz a qualidade percebida. Métricas de qualidade ruins geram retrabalho. E custo alto sem qualidade é o pior cenário possível.

Métricas simples de qualidade

Taxa de funcionalidades que funcionam na primeira versão

De cada 10 funcionalidades que você pediu para a IA criar, quantas funcionaram como esperado sem precisar de correção?

Builders experientes chegam a 7-8/10. Builders iniciantes ficam em 4-5/10. Se você está abaixo de 4/10, o problema provavelmente é na forma como você está descrevendo as tarefas — não na IA.

Bugs encontrados por usuários externos

Se você está lançando para outras pessoas usarem, monitore quantos bugs são reportados por sessão de uso. Diminuir esse número ao longo do tempo é um sinal de melhoria na qualidade do processo.

Tempo até o primeiro deploy funcional

Quanto tempo leva do início de um novo projeto até ter algo funcionando publicado? Se esse tempo está crescendo projeto a projeto, algo está errado na sua forma de trabalhar.

Métricas de retrabalho

Quantas vezes você voltou para refazer algo que estava "pronto"

Toda vez que você volta para corrigir algo que considerava finalizado, anote. Ao final do projeto, some o tempo gasto nessas correções.

Builders com processo maduro têm retrabalho de 20-30% do tempo total. Acima de 50% indica que o processo de validação está fraco — você está aceitando como pronto coisas que não estão prontas.

Causa do retrabalho

Classifique cada incidente de retrabalho:

• Requisito mudou
• Bug técnico que passou pelo teste
• IA gerou algo diferente do esperado
• Decisão de design revertida

Essa classificação revela onde o processo está quebrando. Se a maioria é "requisito mudou", você precisa definir melhor antes de construir. Se é "IA gerou diferente do esperado", o problema está na qualidade dos seus prompts.

Custo de projetos com IA

Para projetos que usam APIs de LLM (Claude, GPT-4, Gemini), o custo de tokens é real e pode surpreender.

Custo por funcionalidade

Divida o custo total de API do mês pelo número de funcionalidades entregues no período. Se esse número está subindo, você está usando mais IA para produzir menos — sinal de ineficiência.

Custo de token desnecessário

Contexto grande = custo alto. Verifique:

• Você está enviando o documento inteiro quando só precisa de um trecho?
• Os system prompts têm informação redundante?
• Há dados no contexto que a IA não precisa para a tarefa específica?

Reduzir contexto desnecessário é a forma mais imediata de reduzir custo sem perder qualidade.

Custo de retrabalho em tokens

Cada iteração de "isso ficou errado, refaz" custa tokens. Alta taxa de retrabalho = custo de API multiplicado.

Sinais de alerta que o projeto está indo mal

• Você está gastando mais tempo corrigindo do que criando
• Os bugs que aparecem são sempre do mesmo tipo (mesmo ponto fraco no processo)
• O custo de API está crescendo mas a produtividade não
• Você não consegue explicar em uma frase o que o projeto faz atualmente
• Há código no projeto que você não sabe o que faz e tem medo de mexer

Esses sinais não significam que o projeto está morto. Significam que é hora de parar, auditar e ajustar o processo antes de continuar.

Um rastreamento mínimo que funciona

Uma planilha simples com uma linha por semana:

| Semana | Funcionalidades entregues | Retrabalho (horas) | Custo de API | Bugs encontrados | |--------|--------------------------|-------------------|--------------|-----------------| | S1 | 8 | 3h | R$ 12 | 2 | | S2 | 6 | 5h | R$ 18 | 5 |

Três minutos por semana para preencher. Os números ao longo do tempo mostram tendências que o dia a dia esconde.

Não precisa ser mais sofisticado do que isso para projetos iniciais.