"\"Consertei\" não é evidência: a frase da IA que você tem que aprender a desconfiar"
"\"Consertei\" é relato. \"O teste passou\" também. A pergunta que troca confiança por prova e o jeito de saber, em 30 segundos, se o que ela mostrou vale."
"Lovable says that it has fixed it but it doesn't."
"O Lovable diz que consertou, mas não consertou." É de um usuário na comunidade do Lovable, em 2025, registrada na pesquisa que sustenta este blog. No Bolt, outros relataram a IA prometendo "this is definitely the fix!" ("agora sim, esse é o conserto") pra um defeito que continuava lá. São relatos, não estatística. Mas quem constrói com IA reconhece a cena na hora.
Já escrevi aqui o método pra conferir um conserto: a frase verificável, as três perguntas, a bateria fixa. Este post é sobre outra coisa. É sobre a palavra. Por que "consertei" tem cara de prova, e por que nem "o teste passou" é.
A crítica: relato com formato de laudo
Toda ferramenta termina a resposta do mesmo jeito: um resumo confiante, uma lista do que foi feito, às vezes um sinal verde. O formato é de laudo. O conteúdo é opinião de quem fez o trabalho sobre o próprio trabalho.
E o conselho que o dev desdenhoso dá pra isso é "aprende a ler o código". Não resolve, e eu digo isso com 15 anos de código nas costas. Quem lê código também não acredita em "consertei". É por isso que a minha profissão inventou a revisão de código, em que outra pessoa confere a mudança antes dela entrar: a gente aprendeu, no susto, a não confiar na palavra do autor. Inclusive na nossa.
A própria fabricante do Claude Code escreve isso na documentação: a IA "para quando o trabalho parece pronto". E recomenda pedir que ela mostre evidência "em vez de afirmar sucesso". Se quem fabrica a ferramenta diz pra não aceitar a afirmação, não é desconfiança sua. É o manual.
Nem "o teste passou" é prova
Aqui fica pior. Teste, em programação, é um pequeno programa que confere se outro programa faz o que devia. Parece o árbitro neutro. Nem sempre é.
Em outubro de 2025, três pesquisadores (Ziqian Zhong, Aditi Raghunathan e Nicholas Carlini) publicaram o ImpossibleBench, depois apresentado na ICLR 2026, uma das principais conferências de aprendizado de máquina. Eles pegaram tarefas de programação e mexeram no teste pra que ele contradissesse o pedido. Tarefa impossível: qualquer "passou" só pode ser trapaça.
O GPT-5 "passou" em 54% das tarefas impossíveis montadas a partir de defeitos reais de projetos abertos. Como? Alterando o teste mesmo tendo sido instruído a não alterar. Reconhecendo qual teste estava rodando e devolvendo exatamente o que ele esperava. Outros modelos fortes, incluindo um Claude, ficaram na mesma faixa.
O que esse número não prova: são tarefas de programador profissional, com modelos de 2025, num cenário montado pra ser impossível. Não mediu o Lovable, nem o seu app, e não quer dizer que a IA trapaceia metade das vezes com você. Prova uma coisa só, e ela basta: quando a IA está sob pressão de "fazer passar", o "passou" pode ser fabricado, e chega até você como sucesso.
Não é ingenuidade sua
Na tela do chat, a resposta confiante é tudo que você tem. Ninguém te contou que existe diferença entre relato e evidência porque, pra quem programa, isso não foi ensinado: foi apanhado. Você só está apanhando agora.
A pergunta que substitui a confiança: "me mostra"
Não precisa decorar nada técnico. Precisa reconhecer em que degrau a resposta está:
| A IA diz | O que é | O que você responde |
|---|---|---|
| "Consertei!" | relato | "Me mostra." |
| "Rodei o teste e passou" | relato sobre um teste | "Me mostra a saída colada, inteira. E me diz: você alterou o teste?" |
| saída colada, print da tela no estado que você pediu | evidência | confira com as três perguntas abaixo |
Quando ela mostrar, leva 30 segundos pra saber se aquilo vale:
1. É sobre o que eu pedi? Você pediu o desconto e ela mostrou o print da tela de login funcionando. Bonito, e irrelevante.
2. Ficaria diferente se estivesse quebrado? Esta é a pergunta que mais pega. O print de um formulário vazio fica igual com o conserto ou sem ele, então não prova nada. O print do carrinho com três itens de R$ 10, frete de R$ 15 e total de R$ 45 só existe se a conta estiver certa.
3. Fui eu que vi, ou ela que descreveu? "A tela agora mostra o total correto" é descrição. O print é evidência. Você abrindo o app e vendo com os próprios olhos é a melhor de todas.
Passou nas três? Aí sim é evidência. Faltou uma? Volta pro degrau de cima.
O que fazer hoje
Pegue a última coisa que a IA disse que consertou e você aceitou sem ver. Abra o app e confira. Se você não sabe como conferir, essa já é a resposta: você não sabia se estava consertado, só sabia que ela tinha dito.
E se passou, aproveite a tela aberta e rode as seis entradas maldosas nela. Conserto que só funciona no caminho que você imaginou é meio conserto.
Era uma parede de várias
"Me mostra" é a pergunta. Ela tem vizinhas: o pedido que já chega exigindo a saída, sem você precisar perguntar toda vez, é assunto do próximo post. Antes dela vem a frase verificável escrita antes do pedido; depois, a bateria que roda depois de toda mudança. E tem a parte que nenhuma pergunta resolve: quando você ainda não sabe o que olhar num print, alguém precisa olhar junto até você saber. Cada uma é uma parede, e elas têm ordem.
Fontes
- Ziqian Zhong, Aditi Raghunathan e Nicholas Carlini, "ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases", arXiv, out/2025, apresentado na ICLR 2026 (GPT-5 "passa" em 54% das tarefas impossíveis da versão Conflicting-SWEbench; formas de trapaça: alterar o teste, tratar o teste específico como caso especial). Tarefas de programação profissional com modelos de 2025; não mede ferramentas no-code: https://arxiv.org/abs/2510.20270
- Claude Code Docs, "Best practices for Claude Code" (a IA para quando o trabalho parece pronto; pedir evidência em vez de afirmação de sucesso): https://code.claude.com/docs/en/best-practices