Antes de cobrar uma avaliação de IA que antecede a implantação, combine qual versão será testada, qual conjunto de casos será usado e o que o cliente considera uma resposta adequada. Defina a métrica, os erros críticos, o procedimento de revisão e o formato do relatório. O aceite deve indicar que a avaliação contratada foi entregue ou que uma condição de desempenho foi atingida, conforme o acordo.
Separe a entrega do relatório da meta de desempenho
Um contrato pode remunerar a execução do teste e a entrega das conclusões, mesmo se o resultado mostrar que o modelo ainda precisa de ajustes. Outro pode condicionar uma parcela a um critério de desempenho. Registre qual modelo comercial vale. Se o cliente espera uma precisão mínima, confirme como o valor será calculado e o que acontece se houver poucos dados de determinado tipo.
O NIST AI RMF recomenda documentar processos de teste e avaliação, métricas e métodos. Use essa abordagem para especificar o trabalho. Um número agregado precisa de contexto, incluindo quais tarefas foram avaliadas e quais erros tiveram maior impacto. Indique a origem dos casos e preserve o acesso aos dados conforme a regra do cliente.
Defina os campos do plano de avaliação
| Campo | Decisão que deve ficar registrada |
|---|---|
| Versão | Modelo, configuração e data do teste |
| Amostra | Origem, tamanho, grupos e critérios de seleção |
| Resposta esperada | Rubrica, rótulos ou orientação de revisão |
| Métricas | Fórmula, tolerância e erros que bloqueiam o aceite |
| Entrega | Relatório, limites, evidências e responsável pela aprovação |
Se a tarefa envolve julgamento humano, indique quem revisará as respostas e como serão resolvidas divergências entre avaliadores. Se houver dados que não podem sair do ambiente do cliente, confirme o procedimento de acesso. A equipe pode precisar registrar somente indicadores agregados na apresentação. No contrato, descreva o que será entregue sem prometer acesso a dados que não podem ser compartilhados.
Exemplo de um piloto com 120 casos
Uma consultoria brasileira é contratada para avaliar um assistente que classifica pedidos de suporte. O escopo prevê 120 casos, com uma rubrica definida pelo comprador e um relatório dos erros. O cliente quer pelo menos 108 classificações corretas, equivalentes a 90% nessa amostra, além de uma análise específica dos casos críticos. A equipe documenta o conjunto e a versão antes de testar.
O modelo acerta 110 casos, mas erra dois exemplos de um grupo importante. O relatório apresenta 110 de 120, cerca de 91,7%, e descreve a distribuição dos erros. Se o contrato condiciona a implantação à ausência de erros daquele tipo, a equipe sinaliza a condição pendente. Se a entrega comercial é o relatório, vincula a invoice à execução aprovada e mantém a decisão de implantar em uma etapa própria.
Documente o que muda entre duas rodadas
Se o cliente ajusta a configuração ou envia novos casos, confirme se a rodada adicional está incluída. Registre a versão anterior, a nova versão e o conjunto usado. Para comparar resultados, indique se os casos e a rubrica permaneceram iguais. Se mudaram, explique a diferença. Uma pontuação maior em uma amostra diferente não comprova por si só uma melhora do modelo.
Guarde também as limitações. Uma amostra pequena em um idioma ou categoria pode não permitir conclusões amplas. Registre o que foi medido e o que precisa de novos dados. Se a equipe usa um serviço externo para avaliar respostas, confirme se o uso está autorizado e se as evidências podem ser guardadas da forma prevista.
Organize a cobrança conforme o marco aceito
No documento comercial, indique o período, a versão, a rodada e a referência do aceite. Se houve contratação de uma segunda fase de correções, mantenha o orçamento e o prazo separados. Entregue à contabilidade contrato, invoice, aceite e comprovante de recebimento. Proteja casos de teste e dados de clientes conforme o acordo.
Registre quem pode alterar a rubrica
Se o comprador muda a definição de resposta correta no meio do piloto, preserve a versão usada na primeira avaliação. Confirme se a nova rubrica exige refazer a rodada e quem aprova o custo. Use a mesma referência da rubrica no relatório e na confirmação de aceite. Assim o comprador consegue verificar por que dois resultados diferem e qual deles sustenta a decisão sobre a implantação.
Se houver mais de um idioma, confira o resultado por grupo antes de consolidar a média. Registre quantos exemplos foram avaliados em cada idioma e indique quais casos foram excluídos. Uma amostra de um mercado não substitui a evidência sobre outro mercado que ainda não foi testado.
Perguntas frequentes
Atingir a meta agregada garante que o piloto pode ser implantado?
Confira também as condições acordadas para casos críticos, grupos e uso previsto. A decisão depende dos resultados e dos limites registrados no plano.
Posso cobrar uma avaliação que concluiu que o modelo precisa melhorar?
Use o marco definido no contrato. Se a entrega remunerada é a avaliação, documente o teste e o aceite do relatório. Se o pagamento depende de desempenho, confira as condições aplicáveis.
Como comparar duas rodadas?
Registre versões, amostra, rubrica e métricas. Destaque as mudanças que afetam a comparação e preserve os resultados anteriores.
Fontes oficiais
Leituras relacionadas
Como a Zen pode ajudar
A contabilidade para exportação de serviços da Zen ajuda a organizar documentos, conciliar recebimentos e analisar as regras da sua operação. Peça uma proposta personalizada para conversar sobre o seu caso.
Tags:
Perguntas Frequentes
"Exporto serviços de consultoria para os EUA e a equipe cuida de toda a parte fiscal e cambial. Economizo muito com a isenção de ISS."
Marina Silva
Consultora Internacional · São Paulo, SP
Contador Especialista em Profissionais de Saúde · Fundador da Contabilidade Zen
Contador especializado em tributação para médicos, dentistas e psicólogos PJ. Registro ativo no CRC-SP (337693/O-7). Fundador da Contabilidade Zen, escritório 100% digital focado em planejamento tributário e abertura de empresa para profissionais de saúde.
