A decisão

A confiabilidade começa pelas fontes permitidas e perguntas que devem ser recusadas. Encontrar um trecho não prova que seja atual, aplicável ou suficiente. Cada fonte precisa de responsável e revisão.

Um exemplo concreto

Um assistente fictício de devoluções recebe um item danificado com data de compra desconhecida. Deve citar a política aplicável, pedir a data e encaminhar a exceção, sem inventar prazo.

Alternativas a considerar

Busca basta para localizar documentos exatos. Um assistente conecta linguagem a trechos. Consulta estruturada atende ao estado oficial de um pedido. Ao combinar, deixe a origem visível.

Onde o plano falha

Teste dúvidas comuns, documentos antigos, regras conflitantes, falta de evidência e permissões insuficientes. Avalie recuperação e redação separadamente. Citação decorativa não comprova a resposta.

Defina o caminho operacional de uma política alterada

Quando a política de devolução muda, seu responsável fornece documento aprovado, vigência, público e versão substituída. A ingestão mantém referência estável e identificador de revisão, verificando títulos, exceções e tabelas após a extração. Alterar o arquivo não basta se trechos antigos continuam na busca. Planeje a retirada da versão anterior do índice ativo e a invalidação de respostas em cache.

No assistente fictício, separe condições públicas de instruções internas sobre exceções. Verifique permissões antes de enviar trechos ao contexto, em vez de pedir ao modelo que não repita informações privadas já recebidas. Uma mudança de função deve retirar acessos pelas regras da aplicação. Distribua separadamente responsabilidade pelas fontes, configuração da busca e escalonamentos; podem ser pessoas diferentes.

Aceite também o comportamento diante da falha

Prepare com o responsável um conjunto identificado de perguntas: devolução comum, exceção com aprovação, data ambígua, política antiga e pedido sobre outro cliente. Escreva evidências e comportamentos aceitáveis antes de ajustar instruções. Encaminhar por falta de data pode ser a resposta correta; inventar um prazo com confiança não é um erro pequeno.

Examine trecho e resposta juntos. Uma resposta aparentemente correta baseada na política errada deve reprovar. Se um índice novo piora um caso conhecido, o operador precisa voltar à configuração testada ou oferecer busca documental temporária. Mantenha versões suficientes para investigar reclamações, com acesso restrito e retenção definida. Não copie conversas privadas inteiras para análises irrestritas só para facilitar a avaliação.

Antes de contratar o projeto

Quem atualiza políticas? Como reconhecer evidência ausente? Quem recebe encaminhamentos? Resolva essas responsabilidades na integração de IA.

Fontes e outras leituras

  1. Microsoft: RAG solution design and evaluation
Serviços

Integração de IA

IA onde ajuda. Limites onde importa.

Converse sobre este serviço