JevOut: Contexto Natural Pode Inverter Modelos de Decisão

Modelos de decisão dedicados, como o Jev, mapeiam linguagem não estruturada para distribuições de probabilidade sobre escolhas finitas, permitindo que suas saídas roteiem solicitações, selecionem ferramentas e acionem ações diretamente. Contudo, entradas do mundo real raramente chegam isoladamente: vêm acompanhadas de detalhes de fundo e contexto circundante. Descobrimos que pequenas adições que se encaixam naturalmente nesse contexto podem, no entanto, redirecionar uma decisão que seria correta, mesmo quando a resposta correta permanece inalterada. Para estudar esse comportamento, fixamos uma opção alvo incorreta para cada item inicialmente correto e usamos as probabilidades das opções do modelo para refinar adições contextuais fluentes, preservando a fonte, a pergunta, as escolhas e a resposta de referência. Em 64 avaliações de alvo aceitas, o otimizador identifica contextos que redirecionam o Jev em 312 de 508 decisões inicialmente corretas (61,4 %); em 229 casos, o Jev atribui probabilidade de pelo menos 0,7 …