JioHotstar avalia bases de conhecimento para agentes de codificação de IA.

JioHotstar avaliou 6 abordagens de recuperação de código para agentes de codificação de IA usando SWE, CodeScale Bench e um harness interno de perguntas e respostas. A busca estrutural teve bom desempenho em tarefas concretas, enquanto a recuperação semântica ajudou em requisitos ambíguos. Os resultados destacam trade‑offs em precisão, uso de tokens e design de ferramentas, ressaltando a necessidade de adequar as ferramentas de recuperação ao tipo de tarefa. Por Leela Kumili.