Rolling-WAM: Modelos de Ação Mundial com Imaginação Contínua

Modelos de Ação Mundial (WAMs) combinam geração de ação com previsão visual futura para manipulação robótica. Contudo, concluir o processo conjunto de desnoising de vídeo e ação a cada ciclo de replanejamento gera latência substancial, atrasando atualizações de ação e limitando a responsividade em loop fechado. Apresentamos o Rolling-WAM, uma formulação que distribui o desnoising conjunto ao longo de ciclos de replanejamento sucessivos. Nosso método mantém uma janela deslizante de blocos de vídeo-ação em níveis de ruído escalonados. Em cada etapa, uma agenda de ruído contínuo desnoisa totalmente o bloco de ação iminente para execução, enquanto refina parcialmente blocos de futuro mais distante. À medida que a janela avança com novas observações de câmera, os blocos futuros retidos continuam seu processo de desnoising. Isso distribui o custo computacional ao longo do tempo, mantendo um contexto visual-ação evolutivo entre os limites dos blocos. Avaliações em LIBERO, RoboTwin, um…