SemMSA: Análise de Sentimento Multimodal Robusta Auxiliada por Semântica Latente com Dados Incompletos

Pesquisas recentes em Análise de Sentimento Multimodal (MSA) têm se concentrado em aprender a partir das modalidades de linguagem, visual e acústica com dados incompletos para inferir o sentimento humano. A maioria dos estudos costuma compensar a informação ausente reconstruindo características das modalidades ou projetando mecanismos de fusão complexos. Contudo, esses métodos ainda sofrem com geração espúria e orientação ruidosa devido à falta de fundamentação semântica de alto nível em evidências multimodais parcialmente observadas. Para enfrentar esses problemas, propomos o SemMSA, uma estrutura auxiliada por semântica latente que constrói semânticas ricas relevantes ao sentimento usando LLMs, integrando totalmente todas as modalidades via alinhamento espectral sem âncora. Ela consiste principalmente em Refinamento Semântico Cross-modal (CSR) e Alinhamento Espectral Cross-modal (CSA). Especificamente, o CSR primeiro extrai adaptativamente representações visuais e acústicas por meio de …