“`html
Introdução aos Sistemas de Multi-Agente
Os sistemas de inteligência artificial (IA) de multi-agente que utilizam LLMs (Modelos de Linguagem Grande) estão cada vez mais aptos a lidar com tarefas complexas em vários domínios, como raciocínio complexo, codificação, descoberta de drogas e garantia de segurança por meio de debates. Esses sistemas consistem em agentes especializados que colaboram, aproveitando suas capacidades únicas para alcançar objetivos comuns. A colaboração entre os agentes provou ser eficaz em melhorar a eficiência da resolução de problemas e fornecer um mecanismo de autocorreção embutido, pois os agentes podem refinar e verificar as saídas uns dos outros.
Desafios na Otimização de Sistemas de Multi-Agente
No entanto, otimizar sistemas de multi-agente apresenta desafios significativos. Um problema principal é adquirir sinais de treinamento apropriados para cada agente, pois o feedback de recompensa em nível de tarefa está disponível, mas a atribuição de crédito entre os agentes permanece ambígua. Determinar como atribuir sucesso ou falha a decisões e etapas de raciocínio específicas que cada agente LLM toma é complexo. Esse desafio é paralelo ao problema de atribuição de crédito de multi-agente no aprendizado por reforço.
A Estrutura SIRIUS
Pesquisadores da Universidade de Stanford introduzem o SIRIUS, uma estrutura de otimização de auto-aperfeiçoamento para sistemas de multi-agente que aproveita o aprendizado orientado por raciocínio. Ele constrói uma biblioteca de experiências retraindo trajetórias de raciocínio bem-sucedidas, fornecendo um conjunto de treinamento de alta qualidade. Além disso, ele aperfeiçoa tentativas malsucedidas por meio de aumento, enriquecendo o conjunto de dados. O SIRIUS melhora o desempenho de raciocínio e de QA biomédica em 2,86% a 21,88%, enquanto também melhora a negociação de agentes em configurações competitivas.
Funcionamento do SIRIUS
Um sistema de multi-agente consiste em agentes que interagem dentro de um ambiente definido, onde cada agente segue uma política para otimizar as recompensas. O ambiente depende principalmente da linguagem natural, com os agentes gerando respostas com base em interações anteriores. O SIRIUS, uma estrutura de auto-aperfeiçoamento, melhora o desempenho do agente por meio de ajustes finos iterativos. O processo inclui gerar respostas, avaliá-las usando uma função de recompensa, refinar saídas de baixa qualidade e atualizar políticas por meio de aprendizado supervisionado.
Resultados e Conclusão
Os experimentos comparam o SIRIUS com várias linhas de base, incluindo Single-Agent, STaR, CoMM e TextGrad. O SIRIUS supera consistentemente outros modelos, demonstrando melhoria na resolução de problemas, decomposição de tarefas e colaboração de agentes. Estudos de ablação revelam que papéis de agente especializado, otimização de multi-agente e aumento de experiência são cruciais para o desempenho. O SIRIUS também se destaca em configurações de ator-crítico e competitivas, superando outros métodos em tarefas como PubMedQA e jogos de troca de recursos. Em conclusão, o SIRIUS é uma estrutura projetada para otimizar sistemas de multi-agente alimentados por LLMs por meio do aprendizado de interações bem-sucedidas e do aperfeiçoamento das malsucedidas, melhorando o desempenho de raciocínio, QA biomédica e negociação de agentes.
“`
