Dentro brevemente
- Pesquisadores da Technische Universität Wien e da Freie Universität Berlin desenvolveram uma IA híbrida quântica clássica que jogou Pong e Breakout com sucesso, demonstrando o poder do aprendizado por reforço quântico.
- O modelo combinado igualou o desempenho clássico no Pong e alcançou 84% da pontuação do modelo clássico no Breakout, reduzindo a diferença para 13% com os parâmetros otimizados.
- Embora a pesquisa não tenha encontrado uma vantagem quântica, ela destaca como os sistemas híbridos podem combinar métodos clássicos e quânticos para realizar operações de alta dimensão.
Em 1975, durante a época de Natal, a Atari lançou uma versão caseira do Pongo que foi divertido nas férias. As pessoas aprenderam esse jogo rapidamente, e não, como descobri, uma criança de 9 anos – não me pergunte como eu sei disso.
No entanto, quase 50 anos depois, o modelo quântico-clássico de Inteligência Artificial (IA) está entrando em ação – e provavelmente está indo tão bem quanto alguns jogadores humanos em meados dos anos 70.
Em um novo estudo publicado no servidor de impressão arXiv, uma equipe de pesquisadores da Universidade de Tecnologia de Viena e da Universidade Livre de Berlim relatam que seu modelo híbrido de aprendizado clássico quântico jogou com sucesso jogos Atari, como Pong e Breakout. A modelo pontuou de forma competitiva nos dois jogos, segundo o estudo.
A equipe acrescentou que este experimento não foi apenas uma oportunidade de colocar a IA quântica em um fliperama, mas também demonstra o poder do aprendizado por reforço quântico em tarefas de alta dimensão.
A pesquisa, realizada por cientistas da Technische Universität Wien e da Frie Universität Berlin, explora o uso de circuitos quânticos parametrizados (PQCs) – sistemas quânticos com configurações ajustáveis – no aprendizado por reforço, um ramo do aprendizado de máquina em que os agentes aprendem a tomar decisões por interagindo com eles. o meio ambiente. Neste estudo, os pesquisadores combinaram PQCs, que processam informações com base nos princípios da mecânica quântica, em um sistema misto com redes neurais clássicas para testar seu desempenho em tarefas que geralmente são dominadas por algoritmos de aprendizado profundo.
Quão melhor era essa IA quântica clássica? Em Pong, o modelo obteve pontuação aproximadamente igual ao modelo clássico, com ambos os modelos atingindo uma pontuação média de 20. No Breakout, o modelo híbrido recebeu uma recompensa média de 84 após 2 milhões de etapas ambientais, em comparação com 141 do modelo clássico, o que mostra. uma lacuna de desempenho de 41%. No entanto, quando os pesquisadores ajustaram as configurações – os hiperparâmetros foram otimizados – a diferença de desempenho do modelo híbrido diminuiu para 13%, relataram os pesquisadores.
Ainda não há “ruptura” de vantagem quântica
O modelo híbrido correspondeu ao desempenho do modelo de referência clássico em Pong e aproximou-se do Breakout, reduzindo a típica lacuna de desempenho observada em estudos anteriores.
Os pesquisadores escreveram no estudo: “Nossas descobertas sugerem que, com o ajuste fino, os agentes híbridos podem se aproximar do desempenho dos agentes clássicos sob restrições semelhantes em um ambiente sutil, destacando a importância da calibração adequada”. Os resultados apresentados contribuem para a nossa compreensão da interação entre componentes quânticos e clássicos em modelos híbridos.”
Esses resultados sugerem que sistemas híbridos quânticos-clássicos podem desempenhar um papel em tarefas complexas que requerem a combinação de pré-processamento clássico com processamento quântico. Como a computação quântica permanece na era ruidosa e de média escala (NISQ), este estudo fornece informações sobre a energia quântica como um complemento aos métodos tradicionais de aprendizado de máquina, em vez de um substituto.
No entanto, o estudo também esclareceu que o modelo não apresentou “vantagem quântica”, o que significa que não superou os métodos clássicos nesta aplicação. Em vez disso, serve como um passo importante para a compreensão de como os componentes quânticos e clássicos podem se complementar em tarefas práticas de aprendizado de máquina.
Métodos: Arquitetura Tricamada
Os pesquisadores projetaram uma arquitetura híbrida que consiste em três componentes principais: camadas convolucionais clássicas para redução de dimensionalidade, PQC para processamento quântico e camadas clássicas totalmente conectadas para pós-processamento. Este projeto teve como objetivo superar uma limitação importante dos sistemas quânticos atuais – sua incapacidade de codificar diretamente conjuntos de dados grandes e de alta dimensão devido a restrições de hardware.
Nos testes, o modelo híbrido processou entradas simplificadas dos consoles de jogos Atari. Por exemplo, no Pong, o sistema aprendeu a prever ações corretas com base na localização dos objetos do jogo. As camadas convolucionais clássicas extraíram recursos de observações de alta resolução, enquanto o PQC usa portas quânticas para combinar e manipular esses recursos.
O treinamento envolveu métodos de aprendizagem por reforço, onde o sistema desenvolveu sua “política” melhorando iterativamente suas previsões de recompensas futuras com base em decisões passadas. Os pesquisadores também exploraram o ajuste de hiperparâmetros – como escala de recompensa e mudanças na taxa de aprendizagem – para ajustar a interação entre componentes primitivos e quantitativos, melhorando o desempenho de aprendizagem do sistema.
Limitações e Desafios
O estudo apresenta diversas limitações e desafios. Primeiro, o modelo híbrido não alcançou uma melhoria significativa no desempenho em relação ao seu homólogo clássico, uma referência importante para demonstrar a vantagem quântica. O estudo atribui isso ao tipo de jogos da Atari, que são controlados por computador e antiquados.
A parte quântica do modelo é executada em hardware simulado, em vez de dispositivos quânticos reais. As simulações não capturam o ruído e as taxas de erro presentes nos sistemas quânticos do mundo real, o que pode afetar o desempenho. Serão necessários trabalhos futuros para testar a robustez do modelo híbrido em condições realistas.
Outra limitação é a escalabilidade. Expandir o espaço do elemento oculto – a representação central processada pelo PQC – exigirá mais qubits e circuitos quânticos mais profundos, levando a potenciais problemas como o fenômeno do “platô árido”, onde a melhoria é impossível devido ao desaparecimento dos gradientes .
Como a Quantum AI pode ser dimensionada?
Então, quanto tempo levará até que a IA quântica clássica possa passar as férias acumulando pontuações altas em Pong e Breakout – e, quem sabe, talvez eventualmente em Frogger? Os pesquisadores ressaltam que será necessário algum trabalho e apontam vários caminhos para testes adicionais. Uma direção promissora para explorar modelos híbridos em hardware quântico é testar seu desempenho em ambientes ruidosos. Outra é usar os modelos em atividades onde se espera que a computação quântica forneça uma vantagem, como a química quântica ou a otimização combinatória.
Embora os jogos Atari sejam um indicador útil, eles podem não refletir totalmente o poder dos modelos quânticos avançados, sugerem pesquisas. Identificar domínios de problemas onde as propriedades quânticas – como superposição e emaranhamento – fornecem uma vantagem computacional pode abrir novas oportunidades para sistemas integrados.
Quadro Geral
Além da nostalgia e dos trocadilhos de videogame. esta pesquisa contribui para o crescente campo do aprendizado de máquina quântica, onde os cientistas pretendem otimizar a computação quântica para tarefas que vão desde a análise de dados até o processamento de linguagem natural. Os modelos híbridos quânticos clássicos são particularmente atraentes na era atual do desenvolvimento quântico, pois combinam o poder dos algoritmos clássicos maduros com o poder emergente dos processadores quânticos.
Para obter mais detalhes técnicos, leia o artigo arXiv. ArXiv é um servidor pré-publicado, o que significa que a pesquisa ainda não foi formalmente revisada por pares.
A pesquisa foi conduzida por Dominik Freinberger, Julian Lemmel e Radu Grosu do Institut für Technische Informatik da Technische Universität Wien, na Áustria, e Sofiene Jerbi, do Dahlem Center for Complex Quantum Systems da Frie Universität Berlin, na Alemanha.
