BONE: Uma estrutura integrativa de aprendizado de máquina para aprendizagem on-line bayesiana em ambientes não estacionários

Neste artigo, pesquisadores da Queen Mary University of London, Reino Unido, University of Oxford, UK, Memorial University of Newfoundland, Canadá, e Google DeepMind Moutain View, CA, EUA propuseram uma estrutura unificadora, BONE (Bayesian Online learning in Non-stationary Ambientes) para aprendizagem bayesiana online em ambientes dinâmicos. BONE aborda desafios como aprendizagem contínua online, previsão de valor e hacking contextual. Requer três componentes de modelagem: um modelo de medidas, um procedimento auxiliar para modelar o estacionário e um parâmetro prévio condicional ao modelo. Além disso, também são desenvolvidos dois algoritmos para estimar crenças sobre parâmetros do modelo e variáveis ​​auxiliares, para tornar métodos existentes, como modelos BONE, e para facilitar o desenvolvimento de novos métodos.

Algoritmos avançados para estimativa de densidade posterior gaussiana são essenciais para a estrutura BONE, com foco em métodos eficazes de estimativa bayesiana, incluindo aproximações conjugadas (Cj), aproximação linear-gaussiana (LG) e Bayes variacional (VB). Cj usa os mesmos tipos ativos de fatores principais e modelos de medição para obter atualizações iterativas que podem ser analisadas. Os métodos LG estendem isso ajustando modelos de estimativa com Gaussianos lineares, enquanto Variational Bayes (VB) reduz a variância (Kullback-LeiblerKL) a posteriores usando famílias paramétricas computacionalmente eficientes. Outros métodos, como filtros sequenciais de Monte Carlo (SMC) e Kalman (EnKF), fornecem flexibilidade para condições não lineares ou de alta dimensão, o que melhora a precisão posterior.

A função de medição de variáveis ​​auxiliares na estrutura BONE é dividida em variáveis ​​auxiliares discretas (DA) e variáveis ​​auxiliares contínuas (CA). No DA, as variáveis ​​assumem valores diferentes que são ponderados em conjunto usando um número fixo de observações ou um número crescente. Uma variante com pouca memória restringe o cálculo a um subconjunto do espaço de cardinalidade onde cada elemento é chamado de hipótese. Algumas regras ad-hoc, como misturas especializadas, fornecem pesos simples sem soluções bayesianas exatas. Outro caso especial, usado pelos pesquisadores é a variável auxiliar discreta com escolha gananciosa de hipótese quando usam uma hipótese. Na AC, a complexidade computacional requer a estimativa de uma certa densidade de transições.

Os pesquisadores realizaram um teste dos algoritmos desenvolvidos dentro da estrutura BONE para todas as diversas tarefas, com um período de aquecimento para seleção de hiperparâmetros seguido por uma fase de implantação para sucessivas previsões e atualizações. Cada teste ajusta o modelo de estimativa e o método de inferência posterior ao comparar diferentes escolhas de variáveis ​​auxiliares, críticas e ponderadas. Além disso, são exploradas diferentes abordagens, com uma série de ideias sobre métodos de assimilação de dados (AD) claramente identificadas (por exemplo,[1]-PR para uma hipótese, RL[K]-PR pelos comentários de K, RL[inf]-PR para todos).

Desempenho dos algoritmos C-ACI, CPP-OU, RL[1]-PR e RL[1]-OUPR* é avaliado pelo desempenho de 10 crimes de Bernoulli em 10.000 passos em 100 medições. O retorno para cada braço segue uma distribuição de probabilidade variável de Bernoulli, modelada com ruído aditivo e limitada dentro dela. [0, 1]. Os resultados mostram RL[1]-OUPR* atinge o RMSE mais baixo, indicando maior precisão. Análise de erros destaca RL[1]-Falsos positivos de PR em pontos de transição fazem com que a previsão pare e diminua a adaptação de RL-MMPR em certas faixas. Além disso, RL[1]-OUPR* equilibra adaptação rápida e estabilidade de forma eficaz.

Concluindo, os pesquisadores apresentam BONE, que significa BAsiático Óaprendizagem on-line Nestacionário Eo meio ambiente. Esta estrutura abrange métodos bayesianos para previsão on-line em ambientes não estacionários, combinando muitos métodos existentes. Também requer duas escolhas algorítmicas, a saber:

• Um algoritmo para estimar crenças (distribuições posteriores) sobre parâmetros do modelo com base em uma determinada variável auxiliar.
• Um algoritmo para estimar crenças sobre variáveis ​​auxiliares.

A estrutura também facilita o desenvolvimento de RL[1]-OUPR*, uma nova técnica projetada para lidar com mudanças rápidas e lentas na percepção. Este artigo destaca a flexibilidade e a capacidade de inovação do BONE para enfrentar desafios preditivos complexos. Os testes futuros visam desenvolver novas variantes e expandir suas aplicações, enfatizando a ampla aplicação da estrutura a situações dinâmicas do mundo real.

Confira papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.

[FREE AI VIRTUAL CONFERENCE] SmallCon: Conferência Virtual GenAI gratuita com. Meta, Mistral, Salesforce, Harvey AI e mais. Junte-se a nós em 11 de dezembro para este evento de visualização gratuito para aprender o que é necessário para construir grande com pequenos modelos de pioneiros em IA como Meta, Mistral AI, Salesforce, Harvey AI, Upstage, Nubank, Nvidia, Hugging Face e muito mais.

Sajjad Ansari se formou no último ano do IIT Kharagpur. Como entusiasta da tecnologia, ele examina as aplicações da IA ​​com foco na compreensão do impacto das tecnologias de IA e suas implicações no mundo real. Seu objetivo é transmitir conceitos complexos de IA de maneira clara e acessível.