O Federated Learning (FL) é uma solução de treinamento de modelo distribuído bem-sucedida para priorizar a privacidade dos dados, permitindo que vários ambientes aprendam juntos sem compartilhar dados. É especialmente importante em áreas críticas, como análises médicas, detecção de anomalias industriais e processamento de voz.
Os desenvolvimentos recentes na FL enfatizam a arquitetura de rede descentralizada para enfrentar os desafios colocados pelos dados não-IID (não independentes e distribuídos uniformemente), que podem comprometer a privacidade durante a atualização do modelo. A investigação mostra que mesmo pequenas diferenças nos parâmetros do modelo podem revelar informações confidenciais, sublinhando a necessidade de estratégias de privacidade eficazes. Técnicas de privacidade diferencial (DP) são integradas ao FL estendido para melhorar a privacidade, adicionando ruído gaussiano controlado às informações moduladas. Embora estes métodos possam ser adaptados desde a formação de nó único até configurações descentralizadas, a sua introdução pode reduzir o desempenho da aprendizagem devido à interferência e à natureza da partilha de dados não-IID.
Para superar esses problemas, uma equipe de pesquisa do Japão propõe um algoritmo de privacidade bidimensional com normalização de eliminação de ruído, denominado DP-Norm. Este método introduz o processo de distribuição DP no Edge Consensus Learning (ECL) como restrições diretas em modelos dinâmicos, melhorando a robustez em relação a dados não IID. Ao lidar com ruído e interferência, a equipe inclui um processo de redução de ruído para reduzir o aumento de situações explosivas decorrentes da troca dupla dinâmica, o que garante a passagem de mensagens com preservação da privacidade.
Em particular, a técnica utiliza distribuição DP para transmissão de mensagens no quadro ECL, e ruído gaussiano é adicionado às duas variáveis para limitar o vazamento de informações. Porém, durante um teste preliminar, constatou-se que a adição desse ruído fez com que o processo de aprendizagem parasse devido ao aumento da normalidade das duas variáveis. Para reduzir o acúmulo de ruído, a função de custo inclui um termo de normalização de remoção de ruído ρ(λ). Este padrão evita que a tendência cresça muito rapidamente, ao mesmo tempo que mantém os benefícios de privacidade do processo de distribuição de DP. A regra de atualização DP-Norm é derivada usando técnicas de particionamento de operador, particularmente a partição Peaceman-Rachford, e alterna entre atualizações locais das variáveis primárias e duplas e a mensagem de preservação de privacidade que passa pelo gráfico. Esta abordagem garante que os modelos dinâmicos em cada ponto se aproximem do ponto estacionário de forma eficiente, mesmo na presença de ruído e problemas de dados não IID. Incluir o processo de remoção de ruído (ρ(λ)) melhora ainda mais a estabilidade do algoritmo. Comparado ao DP-SGD para FL estendido, o DP-Norm com remoção de ruído reduz o desvio causado por dados não IID e grande ruído, o que leva à melhoria do modelo de convergência. Por fim, o desempenho do algoritmo é avaliado através de testes de privacidade e convergência, onde é determinado o nível mínimo de ruído necessário para (ε,δ)-DP, e são discutidos os efeitos da distribuição de DP e da extração de ruído na convergência.
Os pesquisadores usaram o conjunto de dados MNIST Fashion para comparar o método DP-Norm com métodos anteriores (DP-SGD e DP-ADMM) para classificação de imagens. Cada nó teve acesso a subconjuntos de dados não IID, e tanto a regressão convexa quanto o modelo ResNet-10 não convexo foram testados. Cinco métodos, incluindo DP-Norm com e sem normalização, foram investigados em várias configurações de privacidade (ε={∞,1,0,5}, δ=0,001). DP-Norm (α>0) supera outros métodos descentralizados em termos de precisão de teste, especialmente em ambientes de alta privacidade. Este método reduz o ruído de propagação do DP removendo o ruído, garantindo uma operação estável mesmo sob altas restrições de privacidade.
Em conclusão, o estudo apresentou o DP-Norm, um mecanismo de preservação de privacidade para aprendizagem de autenticação convergente e particionada de (ε, δ)-DP. Este método inclui passagem de mensagens, atualizações de modelos espaciais e normalização de eliminação de ruído. De acordo com pesquisas teóricas, o DP-Norm supera o DP-SGD e o DP-ADMM em termos de níveis de ruído e coerência. Experimentalmente, o DP-Norm tende a ter um desempenho próximo às pontuações de referência de nó único, indicando sua estabilidade e utilidade em situações não IID.
Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal..
Não se esqueça de participar do nosso SubReddit de 52k + ML
Mahmoud é pesquisador PhD em aprendizado de máquina. Ele também detém um
bacharelado em ciências físicas e mestrado em
comunicações e sistemas de comunicação. Suas localizações atuais de
pesquisa trata de visão computacional, previsão do mercado de ações e profundidade
leitura. Produziu diversos artigos científicos sobre regeneração humana.
identificação e estudo de estabilidade e estabilidade em profundidade
redes.
