Além da IA ​​de código aberto: a arquitetura criptográfica da Bagel, a plataforma de padaria e o ZKLoRA impulsionam a monetização sustentável da IA

Bagel é uma nova arquitetura de modelo de IA que revoluciona o desenvolvimento de IA de código aberto, permitindo doações sem permissão e garantindo fluxos de receita dos doadores. Seu design combina criptografia avançada e técnicas de aprendizado de máquina para criar um ecossistema colaborativo, seguro e confiável. Sua primeira plataforma, Bakery, é uma plataforma exclusiva de ajuste fino e monetização de IA construída sobre a arquitetura do modelo Bagel. Ele cria um ambiente colaborativo onde os desenvolvedores podem ajustar os modelos de IA sem comprometer a privacidade de seus recursos proprietários ou expor parâmetros sensíveis do modelo.

Origem e Visão

A ideia do Bagel partiu do seu fundador, Bidhan Royque tem uma vasta experiência em engenharia e aprendizado de máquina e contribuiu para a maior infraestrutura de ML do mundo na Amazon Alexa, Cash App e Instacart. Percebendo a insustentabilidade da IA ​​de código aberto como modelo de doação, Roy imaginou um sistema que encorajaria os doadores a rentabilizar o seu trabalho. Sua introdução à criptografia durante seu trabalho na plataforma de negociação Bitcoin da Cash App em 2017 tornou-se a base para a abordagem inovadora de Bagel para combinar métodos criptográficos com desenvolvimento de IA.

A proposta de valor exclusiva da Bagel é construída em torno de três pilares principais:

1. Adjetivo: Bagel garante que todas as contribuições estruturais ou paramétricas sejam validadas usando sua nova metodologia ZKLoRA, que fornece uma trilha transparente de trabalho criativo e promove a responsabilidade no desenvolvimento colaborativo de IA.
2. Propriedade: Os contribuidores mantêm reivindicações permanentes sobre suas inovações usando contêineres que preservam a privacidade e ofuscação de parâmetros, o que elimina a necessidade de acordos formais de licenciamento, protegendo ao mesmo tempo a propriedade intelectual.
3. Privacidade: O encapsulamento seguro do modelo e a ofuscação em camadas protegem os componentes proprietários, evitam o acesso não autorizado até mesmo a ambientes de computador não confiáveis ​​ou não confiáveis, garantindo privacidade e confiança durante todo o processo de desenvolvimento.

Principais inovações da Bagel

• Contribuições não autorizadas: Bagel permite que desenvolvedores, pesquisadores e proprietários de recursos contribuam para o desenvolvimento de um modelo de IA sem exigir permissões expressas ou acordos prévios. Este método de descentralização elimina barreiras à entrada.
• Patrimônio líquido: Uma característica única do Bagel é a sua capacidade de incluir e distribuir receitas a todos os contribuintes do ecossistema em conformidade. A plataforma rastreia com precisão as contribuições e atualizações de modelos usando técnicas criptográficas, garantindo que os contribuidores sejam recompensados ​​igualmente.
• A criptografia encontra o aprendizado de máquina: A arquitetura inovadora do Bagel depende de uma combinação de técnicas criptográficas e avanços de aprendizado de máquina, incluindo:
  • Ajuste fino com eficiência de parâmetros (PEFT): Melhora os processos de ajuste de modelo, reduzindo os requisitos de recursos e mantendo o desempenho.
  • ZKLoRA: Uma inovação da Bagel Research Team – um protocolo sem conhecimento que garante atualizações de compatibilidade do modelo LoRA sem divulgar dados proprietários, garantindo interações seguras e eficientes.

A arquitetura da Bagel é implementada através de uma plataforma própria, Bakery. Ele permite o desenvolvimento descentralizado de IA, permitindo que os desenvolvedores contribuam com modelos e configurações de forma segura, que os provedores de conjuntos de dados compartilhem dados proprietários de forma privada usando métodos criptográficos e que os proprietários de recursos permitam a integração, mantendo o controle e a privacidade. Na Bakery, muitos colaboradores podem participar na construção de modelos de IA:

• O doador pode fornecer um modelo básico.
• Um terceiro pode fornecer serviços de GPU remotamente.

Agora, vamos dar uma olhada nas pesquisas mais recentes sobre ZKLoRA. Neste estudo, a equipe de pesquisa da Bagel se concentrou em permitir a validação eficiente e segura de atualizações de adaptação de baixo nível (LoRA) para LLMs em ambientes de treinamento distribuídos. Tradicionalmente, o ajuste fino desses modelos envolve colaboradores externos que fornecem atualizações LoRA, mas garantir que essas atualizações sejam realmente consistentes com o modelo subjacente e, ao mesmo tempo, proteger os parâmetros proprietários representa desafios.

Os métodos existentes, como reiniciar a passagem direta ou testar manualmente grandes conjuntos de parâmetros, são matematicamente inviáveis, especialmente para modelos com bilhões de parâmetros. Os pesos proprietários dos contribuidores LoRA também devem ser protegidos, enquanto os proprietários dos modelos básicos devem garantir a precisão e validade das atualizações. Isto cria um desafio duplo: Manter a confiança no desenvolvimento e colaboração descentralizados de IA, preservando ao mesmo tempo a propriedade intelectual e a eficiência computacional. A falta de um mecanismo de verificação robusto e eficiente para atualizações LoRA limita a sua escalabilidade e utilização segura em aplicações do mundo real.

Para enfrentar o desafio acima mencionado, a Equipe de Pesquisa Bagel lançou ZKLoRA. Este protocolo de informação zero combina métodos criptográficos e técnicas de ajuste fino para garantir a verificação segura das atualizações do LoRA sem revelar pesos secretos. ZKLoRA usa prova de ignorância, compromisso polinomial e designs criptográficos curtos para garantir a compatibilidade do LoRA com modelos básicos de forma eficaz. Esta inovação permite que os contribuidores do LoRA protejam sua propriedade intelectual, ao mesmo tempo que permite que os usuários do modelo subjacente verifiquem as atualizações com confiança.

O protocolo ZKLoRA funciona de forma sistemática. Primeiro, o usuário do modelo básico fornece ativação parcial usando camadas de modelo não modificadas. Este desbloqueio parcial é então utilizado pelo proprietário do LoRA, que utiliza as suas próprias atualizações de identidade e cria uma prova de identidade. Esta prova garante que as atualizações do LoRA sejam válidas e consistentes com o modelo básico, sem divulgar informações proprietárias. A validação, que leva apenas 1–2 segundos por módulo, garante a integridade de cada atualização LoRA, mesmo para modelos com bilhões de parâmetros. Por exemplo, um modelo de 70 bilhões de parâmetros com 80 módulos LoRA pode ser verificado em apenas alguns minutos. Essa eficiência torna o ZKLoRA uma solução escalonável para situações que exigem testes paralelos frequentes ou grandes.

Além disso, o ZKLoRA foi rigorosamente testado em vários LLMs, incluindo modelos como distilgpt2, Llama-3.3-70B e Mixtral-8x7B. Os pesquisadores analisaram o tempo total de verificação, o tempo de geração de provas e o tempo de configuração para vários módulos LoRA e seus tamanhos médios de parâmetros. Os resultados mostraram que mesmo com alto cálculo de LoRA, o aumento no tempo de verificação ainda foi pequeno devido à natureza curta do projeto ZKLoRA. Por exemplo, um modelo com 80 módulos LoRA exigiu 2 segundos por módulo para ser verificado, enquanto o tempo completo de geração e configuração da prova, embora dependente do tamanho do módulo, permaneceu gerenciável. Isso demonstra a capacidade do ZKLoRA de lidar com múltiplas instâncias de adaptadores em aplicações de grande escala com esforço computacional mínimo.

O estudo destaca várias conclusões importantes que sublinham o impacto do ZKLoRA:

1. O protocolo valida módulos LoRA em apenas 1-2 segundos, mesmo modelos com bilhões de parâmetros, garantindo desempenho em tempo real.
2. ZKLoRA se adapta bem ao número de módulos LoRA, mantendo a geração de provas e os tempos de validação gerenciáveis.
3. Ao combinar técnicas criptográficas, como provas de conhecimento zero e privacidade discreta, o ZKLoRA garante a segurança das atualizações proprietárias e dos modelos subjacentes do LoRA.
4. O protocolo permite a colaboração baseada na confiança entre equipes distribuídas geograficamente, sem comprometer a integridade dos dados ou a propriedade intelectual.
5. Com sobrecarga computacional mínima, o ZKLoRA é adequado para verificações frequentes de compatibilidade, cenários de vários adaptadores e pipelines de treinamento baseados em contrato.

Concluindo, Bagel revolucionou o desenvolvimento de IA aumentada por meio de sua nova plataforma, Bakery, e do protocolo ZKLoRA. Eles enfrentaram desafios significativos na otimização de LLMs, como garantir atualizações do LoRA com segurança e eficiência, preservando ao mesmo tempo a propriedade intelectual. Bagel também forneceu uma estrutura sólida para colaboração baseada na confiança. Bakery permite que contribuidores de código aberto monetizem com sucesso seu trabalho. Ao mesmo tempo, ZKLoRA usa técnicas criptográficas avançadas, como provas de conhecimento zero e privacidade exclusiva, para garantir testes de compatibilidade seguros e escaláveis. Com tempos de validação tão curtos quanto 1–2 segundos por módulo, mesmo para modelos com vários bilhões de parâmetros, o ZKLoRA exibe uma eficiência notável e o torna uma solução viável para aplicações do mundo real. Por fim, Bakery é o primeiro produto a utilizar a arquitetura do modelo Bagel. Esta arquitetura representa um protótipo que poderá ser utilizado em futuros produtos desenvolvidos pela equipe Bagel e outras empresas que visam inovar no espaço de IA de código aberto.

Fontes:

Obrigado à equipe Bagel AI pela liderança inovadora/recursos para este artigo. A equipe Bagel AI nos apoiou neste conteúdo/artigo.