Com a introdução de Large Language Models (LLMs), o design da linguagem sofreu uma grande mudança e várias atividades relacionadas com a linguagem foram integradas com sucesso numa estrutura unificada. A forma como as pessoas interagem com a tecnologia foi completamente transformada por esta integração, que abre uma comunicação flexível e natural para uma ampla gama de aplicações. No entanto, não foram feitas muitas pesquisas sobre a criação de uma arquitetura paralela que possa lidar com diversas tarefas dentro de uma única estrutura de geração de imagens.
Para preencher esta lacuna, uma equipe de pesquisadores da Academia de Inteligência Artificial de Pequim desenvolveu o OmniGen, um modelo distribuído exclusivo criado especificamente para geração de imagens compostas. Ao contrário de outros modelos de difusão, como o Stable Diffusion, que muitas vezes requerem módulos auxiliares, como IP-Adapter ou ControlNet, para lidar com vários cenários de controle, o OmniGen foi projetado para funcionar sem esses outros componentes. Graças à sua abordagem simplificada, o OmniGen é uma solução robusta e flexível para diversas aplicações de imagem.
Alguns recursos principais do OmniGen são os seguintes:
- Integração: Os recursos do OmniGen vão além da produção de texto para imagem. Muitas tarefas posteriores, como edição de imagens, produção orientada por curso e produção visual condicional, são naturalmente apoiadas por ele. Não requer modelos adicionais ou complementos para realizar muitas tarefas complexas em um único modelo. A flexibilidade do OmniGen pode ser demonstrada ainda mais aplicando sua estrutura de geração de imagens a aplicações como detecção de bordas e detecção de pose humana.
- Simplicidade: A arquitetura simples do OmniGen é uma de suas principais vantagens. OmniGen não requer codificadores de texto adicionais ou procedimentos trabalhosos de pré-processamento, como aqueles necessários para estimar a postura humana, ao contrário de muitos outros modelos de distribuição atualmente em uso. A simplicidade do OmniGen o torna acessível e fácil de usar, permitindo que os usuários concluam tarefas desafiadoras de geração de imagens com instruções claras.
- Transferência de conhecimento: OmniGen pode transferir efetivamente conhecimento entre funções usando seu método de aprendizagem unificado. Este recurso demonstra a flexibilidade e capacidade de inovação do OmniGen, permitindo-lhe lidar com tarefas e domínios que nunca enfrentou antes. O desenvolvimento de um modelo gerador de imagens em todo o mundo é auxiliado pela capacidade do modelo de transmitir informações e de se adaptar a novas situações.
Para melhorar o desempenho do OmniGen em tarefas desafiadoras, também foram realizadas pesquisas sobre as capacidades de raciocínio do modelo e o possível uso do processo de cadeia de pensamento. Isto é importante porque cria novas oportunidades para o modelo ser usado em tarefas complexas de geração e processamento de imagens.
A equipe resume suas principais contribuições da seguinte forma.
- Foi lançado o OmniGen, um modelo integrado com inteligência eficiente de geração de imagens. Não é apenas competitivo na criação de texto para imagem, mas também suporta outras funções posteriores, como produção orientada ao assunto e produção de imagens controláveis. Ele também pode executar funções tradicionais de visão computacional, tornando-o o primeiro modelo de criação de imagens com esse nível de recursos.
- Um grande conjunto de dados de produção de imagens conhecido como X2I (“qualquer coisa que possa ser visualizada”) foi criado. Uma variedade de tarefas de produção de imagens estão incluídas neste conjunto de dados, todas modeladas em um formato único e compacto para permitir treinamento e testes consistentes.
- OmniGen demonstrou sua flexibilidade usando o conjunto de dados X2I para múltiplas tarefas de treinamento, permitindo aplicar o conhecimento aprendido a tarefas e domínios não testados anteriormente.
Confira Papel de novo GitHub. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal..
Não se esqueça de participar do nosso Mais de 50k ML SubReddit
Tanya Malhotra está em seu último ano na Universidade de Estudos de Petróleo e Energia, Dehradun, cursando BTech em Engenharia de Ciência da Computação com especialização em Inteligência Artificial e Aprendizado de Máquina.
Ele é um entusiasta de Data Science com forte pensamento analítico e crítico e grande interesse em adquirir novas habilidades, liderar equipes e gerenciar o trabalho de maneira organizada.
