Lançado OuteTTS-0.1-350M: um novo modelo de conversão de texto em fala (TTS) usando um modelo de linguagem pura sem adaptadores externos

Nos últimos anos, o campo da integração de conversão de texto em voz (TTS) tem registado um rápido desenvolvimento, mas ainda está cheio de desafios. Os modelos tradicionais de TTS geralmente dependem de arquiteturas complexas, incluindo redes neurais profundas com módulos especializados, como codificadores de voz, analisadores de texto e outros adaptadores, para sintetizar a fala humana real. Estas complexidades tornam os sistemas TTS muito intensivos em recursos, limitando a sua flexibilidade e acessibilidade, especialmente para aplicações no dispositivo. Além disso, os métodos atuais muitas vezes exigem grandes conjuntos de dados para treinamento e muitas vezes carecem de flexibilidade na integração ou adaptação de voz, o que impede casos de uso personalizados. A natureza complexa destes métodos e a crescente necessidade de síntese de voz flexível e eficiente levaram os investigadores a explorar novas abordagens.

OuteTTS-0.1-350M: Simplificando TTS com Modelagem de Linguagem Pura

Lançamento de IA SaídaTTS-0.1-350M: uma nova abordagem de conversão de texto em fala que usa um modelo de linguagem pura sem a necessidade de adaptadores externos ou arquiteturas complexas. Este novo modelo apresenta uma maneira simples e eficaz de produzir uma fala com som natural, combinando texto e áudio em uma estrutura unificada. Construído na arquitetura LLaMa, o OuteTTS-0.1-350M usa tokens de áudio diretamente, sem depender de decodificadores TTS especiais ou etapas intermediárias complexas. Sua capacidade de clonagem de voz zero-shot permite simular novas vozes usando apenas alguns segundos de áudio de referência, tornando-se uma grande melhoria em relação aos programas TTS personalizados. Lançado sob a licença CC-BY, este modelo abre caminho para que os desenvolvedores o experimentem e integrem livremente em vários projetos, incluindo soluções no dispositivo.

Detalhes técnicos e benefícios

Tecnicamente, o OuteTTS-0.1-350M usa um método de simulação de linguagem pura no TTS, preenchendo efetivamente a lacuna entre a entrada de texto e a saída de fala por meio de um processo estruturado, porém simplificado. Ele usa uma abordagem de três etapas: tokenização de áudio usando WavTokenizer, classificação temporal conexionista (CTC) para alinhamento forçado de mapeamento de token de palavra para áudio e criação de informações estruturadas contendo transcrição, duração e tokens de áudio. WavTokenizer, que gera 75 tokens de áudio por segundo, permite a conversão eficiente de áudio em uma sequência de tokens que o modelo pode compreender e gerar. A adoção da arquitetura baseada em LLaMa permite que o modelo represente a produção de fala como uma tarefa semelhante à produção de texto, o que reduz bastante a complexidade e o custo computacional do modelo. Além disso, a integração com llama.cpp garante que o OuteTTS possa ser executado de forma eficaz no dispositivo, fornecendo produção de fala em tempo real sem a necessidade de serviços em nuvem.

Por que OuteTTS-0.1-350M é importante

O valor do OuteTTS-0.1-350M reside na sua capacidade de democratizar a tecnologia TTS, tornando-a acessível, eficiente e fácil de usar. Ao contrário dos modelos tradicionais que exigem extensas capacidades de pré-processamento e capacidades específicas de hardware, esta abordagem de modelagem em linguagem pura reduz as dependências de componentes externos, simplificando assim a implementação. Sua capacidade de síntese de voz zero-shot é uma grande melhoria, permitindo aos usuários criar vozes personalizadas com o mínimo de dados, abrindo as portas para aplicativos para assistentes pessoais, audiolivros e localização de conteúdo. O desempenho do modelo é particularmente impressionante considerando o seu tamanho de apenas 350 milhões de parâmetros, alcançando resultados competitivos sem a sobrecarga observada em modelos muito grandes. Testes preliminares mostraram que o OuteTTS-0.1-350M pode produzir com sucesso uma fala com som natural, voz precisa e artefatos mínimos, tornando-o adequado para uma variedade de aplicações do mundo real. O sucesso desta abordagem mostra que modelos mais pequenos e mais eficientes podem operar de forma competitiva em domínios que costumavam depender de estruturas maiores.

A conclusão

Concluindo, OuteTTS-0.1-350M marca um avanço significativo na tecnologia de conversão de texto em fala, usando arquiteturas simples para fornecer síntese de fala de alta qualidade com requisitos computacionais mínimos. Sua integração da arquitetura LLaMa, o uso do WavTokenizer e a capacidade de realizar clonagem de voz zero-shot sem a necessidade de adaptadores complexos o diferenciam dos modelos TTS tradicionais. Com sua capacidade de funcionar no dispositivo, este modelo pode transformar aplicações em acessibilidade, personalização e interação humano-computador, tornando o TTS avançado acessível a um público mais amplo. O lançamento do Oute AI não apenas destaca o poder da modelagem de linguagem pura para gerar áudio, mas também abre novas possibilidades da tecnologia TTS. À medida que a comunidade científica continua a explorar e expandir este trabalho, modelos como o OuteTTS-0.1-350M podem abrir caminho para sistemas de reconhecimento de voz mais inteligentes e eficientes.

Principais conclusões

• OuteTTS-0.1-350M fornece uma abordagem simplificada para TTS usando um modelo de linguagem pura sem adaptadores complexos ou componentes externos.
• Construído na arquitetura LLaMa, o modelo utiliza WavTokenizer para gerar tokens de áudio diretamente, tornando o processo eficiente.
• O modelo é capaz de clonagem de voz zero-shot, permitindo reproduzir novas vozes a partir de alguns segundos de áudio de referência.
• OuteTTS-0.1-350M foi projetado para ser executado no dispositivo e é compatível com llama.cpp, tornando-o adequado para aplicativos em tempo real.
• Apesar do seu pequeno tamanho de 350 milhões de parâmetros, o modelo tem um desempenho competitivo com sistemas TTS grandes e complexos.
• A acessibilidade e eficiência do modelo o tornam adequado para uma ampla gama de aplicações, incluindo assistentes pessoais, audiolivros e localização de conteúdo.
• O lançamento do Oute AI sob a licença CC-BY incentiva mais testes e integração em vários projetos, democratizando a tecnologia TTS avançada.

Confira O modelo do tamanho do rosto. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.

[Sponsorship Opportunity with us] Promova sua pesquisa/produto/webinar para mais de 1 milhão de leitores mensais e mais de 500 mil membros da comunidade