FlashSigmoid: Atenção Sigmoid com reconhecimento de hardware e memória eficiente oferece 17% de aceleração do kernel de inferência em relação ao FlashAttention-2 em GPUs H100

FlashSigmoid: Atenção Sigmoid com reconhecimento de hardware e memória eficiente oferece 17% de aceleração do kernel de inferência em relação ao FlashAttention-2 em GPUs H100

Modelos de linguagem em larga escala (LLMs) ganharam destaque significativo no aprendizado de máquina moderno, principalmente devido à abordagem atencional. Este mecanismo usa mapeamento sequência a sequência para criar representações de token sensíveis ao contexto. Tradicionalmente, a atenção depende da função softmax (SoftmaxAttn) para gerar representações de token como combinações convexas de valores dependentes de …

LLM-CI: uma nova estrutura de aprendizado de máquina para avaliar princípios de privacidade codificados em LLMs

LLM-CI: uma nova estrutura de aprendizado de máquina para avaliar princípios de privacidade codificados em LLMs

Modelos linguísticos de grande escala (LLMs) são amplamente utilizados em ambientes sociais, como saúde e educação. No entanto, estes modelos incluem frequentemente normas sociais a partir dos dados utilizados durante a formação, levantando preocupações sobre a forma como se alinham com a privacidade e as expectativas éticas. O principal desafio é garantir que estes modelos …

Google AI lança DataGemma: uma coleção de modelos abertos usando o Data Commons por meio de Retrieval Interleaved Generation (RIG) e Retrieval Augmented Generation (RAG)

Google AI lança DataGemma: uma coleção de modelos abertos usando o Data Commons por meio de Retrieval Interleaved Generation (RIG) e Retrieval Augmented Generation (RAG)

O Google introduziu um novo método chamado DataGemmaprojetado para resolver um dos problemas mais importantes da inteligência artificial moderna: a detecção de modelos de linguagem em larga escala (LLMs). O engano ocorre quando a IA produz com segurança informações incorretas ou fabricadas. Estas imprecisões podem minar a eficácia da IA, especialmente na investigação, na elaboração …

Pesquisadores do MIT apresentam processamento estocástico de sinais quânticos (QSP) como uma versão compilada aleatoriamente do QSP e reduzem o custo de algoritmos baseados em QSP por um fator de 1/2

Pesquisadores do MIT apresentam processamento estocástico de sinais quânticos (QSP) como uma versão compilada aleatoriamente do QSP e reduzem o custo de algoritmos baseados em QSP por um fator de 1/2

A aleatoriedade clássica emergiu como uma ferramenta importante para enfrentar o desafio de projetar protocolos e algoritmos quânticos. Os métodos atuais para medir e testar portas quânticas, como medições aleatórias, dependem fortemente da aleatoriedade clássica. Muitos pesquisadores estão explorando métodos de entrada aleatória para reduzir os requisitos dos algoritmos quânticos tradicionais devido ao progresso no …

O que são PNL, PNL e NLG e por que você deveria saber sobre eles e suas diferenças?

O que são PNL, PNL e NLG e por que você deveria saber sobre eles e suas diferenças?

NLU (compreensão da linguagem natural) É um subcampo da PNL que se concentra na interpretação do significado da linguagem natural para melhor compreender seu contexto por meio de análise sintática e semântica. Algumas das atividades comuns incluídas na NLU são: Análise semântica Reconhecimento objetivo Reconhecimento empresarial Análise emocional A análise sintática que a NLU utiliza …

Melhorando a compreensão de documentos com DocOwl2: uma nova arquitetura de compactação de alta resolução

Melhorando a compreensão de documentos com DocOwl2: uma nova arquitetura de compactação de alta resolução

Compreender documentos de várias páginas e vídeos de notícias é uma tarefa comum no cotidiano humano. Para lidar com tais situações, os Modelos Multimodais de Grandes Linguagens (MLLMs) devem ser equipados com a capacidade de compreender múltiplas imagens com informações textuais ricas que sejam visíveis no ambiente. No entanto, compreender as imagens dos documentos é …

Linguagem de modelagem semântica (SML) de código aberto AtScale: transformando análises com uma estrutura padrão do setor para interoperabilidade, reutilização e modelagem detalhada de dados entre plataformas

Linguagem de modelagem semântica (SML) de código aberto AtScale: transformando análises com uma estrutura padrão do setor para interoperabilidade, reutilização e modelagem detalhada de dados entre plataformas

AtScale deu um passo importante ao anunciar seu lançamento de código aberto Linguagem de Modelagem Semântica (SML). Esta iniciativa visa fornecer uma linguagem de modelagem semântica padrão da indústria que possa ser usada em diversas plataformas, incentivando uma maior colaboração e cooperação na comunidade matemática. O lançamento do SML marca um passo importante na jornada …

Pesquisadores da NVIDIA apresentam geração aprimorada com proteção de recuperação (OP-RAG) para resposta a consultas de contexto longo aprimorada com modelos de linguagem grande (LLMs)

Pesquisadores da NVIDIA apresentam geração aprimorada com proteção de recuperação (OP-RAG) para resposta a consultas de contexto longo aprimorada com modelos de linguagem grande (LLMs)

A geração aumentada de recuperação (RAG), uma técnica que melhora a eficiência de modelos linguísticos de grande escala (LLMs) no tratamento de grandes quantidades de texto, é importante para o processamento de linguagem natural, especialmente para aplicações como resposta a consultas, onde o contexto da informação está armazenado. é essencial para gerar respostas precisas. À …

Os 4 principais desafios de reconhecimento de fala em 2024 e soluções eficazes

Os 4 principais desafios de reconhecimento de fala em 2024 e soluções eficazes

Há algumas décadas, se disséssemos a alguém que poderíamos fazer um pedido de um produto ou serviço apenas conversando com uma máquina, as pessoas nos considerariam estranhos. Mas hoje, um sonho tão incontrolável ganhou vida e se tornou realidade. O início e a evolução da tecnologia de reconhecimento de fala têm sido tão interessantes quanto …

CancerLLM: um grande modelo de linguagem no domínio do câncer

CancerLLM: um grande modelo de linguagem no domínio do câncer

LLMs médicos, como ClinicalCamel 70B e Llama3-OpenBioLLM 70B, mostraram forte desempenho em várias tarefas médicas de PNL, mas atualmente não existe nenhum modelo projetado especificamente para o domínio do câncer. Além disso, esses modelos, com bilhões de parâmetros, são computacionalmente intensivos para muitos sistemas de saúde. Um LLM focado no câncer, que inclui conhecimento especializado …