A Anthropic AI introduziu recentemente uma nova API para Message Batches, que é uma solução útil para desenvolvedores que lidam com grandes conjuntos de dados. Permite o envio de até 10.000 consultas simultaneamente, proporcionando processamento eficiente e assíncrono. A API foi projetada para tarefas onde a velocidade não é importante, mas o tratamento de operações em lote é muito importante. É especialmente útil para consultas não urgentes, com resultados processados em 24 horas e uma redução de custos de 50% em comparação com chamadas regulares de API.
O que é a API de lotes de mensagens?
A API Message Batches da Anthropic é um serviço que permite aos desenvolvedores processar grandes quantidades de dados em paralelo. Isso significa que os trabalhos são enfileirados e processados em massa.
- Envie até 10.000 perguntas por lote.
- Processado em 24 horas.
- Custa 50% menos que chamadas de API padrão.
A API o torna adequado para tarefas grandes onde não são necessárias respostas em tempo real. Depois que um lote de mensagens é criado, ele inicia o processamento imediatamente. Os desenvolvedores podem usá-lo para processar solicitações de API para várias mensagens simultaneamente.
Principais recursos e benefícios
Aqui está uma análise dos principais recursos que fazem a API Anthropic Message Batches se destacar:
- Alto desempenho: envie e processe um grande número de inscrições sem atingir os limites de taxa.
- Econômico: Obtenha 50% de desconto no custo da API com ativação em massa.
- Escalabilidade: gerencie operações de big data, desde a medição de conteúdo até a análise de dados, sem se preocupar com limitações de infraestrutura.
- A coleção está sendo processada: envie até 10.000 solicitações por lote, com resultados geralmente prontos em 24 horas.
Limites de coleta
Embora a API Message Batches da Anthropic ofereça robustez impressionante, ela vem com algumas limitações:
- Limite de tamanho do lote: 10.000 solicitações ou 32 MB.
- Tempo de processamento: Até 24 horas.
- As coleções expiram após 29 dias.
- Os limites de taxa se aplicam às solicitações de API, não ao número de solicitações em um lote.
Modelos Suportados
A API Message Batches atualmente funciona com vários modelos Claude:
- Soneto de Cláudio 3.5
- Claude 3 Haiku
- Cláudio 3 Opus
De acordo com a Anthropic, os clientes do Amazon Bedrock já podem acessar a inferência em lote e o suporte para Vertex AI do Google Cloud está chegando. Os desenvolvedores podem integrar solicitações de opinião, mensagens do sistema, vários chats e muito mais. Cada aplicação dentro da pilha é tratada de forma independente, permitindo flexibilidade na combinação de diferentes tipos de operações.
Como funciona a API Message Batches?
Usando a API da Anthropic, os desenvolvedores podem enviar grandes lotes de solicitações para serem processados em paralelo. Isso é ideal para tarefas como análise de grandes conjuntos de dados ou moderação de conteúdo.
- Um pacote foi criado com as solicitações que você forneceu.
- Cada inscrição é processada de forma independente, mas os resultados só ficam disponíveis após a conclusão de todas as tarefas.
- O processo é adequado para tarefas que não exigem resultados imediatos.
Aqui está um código Python que mostra como interagir com a API Message Batches da Anthropic e enviar solicitações em lote para um de seus modelos de IA, Claude 3.5.
import anthropic
client = anthropic.Anthropic()
client.beta.messages.batches.create(
requests=[
{
"custom_id": "my-first-request",
"params": {
"model": "claude-3-5-sonnet-20240620",
"max_tokens": 1024,
"messages": [
{"role": "user", "content": "Hello, world"}
]
}
},
{
"custom_id": "my-second-request",
"params": {
"model": "claude-3-5-sonnet-20240620",
"max_tokens": 1024,
"messages": [
{"role": "user", "content": "Hi again, friend"}
]
}
},
]
)Para cURL e JavaScript, você pode verificar a referência da API da Anthropic aqui.
A conclusão
A API Message Batches da Anthropic é uma virada de jogo para desenvolvedores que gerenciam operações de big data. Ele fornece uma maneira eficiente e econômica de processar solicitações em massa. Elimina o estresse do gerenciamento de grandes operações de dados. Você pode analisar grandes conjuntos de dados ou medir conteúdo. Esta API Anthropic simplifica muitas tarefas, oferecendo a flexibilidade e a escala que você precisa.
Confira Detalhes. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso Mais de 50k ML SubReddit
[Upcoming Event- Oct 17 202] RetrieveX – Conferência de recuperação de dados GenAI (promovida)
Nishant, Gerente de Crescimento de Produto da Marktechpost, é apaixonado por aprender sobre inteligência artificial (IA), o que ela pode fazer e seu desenvolvimento. Sua paixão por experimentar algo novo e dar um toque criativo o ajuda a misturar marketing com tecnologia. Ele ajuda a empresa a liderar em crescimento e reconhecimento de mercado.
