Aprender através da imitação (IL) é uma das maneiras de robôs onde os robôs são treinados para imitar ações humanas com base em demonstrações de especialistas. Esta abordagem depende de aprendizado de máquina supervisionado e requer dados significativos gerados por humanos para orientar o comportamento do robô. Embora eficaz para tarefas complexas, a aprendizagem por simulação é limitada pela falta de grandes conjuntos de dados e pelos desafios na recolha de dados, ao contrário dos modelos linguísticos e conceptuais. Aprender com monitores de vídeo humanos enfrenta grandes desafios porque os robôs não conseguem igualar a sensibilidade e a flexibilidade das mãos humanas. Essas diferenças tornam difícil aprender como simular ou otimizar com eficácia as tarefas padrão do robô.
A aprendizagem tradicional baseada em simulação (IL) depende de robôs operados por humanos, que têm sido eficazes, mas enfrentam limitações significativas. Esses sistemas são baseados em teleoperação com luvas, captura de movimento e RV dispositivos e contam com uma configuração complexa e um loop de controle de baixa latência. Eles também dependiam de robôs portáteis e hardware para fins especiais, que eram difíceis de escalar. Embora os robôs possam realizar tarefas como instalar baterias ou amarrar cadarços usando dados especializados coletados por esses métodos, a necessidade de equipamentos especializados torna tais métodos impraticáveis para uso rotineiro ou em larga escala.
Para resolver isso, um grupo de pesquisadores da Apple e da Universidade do Colorado Boulder propôs que A ARMADA sistema, que inclui i Apple Visão Pro Um headset com controle externo de robô usando uma combinação de ROS e WebSockets. Esta configuração permite a comunicação entre dispositivos, onde o sistema pode ser plug-and-play e é adaptável a plataformas robóticas, como Frank de novo UR5apenas por substituição 3D arquivos de modelo e formatação de dados de fone de ouvido. EU A ARMADA um aplicativo que gerencia a visão, o armazenamento de dados e a interface do usuário do robô, detecta quadros de transição de coordenadas do robô, captura quadros de imagem de câmeras e rastreia dados de ossos humanos para processamento. O nó do robô lida com controle, armazenamento de dados e cálculos de blocos, convertendo dados do esqueleto em comandos do robô e detectando violações do espaço de trabalho, singularidades e problemas de velocidade para feedback em tempo real.
O movimento do robô foi acompanhado pela posição do pulso e dos dedos humanos e foi rastreado ARKit No meio visão 2.0, usa cinemática inversa para calcular as posições das articulações e controlar a pinça com base no espaçamento dos dedos. Restrições como singularidades, limitações do espaço de trabalho e violações de velocidade foram reconhecidas por meio de alterações de cor, limites visuais ou texto na tela. Os pesquisadores usaram o sistema ARMADA para realizar três tarefas: retirar um lenço de papel de uma caixa, colocar um brinquedo em uma caixa de papelão e limpar a mesa com as duas mãos. Cada tarefa tinha cinco estados iniciais e o sucesso era baseado em determinados critérios. Usando o Apple Vision Pro com software ARMADA habilitado visãoOS 2.0, os participantes recebem 45 mostra sob três condições de resposta: Sem resposta, A respostade novo Enviar comentários. Os movimentos do pulso e dos dedos são rastreados em tempo real usando ARKite os movimentos do robô foram controlados por meio de cinemática inversa, com trajetórias articulares registradas para reprodução.
Após análise, os resultados mostraram que a visualização do feedback melhorou significativamente as taxas de sucesso em tarefas como esta. Selecione tecidos, Organizarde novo Transparente bimanualcom benefícios de até 85% em comparação com nenhuma resposta. As demonstrações pós-feedback também mostraram melhorias, mas foram menos eficazes do que o feedback em tempo real. Os participantes consideraram o feedback preciso e útil para a compreensão dos movimentos do robô, e o sistema funcionou bem para usuários com diversos níveis de experiência. Os modos de falha comuns fora do feedback incluem problemas pouco claros de posicionamento e manuseio do robô. Os participantes ajustaram seu comportamento durante os protestos, diminuindo a velocidade e mudando a posição das mãos, e puderam visualizar a resposta após removê-la.
Em suma, o que é proposto A ARMADA O sistema abordou o desafio da coleta rápida de dados para aprendizado de simulação de robôs usando realidade aumentada para feedback em tempo real para melhorar a qualidade dos dados e a compatibilidade com robôs físicos. Os resultados mostraram a importância do feedback para orientar demonstrações livres de robôs e cinemática de robôs reais. Embora a pesquisa tenha se concentrado em tarefas simples, pesquisas futuras poderão examinar tarefas mais complexas e refinar as estratégias. Este sistema pode servir de base para futuras pesquisas em robótica, especialmente no treinamento de políticas de controle de robôs por meio de aprendizagem por simulação visual.
Confira eu Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Não se esqueça de participar do nosso SubReddit de 60k + ML.
🚨 Tendências: LG AI Research Release EXAONE 3.5: Modelos de três níveis de IA bilíngue de código aberto oferecem seguimento de comando incomparável e insights profundos de conteúdo Liderança global em excelência em IA generativa….
Divyesh é estagiário de consultoria na Marktechpost. Ele está cursando BTech em Engenharia Agrícola e Alimentar pelo Instituto Indiano de Tecnologia, Kharagpur. Ele é um entusiasta de Ciência de Dados e Aprendizado de Máquina que deseja integrar essas tecnologias avançadas no domínio agrícola e resolver desafios.
🧵🧵 [Download] Avaliação do relatório do modelo de risco linguístico principal (ampliado)
