Pesquisadores de Stanford propõem 'POSR': uma estrutura de IA exclusiva para analisar conversas acadêmicas usando classificação e recuperação conjuntas

O planeamento eficaz das aulas continua a ser um desafio importante em ambientes educativos, especialmente quando as discussões e as sessões de ensino precisam de abordar tópicos pré-definidos ou problemas de fichas de trabalho. Os professores enfrentam a difícil tarefa de alocar tempo de forma adequada para diferentes problemas e, ao mesmo tempo, atender às diversas necessidades de aprendizagem dos alunos. Este desafio é particularmente importante para professores iniciantes e responsáveis ​​por grandes grupos de alunos, que muitas vezes têm dificuldades com a gestão do tempo e o planeamento das aulas. Embora os dados baseados em evidências na concepção curricular possam fornecer feedback valioso para professores, plataformas educativas e criadores de currículos, a obtenção de tais dados em grande escala apresenta dificuldades significativas. A análise da estrutura da conversação sobre objetos de referência envolve dois desafios diferentes para o processamento da linguagem natural: segmentação da fala e recuperação de informação, cada um dos quais apresenta uma complexidade diferente quando aplicado a conversas educacionais onde os métodos de ensino variam de acordo com as necessidades dos alunos.

Abordagens anteriores à análise conversacional concentraram-se principalmente na segmentação do discurso como uma etapa de pré-processamento para tarefas de recuperação ou resumo. Os métodos tradicionais classificam as conversas com base em diferentes critérios, como atos de fala, tópicos ou categorias de discussão, dependendo do contexto. Quando utilizadas em contextos educativos, particularmente em secções de discussões matemáticas orientadas para problemas, estas abordagens padrão enfrentam limitações significativas. Os métodos convencionais de classificação operam sob o pressuposto de que as conversas seguem padrões e estruturas previsíveis, que se revelam inadequadas para a natureza diversificada e flexível das conversas educativas. Além disso, a recuperação de informação matemática apresenta desafios únicos devido à complexidade de representar expressões matemáticas no seu contexto adequado. A natureza única do discurso matemático, combinada com a estrutura dinâmica do discurso educativo, realça a inadequação dos métodos existentes para analisar e recuperar eficazmente componentes orientados para problemas das práticas de ensino da matemática.

Pesquisadores da Universidade de Stanford apresentaram este Classificação e Recuperação Orientada a Problemas (POSR) frame, um método único que gerencia simultaneamente a segmentação do diálogo e conecta essas partes ao material de referência correspondente. Esta abordagem integrada distingue-se dos métodos tradicionais por utilizar artigos de referência bem conhecidos para orientar tanto os processos de classificação como de recuperação, especialmente em contextos educativos. A eficácia do quadro é demonstrada através do LessonLink, um conjunto de dados abrangente concebido para analisar sessões de ensino de matemática. O LessonLink inclui 3.500 segmentos retirados de conversas de ensino do mundo real, incluindo 116 problemas de matemática SAT® em mais de 24.300 minutos de instrução. Cada entrevista de 1,5 horas no conjunto de dados é cuidadosamente segmentada e mapeada para problemas matemáticos específicos, criando a primeira coleção que inclui entrevistas e planilhas naturalmente estruturadas.

A estrutura POSR utiliza uma nova abordagem algorítmica que combina processos de classificação e recuperação para analisar textos conversacionais de forma mais eficaz. O programa funciona em um processo de duas etapas: primeiro, categoriza a transcrição da conversa considerando os materiais de referência disponíveis (ao contrário dos métodos convencionais que categorizam fora desse contexto) e, segundo, encontra tópicos ou questões relevantes para cada segmento identificado. Essa abordagem combinada permite melhor precisão de segmentação ao estar ciente dos possíveis tópicos de recuperação e, ao mesmo tempo, melhorar a precisão de recuperação com segmentos mais bem definidos. Quando aplicada ao conjunto de dados LessonLink, a estrutura processa extensas conversas de ensino, lida com informações de 1.300 palestrantes únicos e estabelece conexões com 116 problemas matemáticos. O design do algoritmo mostra uma melhoria significativa em relação aos métodos tradicionais, mantendo a consciência do contexto ao longo das etapas de classificação e recuperação, levando a uma análise mais precisa e significativa das conversas educacionais.

Os resultados experimentais mostram o desempenho superior dos métodos POSR em comparação com os métodos independentes padrão de classificação e recuperação. O POSR Opus e o POSR GPT4 alcançaram maior precisão nas métricas Line-SRS e Time-SRS em comparação com suas contrapartes independentes e métodos independentes combinados, como Opus+TFIDF. Além disso, o POSR Opus mostrou melhorias significativas em relação aos métodos convencionais de classificação de assuntos e estágios, reduzindo as taxas de erro em aproximadamente 57% nas métricas Pk e WindowDiff. A relação custo-benefício da estrutura é particularmente notável, com métodos POSR exigindo apenas US$ 11 a US$ 21 por 100 transcrições, em comparação com US$ 54 para métodos integrados autônomos, como Opus+GPT4. A ineficácia dos métodos de classificação ao nível das palavras (top-10 e top-20) destacou a necessidade de métodos de análise mais sofisticados. As métricas baseadas no tempo e nas linhas mostraram forte correlação entre todos os métodos, embora as métricas ponderadas no tempo tenham se mostrado úteis no melhor tratamento de erros de segmentos longos, com o Time-Pk mostrando taxas de erro mais baixas do que o Line-Pk para casos supersegmentados.

A introdução de Classificação e Recuperação Orientada a Problemas (POSR) marca um desenvolvimento importante na análise do discurso acadêmico, especialmente por meio de seu método combinado de operações de classificação e recuperação. A eficácia da estrutura é validada com o conjunto de dados LessonLink, que fornece insights sem precedentes sobre sessões de ensino do mundo real. Embora os métodos POSR baseados em LLM apresentem alto desempenho em métricas de precisão, seus altos custos operacionais destacam a necessidade de soluções mais caras. O sucesso do quadro na análise de estratégias de ensino e quadros de discussão estabelece o POSR como uma ferramenta importante para compreender e melhorar as discussões educacionais.

Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.

[FREE AI WEBINAR] Usando processamento inteligente de documentos e GenAI em serviços financeiros e transações imobiliárias– Da estrutura à produção

Asjad é consultor estagiário na Marktechpost. Ele está cursando B.Tech em engenharia mecânica no Instituto Indiano de Tecnologia, Kharagpur. Asjad é um entusiasta do aprendizado de máquina e do aprendizado profundo que pesquisa regularmente a aplicação do aprendizado de máquina na área da saúde.