Os modelos básicos surgiram à medida que as tecnologias digitais mudam, introduzindo novas capacidades e riscos que captaram uma atenção pública sem precedentes. No entanto, o atual modelo de ecossistema carece da transparência e dos problemas de transparência enfrentados pelas tecnologias digitais anteriores, como as redes sociais. O Índice de Transparência do Modelo Básico de 2023 revelou que os desenvolvedores seniores obtiveram uma média de apenas 37 em 100 pontos de transparência. Esta ambiguidade apresenta desafios significativos na compreensão e gestão destes poderosos sistemas de IA. À medida que os modelos básicos continuam a desenvolver-se e a influenciar a sociedade, há uma necessidade crescente de processos de transparência padronizados e abrangentes. Os governos de todo o mundo estão a começar a abordar esta questão com várias medidas legislativas e regulamentares, destinadas a exigir relatórios públicos e a aumentar a responsabilização na indústria da IA.
Os esforços existentes para enfrentar os desafios da transparência na IA concentraram-se em grande parte em testes de modelos e estruturas de literatura. Os estudos de caso visam identificar pontos fortes e fracos, mas muitas vezes carecem de um contexto social mais amplo. Os métodos de documentação, como folhas de dados e cartões de modelo, fornecem informações abrangentes, fazendo perguntas abertas sobre a criação de conjuntos de dados, desenvolvimento de modelos e limitações. Os cartões de ecossistema são apresentados especificamente para modelos básicos, enfatizando a importância de rastrear relacionamentos entre conjuntos de dados, modelos e aplicações.
Esses métodos, no entanto, enfrentam limitações de padronização e abrangência. Por exemplo, o cartão modelo Llama 2, embora aborde muitas categorias de alto nível, deixa algumas questões de baixo nível fora da estrutura original do cartão modelo. Além disso, as listas de verificação de reprodutibilidade exigidas pelas conferências de IA tentaram impor certos padrões de apresentação. Apesar destes esforços, o estado atual da divulgação da IA permanece fragmentado e fluido, destacando a necessidade de uma abordagem mais sistemática e holística à transparência fundamental.
Pesquisadores da Universidade de Stanford, do Instituto de Tecnologia de Massachusetts e da Universidade de Princeton propõem Transparência do modelo básico Relatórios, dando uma abordagem sistemática para enfrentar os desafios de transparência na indústria de IA. Esses relatórios foram elaborados para serem publicados periodicamente pelos desenvolvedores do modelo base, fornecendo informações valiosas em formato padronizado. Esta abordagem baseia-se nas recomendações do código de conduta voluntário do G7 e nos compromissos voluntários da Casa Branca, ao mesmo tempo que incorpora os 100 indicadores de transparência definidos no Índice de Transparência do Modelo da Fundação.
O método proposto visa consolidar informações importantes, tornando-as facilmente acessíveis às partes interessadas e facilitando a análise e comparação entre diferentes desenvolvedores. Os relatórios de divulgação vão além das políticas governamentais atuais, especificando um esquema preciso de divulgação de informações, abrangendo toda a cadeia de fornecimento de modelos básicos. Ao usar esses processos de relatório, os desenvolvedores podem estabelecer padrões sólidos de relatório no ecossistema de IA, melhorando potencialmente a compatibilidade entre ambientes e reduzindo a carga geral de conformidade. A metodologia também inclui exemplos de relatórios baseados em informações publicamente disponíveis, estabelecendo um exemplo claro para futuros esforços de transparência na indústria de modelos básicos.
Os Relatórios de Transparência do Modelo Básico são elaborados com base em seis princípios-chave baseados nos pontos fortes e fracos dos relatórios de transparência nas mídias sociais. Esses princípios visam criar uma abordagem abrangente e de alto nível para a transparência na indústria de IA. Os três primeiros princípios baseiam-se no poder das mensagens transparentes nas redes sociais: (1) Integração centralizada de informações, fornecendo às partes interessadas uma fonte única e previsível de dados relevantes. (2) Relatórios estruturados que abordam questões específicas, geralmente organizados em quatro categorias de alto nível, estabelecem expectativas claras para o conteúdo do relatório. (3) Ampla contextualização das informações para garantir a interpretação adequada por diversas partes interessadas com diversos níveis de especialização.
Os três princípios restantes abordam as deficiências das práticas atuais de mídia social: (4) A especificação independente da informação a incluir impede a comunicação seletiva por parte das plataformas. (5) Padronização completa de forma e conteúdo, permitindo fácil comparação e integração de dados em diferentes plataformas. (6) Especificação clara de métodos para realizar cálculos computacionais para evitar interpretações erradas e garantir consistência nos relatórios. Estes princípios visam criar um quadro robusto e racional para a transparência dos modelos subjacentes.
Com base nestes princípios, os Relatórios de Transparência do Modelo da Fundação incluem indicadores retirados do Índice de Transparência do Modelo da Fundação. Esta abordagem garante uma cobertura completa do modelo de base do ecossistema, abordando os vários aspectos da cadeia de abastecimento. Os relatórios são projetados para fornecer informações específicas e padronizadas que permitem comparações significativas entre diferentes fabricantes e modelos.
A estrutura desses relatórios foi cuidadosamente projetada para equilibrar detalhes e acessibilidade. Eles geralmente incluem seções que cobrem áreas-chave como desenvolvimento de modelos, dados de treinamento, arquitetura de modelos, métricas de desempenho e processos de implementação. Cada seção contém indicadores claramente definidos que os desenvolvedores devem relatar, garantindo consistência e comparabilidade.
Para facilitar o uso, a metodologia inclui exemplos de como os desenvolvedores podem relatar informações relacionadas a esses indicadores. Esses exemplos servem como modelos, mostrando o nível de detalhe e formato esperado nos relatórios. Ao fornecer tal orientação, os relatórios do Quadro do Modelo de Transparência visam estabelecer um nível comum de transparência na indústria de IA, facilitando o acesso, interpretação e análise das principais informações sobre os modelos subjacentes às partes interessadas.
Os Relatórios de Transparência do Modelo Básico foram concebidos para se alinharem com as políticas governamentais existentes e emergentes, facilitando a conformidade entre jurisdições. A metodologia acompanha seis políticas principais, incluindo a Lei da UE sobre IA e a Ordem Executiva dos EUA sobre IA, para mapear os indicadores do relatório de acordo com requisitos específicos destas leis.
Esse alinhamento serve a muitos propósitos. Em primeiro lugar, incentiva os criadores do modelo de base a utilizarem um quadro de relatórios transparente, uma vez que a maior parte da informação divulgada também irá satisfazer os requisitos legais. Em segundo lugar, fornece uma imagem clara de como as diferentes autoridades priorizam diferentes aspectos da IA em público, destacando potenciais lacunas ou sobreposições nas abordagens regulamentares.
No entanto, a análise revela um nível relativamente baixo de alinhamento entre as actuais políticas governamentais e o conjunto completo de indicadores propostos nos relatórios de transparência. Esta discrepância sublinha a falta de granularidade em muitos dos requisitos de demonstração de IA do governo. Ao fornecer uma estrutura de relatórios detalhada e padronizada, os Relatórios de Transparência do Modelo Básico visam não apenas atender, mas também exceder os padrões regulatórios atuais, influenciando potencialmente futuros desenvolvimentos políticos no campo da governança de IA.
Para demonstrar a implementação prática dos Relatórios de Transparência do Modelo Básico, os pesquisadores criaram exemplos de introduções com base nas práticas de nove grandes desenvolvedores de modelos. Esta abordagem é necessária devido às atuais práticas de transparência em todo o setor, conforme revelado pelo Índice de Transparência do Modelo Básico de 2023 (FMTI).
Um exemplo de relatório centrou-se em 82 dos 100 indicadores onde pelo menos um promotor demonstrou algum nível de transparência. Para cada indicador, os pesquisadores selecionaram o desenvolvedor cujas ações melhor exemplificam a transparência, resultando em um relatório composto que mostra diferentes melhores práticas em diferentes aspectos do desenvolvimento e implementação do modelo básico.
Esta aplicação revela muitos detalhes importantes:
1. Existem ainda 18 indicadores onde nenhum grande desenvolvedor fornece informações transparentes, especialmente em áreas relacionadas com estatísticas de trabalho e consumo.
2. Mesmo nos 82 indicadores com algum nível de divulgação, existe espaço significativo para melhorias em termos de contexto e clarificação metodológica.
3. A falta de um quadro conceptual comum entre os promotores leva a divergências sobre a forma como a informação é comunicada, especialmente no que diz respeito aos fluxos de dados e ao envolvimento dos recursos humanos.
4. Em muitas referências, não está claro se a informação divulgada é completa ou parcial.
Estas descobertas enfatizam a necessidade de práticas de modelagem abrangentes e de alta qualidade no modelo de base do ecossistema, destacando áreas onde os desenvolvedores podem estabelecer precedentes significativos e melhorar seus métodos de relatório.
A transparência no desenvolvimento do modelo básico desempenha muitas funções importantes, desde a melhoria da responsabilização pública até à melhoria da gestão de riscos. À medida que a indústria evolui, o estabelecimento de normas e padrões industriais fortes para a transparência torna-se cada vez mais importante. Diferentes aspectos da transparência atendem a objetivos públicos e grupos de partes interessadas específicos. A transparência nos dados, processos de pessoal, computação, avaliação e estatísticas de utilização informam diretamente a compreensão dos preconceitos do modelo, das condições da força de trabalho, dos custos de desenvolvimento, das capacidades, dos riscos e do impacto económico. Ao promover uma cultura de abertura, a comunidade de IA pode enfrentar coletivamente os desafios, aprimorar a compreensão e, em última análise, melhorar o impacto social dos modelos subjacentes.
Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal..
Não se esqueça de participar do nosso SubReddit de 52k + ML
Asjad é consultor estagiário na Marktechpost. Ele está cursando B.Tech em engenharia mecânica no Instituto Indiano de Tecnologia, Kharagpur. Asjad é um entusiasta do aprendizado de máquina e do aprendizado profundo que pesquisa regularmente a aplicação do aprendizado de máquina na área da saúde.
