Os modelos de redes neurais profundas que alimentam os atuais aplicativos de aprendizado de máquina tornaram-se tão grandes e complexos que ultrapassam os limites do hardware de computação eletrônica convencional.
O hardware gráfico, que pode realizar cálculos de aprendizado de máquina com luz, oferece uma alternativa mais rápida e com maior eficiência energética. No entanto, existem certos tipos de cálculos de redes neurais que um dispositivo fotônico não pode realizar, exigindo o uso de componentes eletrônicos fora do chip ou outras técnicas que prejudicam a velocidade e a eficiência.
Com base em uma década de pesquisa, cientistas do MIT e de outros lugares desenvolveram um novo chip fotônico que supera esses obstáculos. Eles demonstraram um processador gráfico totalmente integrado que pode realizar todos os cálculos críticos de uma rede neural profunda visualmente em um chip.
O dispositivo óptico foi capaz de completar os principais cálculos de uma tarefa de classificação de aprendizado de máquina em menos de meio nanossegundo, ao mesmo tempo em que alcançou uma precisão de mais de 92% – um desempenho comparável ao hardware de computação convencional.
O chip, formado por módulos interligados que formam uma rede neural óptica, é feito por meio de processos de fundição comercial, o que pode permitir o escalonamento da tecnologia e sua integração à eletrônica.
Com o tempo, o processador fotônico poderá levar a um aprendizado profundo mais rápido e com maior eficiência energética em aplicações computacionalmente exigentes, como lidar, pesquisa científica em astronomia e física de partículas ou comunicações de alta velocidade.
“Há muitas situações em que o desempenho do modelo não é o único fator importante, mas a rapidez com que você pode obter feedback. “Agora que temos um sistema ponta a ponta que pode usar redes neurais em óptica, na escala de nanossegundos, podemos começar a pensar em um nível mais alto sobre aplicações e algoritmos”, disse Saumil Bandyopadhyay '17, MEng '18, PhD. 23, cientista visitante do Quantum Photonics and AI Group do Research Laboratory of Electronics (RLE) e pós-doutorado na NTT Research, Inc., quem é o principal autor do artigo sobre o novo chip.
Bandyopadhyay foi coautor no artigo de Alexander Sludds '18, MEng '19, PhD '23; Nicholas Harris PhD '17; Dariyu Bunandar PhD '19; Stefan Krastanov, ex-cientista pesquisador da RLE que agora é professor assistente na Universidade de Massachusetts em Amherst; Ryan Hamerly, cientista visitante da RLE e cientista sênior da NTT Research; Matthew Streshinsky, ex-líder de fotônica de silício da Nokia e agora fundador e CEO da Enosemi; Michael Hochberg, presidente da Periplous, LLC; e Dirk Englund, professor do Departamento de Engenharia Elétrica e Ciência da Computação, investigador principal do Grupo de Fotônica Quântica e Inteligência Artificial e RLE, e autor sênior do artigo. O estudo aparece hoje em Fotônica da Natureza.
Aprendizado de máquina com luz
As redes neurais profundas são compostas de muitas camadas interconectadas de nós, ou neurônios, que operam com base em dados de entrada para produzir uma saída. Uma operação chave em uma rede neural profunda envolve o uso de álgebra linear para realizar a multiplicação de matrizes, que transforma os dados à medida que são passados de camada para camada.
Mas, além dessa operação linear, as redes neurais profundas realizam operações não lineares que ajudam o modelo a aprender padrões complexos. Funções indiretas, como funções de ativação, dão às redes neurais profundas a capacidade de resolver problemas complexos.
Em 2017, o grupo de Englund, juntamente com pesquisadores do laboratório de Marin Soljačić, Cecil e Ida Green, professor de física, demonstraram uma rede neural óptica em um único chip fotônico que pode realizar a multiplicação de matrizes com luz.
Mas naquela época o dispositivo não conseguia executar funções que não fossem específicas do chip. Os dados ópticos tiveram que ser convertidos em sinais elétricos e enviados a um processador digital para realizar operações indiretas.
“A óptica é muito desafiadora porque os fótons não colidem facilmente. “Isso torna o acionamento de dispositivos não ópticos muito intensivo em energia, por isso é um desafio construir um sistema que possa fazer isso com segurança”, explica Bandyopadhyay.
Eles superaram esse desafio projetando dispositivos chamados unidades de função óptica não linear (NOFUs), que combinam eletrônica e óptica para executar funções não lineares em um chip.
Os pesquisadores construíram uma rede neural óptica profunda em um chip fotônico usando três camadas de dispositivos que executam funções diretas e indiretas.
Uma rede totalmente integrada
Inicialmente, seu sistema codifica os parâmetros de uma rede neural profunda em luz. Em seguida, um conjunto de divisores de feixe programáveis, mostrado em um artigo de 2017, realiza a multiplicação de matrizes nessa entrada.
Os dados então passam para NOFUs programáveis, que operam indiretamente emitindo uma pequena quantidade de luz de fotodiodos que convertem sinais de luz em corrente elétrica. Este processo, que elimina a necessidade de amplificador externo, consome muito pouca energia.
“Ficamos na zona óptica o tempo todo, até o final, quando queremos saber a resposta. Isso nos permite atingir uma latência muito baixa”, disse Bandyopadhyay.
Alcançar uma latência tão baixa permitiu-lhes treinar com eficácia uma rede neural profunda em um chip, um processo conhecido como in situ. treinamento que geralmente usa uma grande quantidade de energia em hardware digital.
“Isso é particularmente útil para sistemas onde você faz processamento de sinais ópticos no domínio, como navegação ou telecomunicações, mas também para aplicações onde você deseja estudá-los em tempo real”, diz ele.
O sistema gráfico alcançou mais de 96% de precisão durante os testes de treinamento e mais de 92% de precisão durante a previsão, o que é comparável ao hardware convencional. Além disso, o chip realiza cálculos importantes em menos de meio nanossegundo.
“Este trabalho mostra que o computador – na verdade, o registro de entrada e saída – pode ser combinado em um novo design de física linear e não linear que permite uma lei de escala de computação muito diferente versus esforço necessário”, disse Englund.
Todo o circuito é feito utilizando a mesma infraestrutura e processos de fabricação que produzem chips de computador CMOS. Isso pode permitir que o chip seja produzido em escala, usando técnicas testadas e comprovadas que introduzem muito poucos erros no processo de fabricação.
Ampliar seu dispositivo e integrá-lo com eletrônicos do mundo real, como câmeras ou sistemas de comunicação, será o foco principal do trabalho futuro, disse Bandyopadhyay. Além disso, os pesquisadores querem testar algoritmos que possam aproveitar as vantagens da óptica para treinar sistemas de forma mais rápida e eficiente.
Esta pesquisa foi financiada, em parte, pela Fundação Nacional de Ciência dos EUA, pelo Escritório de Pesquisa Científica da Força Aérea dos EUA e pela NTT Research.
