Capítulo 83 – Liquid Neural Network – Rede Neural Líquida

A partir deste capítulo vamos estudar algumas arquiteturas de Deep Learning bem modernas e recentes que começam a ganhar destaque à medida que a Inteligência Artificial evolui. Muitas dessas arquiteturas são variações das arquiteturas estudada ao longo deste livro. Vale ressaltar, que boa parte do que vimos neste livro surgiu ou evoluiu nos últimos 5 anos. Ou seja, estamos fazendo parte dessa história. Isso não é formidável?

Vejamos o que são as Liquid Neural Networks e como elas podem revolucionar o diagnóstico médico e a direção autônoma de veículos.

Os pesquisadores do MIT desenvolveram um tipo de rede neural que aprende on-the-fly, não apenas durante sua fase de treinamento. Esses algoritmos flexíveis, chamados de redes neurais “líquidas”, mudam suas equações para se adaptar continuamente a novas entradas de dados. O avanço pode ajudar na tomada de decisões com base em fluxos de dados que mudam com o tempo, incluindo aqueles envolvidos no diagnóstico médico e na direção autônoma de veículos.

“Este é um caminho a seguir para o futuro do controle de robôs, processamento de linguagem natural, processamento de vídeo e qualquer forma de processamento de dados de série temporal”, diz Ramin Hasani, o principal autor do estudo. “O potencial é realmente significativo”.

A pesquisa será apresentada na Conferência AAAI sobre Inteligência Artificial em Fevereiro/2021. Além de Hasani, um pós-doutorado no Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL), os co-autores do MIT incluem Daniela Rus, diretora do CSAIL e o Professor Andrew e Erna Viterbi de Engenharia Elétrica e Ciência da Computação e aluno de PhD Alexander Amini. Outros co-autores incluem Mathias Lechner do Instituto de Ciência e Tecnologia da Áustria e Radu Grosu da Universidade de Tecnologia de Viena.

Os dados de séries temporais são onipresentes e vitais para nossa compreensão do mundo, de acordo com Hasani. “O mundo real tem tudo a ver com sequências. Mesmo nossa percepção – você não está percebendo imagens, está percebendo sequências de imagens”, diz ele. “Portanto, os dados de série temporal realmente criam nossa realidade.”

Ele aponta os aplicativos de processamento de vídeo, dados financeiros e diagnósticos médicos como exemplos de séries temporais fundamentais para a sociedade. As vicissitudes desses fluxos de dados em constante mudança podem ser imprevisíveis. Ainda assim, analisar esses dados em tempo real e usá-los para antecipar comportamento futuro, pode impulsionar o desenvolvimento de tecnologias emergentes, como carros autônomos. Então, Hasani construiu um algoritmo adequado para a tarefa.

Caso queira aprender a aplicar modelos de Machine Learning a fluxos de dados em tempo real, mostramos isso em detalhes no curso Big Data Real-Time Analytics com Python e Spark.

Hasani projetou uma rede neural que pode se adaptar à variabilidade dos sistemas do mundo real. Redes neurais são algoritmos que reconhecem padrões por meio da análise de um conjunto de exemplos de “treinamento”. Costuma-se dizer que elas imitam as vias de processamento do cérebro – definiu Hasani. “Uma rede neural artificial pode ter apenas 302 neurônios em seu sistema nervoso”, diz ele, “mas pode gerar uma dinâmica inesperadamente complexa.”

Hasani codificou sua rede neural com atenção especial ao comportamento dos neurônios que se ativam e se comunicam entre si por meio de impulsos elétricos. Nas equações que usou para estruturar sua rede neural, ele permitiu que os parâmetros mudassem ao longo do tempo com base nos resultados de um conjunto de equações diferenciais.

Essa flexibilidade é fundamental. O comportamento da maioria das redes neurais é corrigido após a fase de treinamento, o que significa que não conseguem se ajustar às mudanças no fluxo de dados de entrada. Hasani diz que a fluidez de sua rede “líquida” a torna mais resistente a imprevistos ou dados barulhentos, como se a chuva forte obscurecesse a visão de uma câmera em um carro que dirige sozinho. “Portanto, é mais robusto”, diz ele.

Há outra vantagem da flexibilidade da rede, ele acrescenta: “É mais interpretável”.

Hasani diz que sua rede líquida contorna a inescrutabilidade comum a outras redes neurais. “Apenas mudando a representação de um neurônio”, o que Hasani fez com as equações diferenciais, “você pode realmente explorar alguns graus de complexidade que não poderia explorar de outra forma.” Para o pequeno número de neurônios altamente expressivos de Hasani, é mais fácil examinar a “caixa preta” da tomada de decisão da rede e diagnosticar por que a rede fez uma certa caracterização.

“O modelo em si é mais rico em termos de expressividade”, diz Hasani. Isso pode ajudar os engenheiros a entender e melhorar o desempenho da rede.

A rede de Hasani se destacou em uma bateria de testes. Ela superou outros algoritmos de série temporal de última geração em alguns pontos percentuais ao prever com precisão valores futuros em conjuntos de dados, que vão desde a química atmosférica até os padrões de tráfego. “Em muitas aplicações vemos que o desempenho é confiavelmente alto “, diz ele. Além disso, o pequeno tamanho da rede significava permitiu que os testes fossem concluídos sem um alto custo de computação. “Todo mundo fala em aumentar a escala de sua rede”, diz Hasani. “Queremos diminuir, ter menos nós, porém mais ricos.”

Hasani planeja continuar melhorando o sistema e prepará-lo para aplicação industrial. “Temos uma rede neural comprovadamente mais expressiva, inspirada na natureza. Mas este é apenas o começo do processo”, diz ele. “A questão óbvia é como fazer para estender isso? Achamos que este tipo de rede poderia ser um elemento-chave dos sistemas de inteligência futuros.”

Esta pesquisa foi financiada, em parte, pela Boeing, a National Science Foundation, o Austrian Science Fund e Electronic Components and Systems for European Leadership.

No próximo capítulo estudamos um pouco mais essa arquitetura. Até lá.

Referências:

Why is ‘Liquid’ Neural Network From MIT a Revolutionary Innovation?

“Liquid” machine-learning system adapts to changing conditions