Capítulos - Página 2 de 4 - Deep Learning Book

Capítulo 90 – Como Funcionam os Transformadores em Processamento de Linguagem Natural – Parte 5

Vamos prosseguir estudando os transformadores. Este capítulo considera que você leu os capítulos anteriores. Vamos começar esta capítulo com um resumo do Transformer. Para processar uma frase, precisamos destes 3 passos: 1- Embeddings de palavras da sentença de entrada são computados simultaneamente. 2- Codificações posicionais são então aplicadas a cada Embeddings, resultando em vetores de palavras …

Capítulo 89 – Como Funcionam os Transformadores em Processamento de Linguagem Natural – Parte 4

Vamos prosseguir estudando os transformadores. Este capítulo considera que você leu os capítulos anteriores. Conexões Residuais de Salto Curto Na linguagem, existe uma noção significativa de uma compreensão mais ampla do mundo e de nossa capacidade de combinar ideias. Os humanos utilizam amplamente essas influências de cima para baixo (nossas expectativas) para combinar palavras em …

Capítulo 88 – Como Funcionam os Transformadores em Processamento de Linguagem Natural – Parte 3

Vamos seguir nossa discussão sobre os Transformadores com a parte mais importante, a Auto-Atenção. Este capítulo considera que você leu os capítulos anteriores. Auto-Atenção: O Encoder do Transformer O que é Auto-Atenção? “A Auto-Atenção, às vezes chamada de Intra-Atenção, é um mecanismo de atenção que relaciona diferentes posições de uma única sequência para computar uma …

Capítulo 87 – Como Funcionam os Transformadores em Processamento de Linguagem Natural – Parte 2

Vamos seguir com a continuação do capítulo anterior. Este capítulo fornece algumas informações básicas necessárias para compreender o conceito por trás da autoatenção que veremos no capítulo seguinte. Atenção Baseada em Recursos: Chave, Valor e Consulta Os conceitos de consulta de chave-valor vêm de sistemas de recuperação de informações. É extremamente útil esclarecer esses conceitos …

Capítulo 86 – Como Funcionam os Transformadores em Processamento de Linguagem Natural – Parte 1

A partir de agora e nos próximos capítulos vamos compreender o funcionamento dos Transformadores, uma das técnicas mais avançadas da atualidade em Inteligência Artificial, especialmente no Processamento de Linguagem Natural. Os Transformadores não são tão difíceis de entender. É a combinação de todos os conceitos que pode tornar a compreensão complexa, incluindo a atenção. É …

Capítulo 85 – Transformadores – O Estado da Arte em Processamento de Linguagem Natural

Transformadores (Transformers) representam uma arquitetura de Deep Learning que visa resolver tarefas sequence-to-sequence enquanto lida com dependências de longo alcance com facilidade. Esse não é um conceito fácil de compreender, mas ajudaremos você! Vamos iniciar agora uma sequência de capítulos baseados no artigo: Attention is All You Need (Atenção é tudo que você precisa). E …

Capítulo 84 – CLIP (Contrastive Language Image Pre-training): Conectando Texto e Imagens

O ano de 2021 começou com um estrondo! A OpenAI lançou duas grandes inovações no campo da Visão Computacional: CLIP e DALL-E. A rede CLIP tem uma abordagem realmente interessante e possivelmente revolucionária para tarefas de classificação de imagens usando o pré-treinamento contrastante para realizar o aprendizado zero-shot semelhante ao do GPT-3, que abordamos em …

Capítulo 83 – Liquid Neural Network – Rede Neural Líquida

A partir deste capítulo vamos estudar algumas arquiteturas de Deep Learning bem modernas e recentes que começam a ganhar destaque à medida que a Inteligência Artificial evolui. Muitas dessas arquiteturas são variações das arquiteturas estudada ao longo deste livro. Vale ressaltar, que boa parte do que vimos neste livro surgiu ou evoluiu nos últimos 5 …

Capítulo 82 – GPT-3 – Características e Limitações

Em sua busca para construir modelos de linguagem muito fortes e poderosos que não precisariam de nenhum ajuste fino e apenas de algumas demonstrações para entender as tarefas e executá-las, a Open AI construiu o modelo GPT-3 com 175 bilhões de parâmetros. Este modelo tem 10 vezes mais parâmetros do que o poderoso modelo de …

Capítulo 81 – Modelos de Linguagem Como Tarefas Não Supervisionadas (GPT-2)

Vamos seguir estudando o modelo GPT, agora com a sua segunda versão. Estamos considerando que você leu o capítulo anterior. Os desenvolvimentos no modelo GPT-2 foram principalmente em termos de usar um conjunto de dados maior e adicionar mais parâmetros ao modelo para aprender um modelo de linguagem ainda mais forte. Vejamos os desenvolvimentos significativos …

Capítulo 80 – Melhorando a Compreensão da Linguagem Por Meio do Pré-treinamento Generativo (GPT-1)

Para compreender o GPT-3, seu estado atual e seu uso futuro, é importante dar alguns passos atrás e compreender os modelos predecessores, o GPT-1 e o GPT-2. Começamos pela versão 1. Aqui está o paper original do modelo GPT-1: Improving Language Understanding by Generative Pre-Training. Antes dos modelos GPT, a maioria dos modelos de Processamento …

Capítulo 79 – Conhecendo o Modelo GPT-3 (Generative Pre-trained Transformer)

Os modelos Generative Pre-Training Transformer (GPT) da OpenAI conquistaram a comunidade de Processamento de Linguagem Natural (PLN) com a introdução de modelos de linguagem muito poderosos. Esses modelos podem realizar várias tarefas de PLN, como responder a perguntas, vinculação textual, resumo de texto, etc., sem nenhum treinamento supervisionado. Esses modelos de linguagem precisam de muito …

Capítulo 78 – Modelo BERT – Previsão da Próxima Frase

Vamos complementar o capítulo anterior e compreender alguns detalhes do funcionamento do BERT para Processamento de Linguagem Natural. Antes de alimentar as sequências de palavras no BERT, 15% das palavras em cada sequência são substituídas por um token [MASK]. O modelo então tenta prever o valor original das palavras mascaradas, com base no contexto fornecido …

Capítulo 77 – Modelo BERT Para Processamento de Linguagem Natural

BERT (Bidirectional Encoder Representations from Transformers) é um modelo de Deep Learning criado por pesquisadores do Google AI Language. O BERT causou um rebuliço na comunidade de aprendizado de máquina ao apresentar resultados de última geração em uma ampla variedade de tarefas de PLN (Processamento de Linguagem Natural), incluindo respostas automáticas ao banco de dados …

Capítulo 76 – O Que é BERT (Bidirectional Encoder Representations from Transformers)?

BERT (Bidirectional Encoder Representations from Transformers) é o algoritmo de aprendizado profundo (Deep Learning) do Google para PLN (Processamento de Linguagem Natural). Ajuda computadores e máquinas a entender a linguagem como nós, humanos, fazemos. Simplificando, o BERT pode ajudar o Google a entender melhor o significado das palavras nas consultas no mecanismo de busca. Por …

Capítulo 75 – Inteligência Artificial Para Jogar Blackjack – Parte 5

Vamos trabalhar na Parte 5 do Projeto para treinar, avaliar e concluir nosso agente inteligente. Clique na imagem abaixo para acessar o Jupyter Notebook com o código completo. O Jupyter Notebook está em modo de somente leitura, pois está na conta da DSA. Para executar na sua conta, clique no menu File e salve uma …

Capítulo 74 – Inteligência Artificial Para Jogar Blackjack – Parte 4

Vamos trabalhar na Parte 4 do Projeto e implementar a lógica de treinamento do nosso agente inteligente. Clique na imagem abaixo para acessar o Jupyter Notebook com o código completo. O Jupyter Notebook está em modo de somente leitura, pois está na conta da DSA. Para executar na sua conta, clique no menu File e …

Capítulo 73 – Inteligência Artificial Para Jogar Blackjack – Parte 3

Vamos trabalhar na Parte 3 do Projeto e implementar a memória do nosso agente inteligente. Clique na imagem abaixo para acessar o Jupyter Notebook com o código completo. O Jupyter Notebook está em modo de somente leitura, pois está na conta da DSA. Para executar na sua conta, clique no menu File e salve uma …

Capítulo 72 – Inteligência Artificial Para Jogar Blackjack – Parte 2

Vamos trabalhar na Parte 2 do nosso Projeto e construir o modelo Modelo Deep Q Network. Mas não faremos “apenas” isso. Vamos criar um Plot para visualizar as jogadas do Agente Baseado em IA ao jogar Blackjack. Clique na imagem abaixo para acessar o Jupyter Notebook com o código completo. O Jupyter Notebook está em …

Capítulo 71 – Inteligência Artificial Para Jogar Blackjack – Parte 1

Aprender é um dos prazeres da vida. Aprender se divertindo é melhor ainda, não acha? A partir deste capítulo e durante os próximos vamos trabalhar em um projeto completo para estudar o Aprendizado Por Reforço na prática, especificamente a Deep Q-Network. Criaremos um Agente baseado em Inteligência Artificial para jogar Blackjack. Eu sei que é …

Capítulo 70 – Deep Q-Network e Processos de Decisão de Markov

Nos capítulos anteriores estudamos os fundamentos do Aprendizado Por Reforço. Agora podemos subir mais alguns degraus e estudar uma evolução dessa fascinante técnica de aprendizado de máquina que une Deep Learning e Aprendizado Por Reforço: Deep Q-Network. Acompanhe a leitura com atenção e na próxima aula traremos uma aplicação prática desse modelo de aprendizagem profunda. …

Capítulo 69 – Treinando Um Agente Baseado em IA Para Jogar Box no Atari Usando Linguagem Python

Esta aula considera que você possui conhecimento em Linguagem Python. Se esse não for o caso, acesse nosso curso gratuito e comece aprender agora mesmo: Python Fundamentos Para Análise de Dados. Consideramos ainda que você já estudou os capítulos anteriores do Deep Learning Book. Nesta aula vamos desenvolver um agente inteligente em Python usando o …

Capítulo 68 – Algoritmo de Agente Baseado em IA com Reinforcement Learning – Q-Learning

O Q-learning é um algoritmo de Aprendizado Por Reforço que busca encontrar a melhor ação a ser tomada, dado o estado atual. É considerado off-policy porque a função q-learning aprende com ações que estão fora da política atual, como executar ações aleatórias. Mais especificamente, o q-learning busca aprender uma política que maximize a recompensa total. …

Capítulo 67 – Algoritmo de Agente Baseado em IA com Reinforcement Learning – Parte 2

Vamos continuar nosso estudo sobre o Algoritmo de Agente Baseado em IA com Reinforcement Learning e compreender mais alguns detalhes importantes. Aprendizado por Reforço (Reinforcement Learning) refere-se a um tipo de método de Aprendizado de Máquina (Machine Learning) no qual o agente recebe uma recompensa atrasada na próxima etapa para avaliar sua ação anterior. Recentemente, …

Capítulo 66 – Algoritmo de Agente Baseado em IA com Reinforcement Learning – Parte 1

O Aprendizado por Reforço (Reinforcement Learning) é uma abordagem computacional para entender e automatizar aprendizado direcionado e tomada de decisão. Distingue-se de outras abordagens por sua ênfase na aprendizagem de um agente a partir da interação direta com seu ambiente, sem exigir supervisão ou modelos completos do ambiente. Em nossa opinião, a Aprendizado por Reforço …

Capítulo 65 – Distribuições de Probabilidade, Redes Neurais e Reinforcement Learning

Nos capítulos anteriores estudamos os conceitos gerais ligados ao Aprendizado Por Reforço (Reinforcement Learning). A partir de agora vamos entrar nos detalhes mais técnicos ligados a este importante método de aprendizagem de máquina, estudando Distribuições de Probabilidade, Redes Neurais e Reinforcement Learning. Acompanhe. O Objetivo do Aprendizado Por Reforço O objetivo do Aprendizado Por Reforço …

Capítulo 64 – Componentes do Aprendizado Por Reforço (Reinforcement Learning)

O Aprendizado Por Reforço pode ser entendido através de seus componentes: agente, ambiente, estados, ações e recompensas, todos os quais explicaremos neste capítulo. Letras maiúsculas indicarão conjuntos de objetos e letras minúsculas indicarão um objeto específico. Por exemplo: A são todas as ações possíveis, enquanto a é uma ação específica contida no conjunto. Agente: um …

Capítulo 63 – Aplicações da Aprendizagem Por Reforço no Mundo Real

Enquanto as Redes Neurais Convolucionais (CNNs) e as Redes Neurais Recorrentes (RNNs) estão se tornando cada vez mais importantes para as empresas devido às suas aplicações em Visão Computacional e Processamento de Linguagem Natural, o Aprendizado por Reforço como uma estrutura para a neurociência computacional de um modelo para o processo de tomada de decisão …

Capítulo 62 – O Que é Aprendizagem Por Reforço?

Todas as arquiteturas de Deep Learning que estudamos até aqui neste livro podem ser classificadas em duas categorias de aprendizagem de máquina (você já sabe que Deep Learning é sub-categoria de Machine Learning, que por sua vez é uma sub-categoria de Inteligência Artificial): Aprendizagem Supervisionada – quando apresentamos ao algoritmo dados de entrada e as …

Capítulo 61 – A Matemática dos Variational Autoencoders (VAEs)

No capítulo anterior, fornecemos a seguinte visão geral intuitiva: Os VAEs são Autoencoders que codificam entradas como distribuições em vez de pontos e cuja “organização” do espaço latente é regularizada restringindo as distribuições retornadas pelo codificador a estarem próximas de um gaussiano padrão. Neste capítulo, forneceremos uma visão matemática dos VAEs que nos permitirá justificar …