Deep Learning Book
Em Português, Online e Gratuito
Nos 10 capítulos finais deste livro online vamos trazer um grande resumo sobre Machine Learning. O objetivo é fornecer uma visão clara do que é e como Machine Learning está sendo usado no dia a dia, um pouco de matemática, as principais regras e princípios. Queremos ainda que esses capítulos finais possam servir de material …
Vamos prosseguir estudando os transformadores. Este capítulo considera que você leu os capítulos anteriores. Vamos começar esta capítulo com um resumo do Transformer. Para processar uma frase, precisamos destes 3 passos: 1- Embeddings de palavras da sentença de entrada são computados simultaneamente. 2- Codificações posicionais são então aplicadas a cada Embeddings, resultando em vetores de palavras …
Vamos seguir nossa discussão sobre os Transformadores com a parte mais importante, a Auto-Atenção. Este capítulo considera que você leu os capítulos anteriores. Auto-Atenção: O Encoder do Transformer O que é Auto-Atenção? “A Auto-Atenção, às vezes chamada de Intra-Atenção, é um mecanismo de atenção que relaciona diferentes posições de uma única sequência para computar uma …
Vamos seguir com a continuação do capítulo anterior. Este capítulo fornece algumas informações básicas necessárias para compreender o conceito por trás da autoatenção que veremos no capítulo seguinte. Atenção Baseada em Recursos: Chave, Valor e Consulta Os conceitos de consulta de chave-valor vêm de sistemas de recuperação de informações. É extremamente útil esclarecer esses conceitos …
A partir de agora e nos próximos capítulos vamos compreender o funcionamento dos Transformadores, uma das técnicas mais avançadas da atualidade em Inteligência Artificial, especialmente no Processamento de Linguagem Natural. Os Transformadores não são tão difíceis de entender. É a combinação de todos os conceitos que pode tornar a compreensão complexa, incluindo a atenção. É …
Em sua busca para construir modelos de linguagem muito fortes e poderosos que não precisariam de nenhum ajuste fino e apenas de algumas demonstrações para entender as tarefas e executá-las, a Open AI construiu o modelo GPT-3 com 175 bilhões de parâmetros. Este modelo tem 10 vezes mais parâmetros do que o poderoso modelo de …
Vamos seguir estudando o modelo GPT, agora com a sua segunda versão. Estamos considerando que você leu o capítulo anterior. Os desenvolvimentos no modelo GPT-2 foram principalmente em termos de usar um conjunto de dados maior e adicionar mais parâmetros ao modelo para aprender um modelo de linguagem ainda mais forte. Vejamos os desenvolvimentos significativos …
Para compreender o GPT-3, seu estado atual e seu uso futuro, é importante dar alguns passos atrás e compreender os modelos predecessores, o GPT-1 e o GPT-2. Começamos pela versão 1. Aqui está o paper original do modelo GPT-1: Improving Language Understanding by Generative Pre-Training. Antes dos modelos GPT, a maioria dos modelos de Processamento …
Vamos complementar o capítulo anterior e compreender alguns detalhes do funcionamento do BERT para Processamento de Linguagem Natural. Antes de alimentar as sequências de palavras no BERT, 15% das palavras em cada sequência são substituídas por um token [MASK]. O modelo então tenta prever o valor original das palavras mascaradas, com base no contexto fornecido …
BERT (Bidirectional Encoder Representations from Transformers) é um modelo de Deep Learning criado por pesquisadores do Google AI Language. O BERT causou um rebuliço na comunidade de aprendizado de máquina ao apresentar resultados de última geração em uma ampla variedade de tarefas de PLN (Processamento de Linguagem Natural), incluindo respostas automáticas ao banco de dados …
BERT (Bidirectional Encoder Representations from Transformers) é o algoritmo de aprendizado profundo (Deep Learning) do Google para PLN (Processamento de Linguagem Natural). Ajuda computadores e máquinas a entender a linguagem como nós, humanos, fazemos. Simplificando, o BERT pode ajudar o Google a entender melhor o significado das palavras nas consultas no mecanismo de busca. Por …