Manual Prático do Deep Learning - Redes Neurais Profundas

• Apresentação do Curso

• Inteligência Artificial, Machine Learning e Deep Learning

• Por que estudar Deep Learning?

• Aplicações do Deep Learning

• Regressão, Classificação, Aprendizado Não-Supervisionado e por Reforço

• Instalações e código-fonte

• Perceptron e o bebê que joga pingue-pongue

• Intuição sobre o Perceptron - Parte 1 (Regressão)

• Intuição sobre o Perceptron - Parte 2 (Classificação)

• Manual do Perceptron

• Como o Perceptron aprende?

• Learning Rate e seus efeitos

• Implementando o Perceptron: revisão

• Implementando o Perceptron: pseudo-algoritmo

• Implementando o Perceptron: classificação em python

• Implementando o Perceptron: classificação em numpy

• Exercício de classificação

• Implementando o Perceptron: regressão linear

• Learning rates diferentes pra pesos e bias? Como assim??

• Exercício de regressão

• Questionário do Perceptron

• Manual do Adaline

• Perceptron vs Adaline

• Como o Adaline aprende?

• Resumos das diferenças entre o Perceptron e o Adaline

• Implementando o Adaline: revisão

• Implementando o Adaline: regressão

• Implementando o Adaline: classificação

• Exercício de classificação

• Questionário do Adaline

• Manual do Neurônio Sigmoid

• Entropia Cruzada (Cross-Entropy)

• Implementando o Neurônio Sigmoid: revisão

• Implementando o Neurônio Sigmoid: scikit-learn

• Implementando o Neurônio Sigmoid: numpy

• Exercício de Regressão Logística: scikit-learn

• Exercício de Regressão Logística: numpy

• Características das Funções de Ativação

• Função de Ativação Linear

• Função de Ativação Sigmoid

• Função de Ativação Tanh

• Função de Ativação ReLU

• Função de Ativação Leaky ReLU

• Função de Ativação eLU

• Qual função de ativação utilizar na prática?

• Função Softmax

• Implementando as funções de ativação: linear

• Implementando as funções de ativação: sigmoid

• Implementando as funções de ativação: tanh

• Implementando as funções de ativação: ReLU

• Implementando as funções de ativação: leaky ReLU

• Implementando as funções de ativação: eLU

• O que vamos aprender nesse módulo?

• Circuitos de valores reais e o Alpinista Cego

• Estratégia 1: Busca Aleatória

• Estratégia 2: Busca Aleatória Local

• Estratégia 3: Gradiente Numérico

• A definição de derivadas

• Implementando o Gradiente Numérico

• Estratégia 4: Gradiente Analítico (implementação)

• Resumos das Estratégias

• Múltiplas Portas

• Regra da Cadeia: introdução

• Regra da Cadeia: aplicação

• Regra da Cadeia: implementação

• Interpretando as derivadas

• Verificando as derivadas pelo Gradiente Analítico - parte 1

• Verificando as derivadas pelo Gradiente Analítico - parte 2

• Derivando o Neurônio Sigmoid

• Neurônio Sigmoid como um Circuito - Parte 1

• Se tornando um Ninja em Backpropagation - Parte 1

• Se tornando um Ninja em Backpropagation - Parte 2

• Se tornando um Ninja em Backpropagation - Parte 3

• Se tornando um Ninja em Backpropagation - Parte 4

• Se tornando um Ninja em Backpropagation - Parte 5

• Se tornando um Ninja em Backpropagation - Parte 6

• Se tornando um Ninja em Backpropagation - Parte 7

• Resumo dos Padrões de Backpropagation

• Derivando o Neurônio Sigmoid como um Ninja!

• Derivando o Neurônio Sigmoid como um Ninja no Código - Forward

• Derivando o Neurônio Sigmoid como um Ninja no Código - Backprop

• Exercício de Backpropagation

• Exercício de Backpropagation - Resposta

• Introdução ao módulo

• Dimensões das Matrizes - Parte 1

• Dimensões das Matrizes - Parte 2

• Exercício de Dimensões de Matrizes e Bias Trick

• Funções de Custo: Regressão

• Funções de Custo: Classificação Binária

• One-hot Encoding

• Função Softmax

• Funções de Custo: Classificação Multiclasse

• O vídeo mais importante desse curso!

• Intuição sobre Redes Neurais - Exemplo 1 (setup)

• Intuição sobre Redes Neurais - Exemplo 1 (forward)

• Intuição sobre Redes Neurais - Exemplo 1 (backprop)

• Intuição sobre Redes Neurais - Exemplo 2 (implementando a softmax)

• Intuição sobre Redes Neurais - Exemplo 2 (neg log-likelihood)

• Intuição sobre Redes Neurais - Exemplo 2 (softmax + neg log-likelihood)

• Intuição sobre Redes Neurais - Exemplo 2 (feedforward)

• Intuição sobre Redes Neurais - Exemplo 2 (backprop)

• Intuição sobre Redes Neurais - Padrões de Implementação

• Implementando Rede Neural do Zero - Introdução

• Implementando Rede Neural do Zero - Funções de Custo MAE e MSE

• Implementando Rede Neural do Zero - Funções de Custo Cross-Entropy

• Implementando Rede Neural do Zero - Classes Layer e NeuralNetwork

• Implementando Rede Neural do Zero - Parâmetros dos métodos

• Implementando Rede Neural do Zero - fit

• Implementando uma Rede Neural do Zero - feedforward

• Implementando uma Rede Neural do Zero - backprop

• Conferindo a Implementação Básica da Nossa Rede - Exemplo 1

• Conferindo a Implementação Básica da Nossa Rede - Exemplo 2

• Resolvendo Problemas de Regressão: Linear e Multivariada

• Resolvendo Problemas de Regressão: Quadrática

• Resolvendo Problemas de Regressão: Cúbica

• Resolvendo Problemas de Regressão: Logarítmicia

• Resolvendo Problemas de Regressão: Exponencial

• Resolvendo Problemas de Classificação Binária: Porta AND/OR

• Resolvendo Problemas de Classificação Binária: Porta XOR

• Resolvendo Problemas de Classificação Binária: Clusters

• Resolvendo Problemas de Classificação Binária: Moons, Círculos e Espiral

• Resolvendo Problemas de Classificação Multiclasse: 3 Clusters

• Resolvendo Problemas de Classificação Multiclasse: 4 clusters + Espiral

• Resolvendo Problemas de Classificação Multiclasse: 5 classes + Iris

• Métodos de Inicialização de Pesos

• Implementando uma Rede Neural do Zero - Inicialização de Pesos (Parte 2)

• Implementando uma Rede Neural do Zero - Inicialização de Pesos (Parte 3)

• Dropout

• Implementando uma Rede Neural do Zero - Dropout (Feedforward)

• Implementando uma Rede Neural do Zero - Dropout (Backprop)

• Teste da Implementação do Dropout

• Regularização L1

• Regularização L1 (derivada)

• Regularização L2

• Regularização L2 (derivada)

• Implementando uma Rede Neural do Zero - Regularização L1 e L2 (Parte 1)

• Implementando uma Rede Neural do Zero - Regularização L1 e L2 (Parte 2)

• Teste de Implementação da Regularização L1/L2

• Momentum

• Implementando uma Rede Neural do Zero: Momentum

• Teste da Implementação do Momentum

• Mini-batch Gradiente Descendente

• Implementando uma Rede Neural do Zero: Mini-batch Grad. Descendente (Parte 1)

• Implementando uma Rede Neural do Zero: Mini-batch Grad. Descendente (Parte 2)

• Learning Rate Decay

• Implementando uma Rede Neural do Zero: Learning Rate Decay (Parte 1)

• Implementando uma Rede Neural do Zero: Learning Rate Decay (Parte 2)

• Teste da Implementação das Learning Rate Decays

• Early Stopping

• Implementando uma Rede Neural do Zero: Early Stopping

• Teste da Implementação da Early Stopping

• [hotfix] Imprimindo a Perda da Regularização

• Batch Normalization

• Derivada da Batch Norm - Parte 1

• Derivada da Batch Norm - Parte 2

• Implementando uma Rede Neural do Zero: Batch Norm - Parte 1

• Implementando uma Rede Neural do Zero: Batch Norm - Feedforward

• Implementando uma Rede Neural do Zero: Batch Norm - Backprop

• Implementando uma Rede Neural do Zero: Batch Norm

• Teste da Implementação da Batch Normalizaition

• Freezing, Fine-tuning e Transferência de Conhecimento

• Implementando uma Rede Neural do Zero: Freezing

• Teste da Implementação do Freezing

• Implementando uma Rede Neural do Zero: Salvando e Restaurando a Nossa Rede

• Teste da Implementação do Save & Load

• Parabéns!

• [Opcional] Checagem dos Gradientes

• [Opcional] A Fórmula da Checagem dos Gradientes

• [Opcional] Calculando os Gradientes Aproximados

• [Opcional] Verificando os Gradientes Aproximados

• [Opcional] Verificando os Gradientes na Regressão

• [Opcional] A Regularização L1 e L2 afeta o Gradient Checking?

• [Opcional] Terminando a nossa implementação do Gradient Checking

• [Opcional] Verificando os Gradientes na Classificação Binária e Multiclasse

• Introdução

• Inicialização de Pesos, Quantidade de Camadas e Número de Neurônios

• Otimizadores, Funções de Ativação e Dropout

• Regularização e Momentum

• Batch Size

• Funções de Custo, Ativação e Número de Neurônios da Última Camada

• Quantidade de Epochs, Learning Rate e a Dica de Ouro para o Treinamento

• Transfer Learning: quando aplicar?

• O que fazer quando não converge, fica presa no mínimo local ou deu overfitting?

• E se minha rede estiver excelente?

• Introdução

• Problemas com os dados

• Problemas de Implementação

• Problemas no Treinamento

• Como identificar Underfitting e Overfitting em Gráficos de Perda?

• Como tratar Underfitting e Overfitting?