Deep Learning

Deep Learning

1. É uma rede neural artificial multi-camada.

   • Tipo feedforward (FNN)
     • Quando os neurônios da mesma camada não se comunicam
     • Camadas de entrada não pode ser menor que quantidade de variáveis utilizada para explicar y
     • Informação somente avança
     • Tem dificuldade de capturar dados sequenciais. Uma deficiência. Nesse caso é melhor RNN
   • Função de Ativação
     • Logit
     • Função linear
     • É a Função que processa o sinal gerado pela combinação linear das entrada e dos pesos das sinapses
     • Ela que faz o "processamento" da informação
     • Define se o neurônio vai ser ativado ou não.
       • ReLU
         • Decidir o resultado advindo do neurônio anterior.
         • Quebra a complexidade dos dados em dados menores.
         • Utilizado para redes profundas por reduzir problemas de saturação e melhorar eficiência
   • Função de Custo
     • Mensura o quanto está acertando - Erro quadrático médio
     • Ajustes
       • Chute Valor Inicial
       • Calcule valor de saída
       • Obtenha novos pesos
     • Descida do Gradiente
       • backpropagation
       • Utilizado para minimizar a função de custo
     • Erro quadrático médio (MSE)
       • Calcula o erro quadrático entre as previsões e valores reais.
     • Cross Entropy
       • Utilizado para medir a diferença entre a distribuição prevista e real.
   • Tipo Rede Neural Recorrente (RNN)
     • Series Temporais
     • Dados de Texto
     • Ordem dos dados impactam o resultado
     • Backpropagation Through Time (BPTT)
       • A propagação retorna até um certo tempo
       • Se alterar um valor de um peso , altera todo o resultado.
       • Dissipação do Gradiente
         • Se a informação for menor que 1 (0,1 * 0,1)
           • Sumiço
         • Se a informação for maior que 1 (2*2)
           • Explosão
         • Problemas com Gradiente
           • Ocorre com qualquer rede - mais comum em RNN
         • Tipo de problemas
           • Backpropagation Truncada
             • para a avaliação de mudanças até um certo ponto
             • Custo computacional alto na RNN
             • Solução Arbitrária
           • Resolver Vanishing Gradiente
             • Inicialização de Matriz de Peso
             • Ativação de RELU
           • Clipping do Gradiente
             • Possível solução para Dissipação e explosão
     • Rede de Elman
     • GRU - Gate Recurrent Unit
       • Reset Gate
         • O quanto informação vai ignorar
       • Update Gate
         • O quanto de informação vai manter
   • Tipo LSTM - Long Short Term Memory
     • Permite que escolha a informação que será mantida ou perdida
       • Estado da Célula - Memoria Longa
       • Forget Gate - Quanto lembrar?
         • Calcula uma Sigmoide - se valor é 0,70, ou seja, vai descartar 70% da memória.
       • Input Gate - Quanto manter dos inputs? O que adicionar no estado da célula?
         • Vai passar por uma Sigmoide com uma Tangente Hiperbólica.
       • Output Gate - O que do estado da célula hidden state será utilizado como resultado?
         • Forget gate + Input gate + Memoria longa para gerar a saída.
     • Função - TANH - Tangente Hiperbólica
       • Positivo
       • Neutro
       • Negativo
     • Função Sigmoide
       • Resultado entre 0 e 1 (Sim ou não)

2. Rede Neural

   • Rasa
     • Rede Neural rasa tem somente uma camada.

3. Pioneiro - McCulloch e Pitts (1943) - postular primeira regra de aprendizagem

4. Possui diversas entradas, um núcleo de processamento e uma saída (valores lógicos)

   • A ordem dos dados de entrada impactam no resultado da saída

5. Função de perda

   • Permite verificar o quão assertivo é determinada previsão
   • Predicted x Actual
   • Variáveis contínuas e categóricas
   • Erro Quadrático Médio
   • Erro Absoluto Médio

6. Overfitting

   • Como Reduzir?
     • Reduzir o número de camadas.
     • Mais parâmetros = + capacidade de memorização.
     • Regularização
       • Introdução Barulho
         • Dropout
           • Descarta alguns neurônios durante o processo de iteração
           • Próximo lote pode ter diferentes pesos
         • L1
           • Foco é nos pesos, alterar os valores dos pesos
         • L2
           • Foco é nos pesos, dependendo da importância ajustar até o valor próximo a 0.
       • Early Stopping
         • Final cada época verifica se houve melhoria, se não ouve para. Isso evita Overfiting.
       • Epocas
         • Quantas vezes o dado passa pela rede
       • Batch
         • Utilização de lotes
         • Coleção de amostras de treinamento de toda entrada.
         • Após processamento do lote atualiza os pesos da rede
         • Hiperparâmetros
           • Learning rate
           • Batch Size
           • Ephocs
           • Função de ativação

7. Otimizadores

   • ADAGRAD
   • ADAM
   • RMSPROP

8. AUTOML

   • AutoKeras
   • Transfer Learning
   • Grid Search

9. Momentun

   • Inércia
     • Inércia = atrito
   • Técnica que simula inércia, permitindo que o modelo continue avançando na direção do gradiente mesmo em pontos de “sela” (mínimos locais), ajudando a alcançar o mínimo global

10. Não Supervisionado

    • Maquina de Boltzman
      • É uma FNN de uma camada
      • Maquina restrita
      • Não tem saída, somente camada HIDDEN
      • Aprendizado pela divergência contrastiva
        • <> entre entrada e r verificada pela divergência de Kullbeck-Leibler
      • Deep Belief Netword (DBN)
        • Maquina de Boltzman empilhadas
    • Autoencoder
      • Possui output layer
      • Faz o encode e decode, isso diferencia da máquina de Boltzman
      • Deep Autoencoder
        • Maior linearidade
        • Várias camadas
      • Técnicas evitar outlier
        • Drop-out - remover alguns neurônios
        • Adicionar Ruído
    • GAN - Redes Adversárias Generativas