Para estimar os parâmetros θ da nossa função hipótese, usamos o Gradiente Descendente.

Precisamos que o custo (erro) de nossa função seja o mais próximo de 0 possível, ou seja, se supormos uma função que use como parâmetros θ_0 e θ_1, podemos plotar um gráfico tridimensional com θ_0 no eixo x, θ_1 no eixo y e o resultado da função de custo para os parâmetros θ específicos no eixo z, para visualizar onde essa função se aproxima mais de 0.

Para isso, pegamos a derivada da nossa função de custo. A inclinação da tangente no ponto nos dirá em que direção no gráfico seguir para alcançar o ponto mais baixo de nossa função, e assim vamos dando passos. O tamanho de cada passo é determinado pelo parâmetro α, que é chamado de taxa de aprendizagem.

Assim, o algoritmo para o gradiente descendente é:

repeat until convergence:

θ_j := θ_j - α (d/(dθ_j) J(θ_0, θ_1)

Assim, a cada iteração os parâmetros θ_0 θ_1 devem ser atualizados simultaneamente.

Também devemos ajustar nosso parâmetro α para que o algoritmo converja e o faça num tempo razoável.

	Created by Letícia Flauzino almost 7 years ago

Computação Note on Gradiente Descendente, created by Letícia Flauzino on 15/04/2018.

Gradiente Descendente