Forum Prepas.org

Der RHDJ a écrit : ↑

03 août 2019 21:42

saysws a écrit : ↑

02 août 2019 19:07

Si t'as beaucoup de points un réseau de neurones éventuellement

Je vote pour cette technique, commence avec 100 couches et augmente le nombre si les résultats ne sont pas satisfaisants : 200, 500, pourquoi pas 1000 ? Ça ne peut pas échouer.

Et puis aussi il faut penser à tester tout les learning rates possible !
Et tout les algos d'optimisations, évidamment, si ça marche pas en SGD (méthode qui est souvent naze anyway), il faut essayer Adam, puis Adadelta, Adamax et pleins d'autre trucs, les possibilités sont infinies, mais ça devrait bien finir par marcher en temps fini

saysws a écrit : ↑

03 août 2019 22:55

Der RHDJ a écrit : ↑

03 août 2019 21:42

Je vote pour cette technique, commence avec 100 couches et augmente le nombre si les résultats ne sont pas satisfaisants : 200, 500, pourquoi pas 1000 ? Ça ne peut pas échouer.

Et puis aussi il faut penser à tester tout les learning rates possible !
Et tout les algos d'optimisations, évidamment, si ça marche pas en SGD (méthode qui est souvent naze anyway), il faut essayer Adam, puis Adadelta, Adamax et pleins d'autre trucs, les possibilités sont infinies, mais ça devrait bien finir par marcher en temps fini

Les vrais entraînent leurs algos de RL à faire du Neural Architecture Search pour optimiser tout ça. Le metalearning ce n'est plus le turfu c'est juste le présent, on n'est plus en 2017 quoi :/

Der RHDJ a écrit : ↑

03 août 2019 23:11

saysws a écrit : ↑

03 août 2019 22:55

Der RHDJ a écrit : ↑

03 août 2019 21:42

Je vote pour cette technique, commence avec 100 couches et augmente le nombre si les résultats ne sont pas satisfaisants : 200, 500, pourquoi pas 1000 ? Ça ne peut pas échouer.

Et puis aussi il faut penser à tester tout les learning rates possible !
Et tout les algos d'optimisations, évidamment, si ça marche pas en SGD (méthode qui est souvent naze anyway), il faut essayer Adam, puis Adadelta, Adamax et pleins d'autre trucs, les possibilités sont infinies, mais ça devrait bien finir par marcher en temps fini

Les vrais entraînent leurs algos de RL à faire du Neural Architecture Search pour optimiser tout ça. Le metalearning ce n'est plus le turfu c'est juste le présent, on n'est plus en 2017 quoi :/

"Learning to learn by gradient descent by gradient descent"

leyone : Tu as des points de mesure (Xi,Yi).
Interpoler c'est trouver une courbe continue qui passe par tous points de mesure et dont on espère qu'elle fera qqch de raisonnable entre ces points.
Fitter (ou "ajuster une loi...") c'est différent : tu as tes (Xi,Yi). Tu as aussi un modèle, par exemple y=ax²+bx+c et tu cherches la valeurs des paramètres de ce modèle (a,b et c dans ce cas) pour que ça colle au mieux avec tes points. Tout dépend alors de ce que tu appelles "au mieux". On se donne donc un critère et on essaye de le minimiser. Ce critère c'est une "distance" entre la solution "parfaite" et la la solution courante à chaque étape de l'optimisation. On appelle ça la fonction de coût.
Un exemple simple est la régression linéaire. Ca minimise quoi une régression linéaire? Essaye de répondre
La régression linéaire est "tellement simple" qu'on dispose d'une formule explicite pour calculer la valeur des paramètres du modèle. Dans d'autres cas, on fait appel à un algo qui tente, étape par étape de minimiser cette fonction de coût. Ca peut vite devenir très complexe.

Vous êtes vraiment en train de suggérer un réseau de neurones pour décrire un graphe 1D ? x)
Vous savez qu’une interpolation avec des polynômes de Lagrange va marcher aussi bien, voire mieux ?
Quitte à faire de l’overtraining, autant le faire explicitement

Tompouce67 : reste à espérer qu'ils ne soient pas sérieux mais il est certains qu'on va voir de plus en plus de gens proposer des réseaux de neurones pour faire des choses triviales

À quoi bon parler de régression linéaire lorsqu'il suffit d'évoquer un réseau neuronal à un neurone sans non-linéarité avec pour fonction de perte la somme des erreurs au carré ?

Parce qu'avec une régression linéaire, tu n'as pas besoin d'optimisation

Bah si quand même, la régression linéaire c'est tout de même l'optimisation des paramètres d'un modèle (linéaire). C'est pas parce qu'on a des résultats mathématiques d'existences et d'unicité et de très bons algos pour le faire que c'est plus de l'optimisation

Oui, certes. Tu n'as pas de descente de gradient alors