Master MVA, recherche à la française, industrie et startUp

[Hazherty]

Sur quoi vous vous basez pour le caractère non reproductible ?

Par exemple, pour les mêmes algorithmes d'entraînement et les mêmes jeux de données, un réseau de neurone peut donner des résultats différents pour 2 entraînement/test/reset successifs

[bullquies]

Je vais parler de ce que je sais, ça pourra donner une idée:

Imaginons que j'envisage d'utiliser un réseau de neurones pour traiter une tâche de classification (l'exemple bateau des chiffres écrits à la main MNIST).

Je prends le modèle de qqun d'autre (voire même exactement le même code), et je m'en sers pour entraîner mon propre réseau neuronal.
Grossièrement tu prends une image, tu applique la fonction "réseau neuronal" (avec n paramètres) à cette image et tu as un vecteur en sortie qui te donne les probabilités que cette image soit 0, 1, 2 etc. Ensuite, connaissant le vrai résultat que tu aimerais obtenir (par ex 8 ), tu ajustes les paramètres de la fonction "réseau neuronal" un petit peu pour t'en rapprocher. L'épée à double tranchant c'est la partie stochastique.

De 1, on initialise souvent les n paramètres du modèle de manière random. Donc déjà ça commence à partir en c... au niveau reproductible.

De 2 on randomise aussi l'ordre d'apparition des images pour homogénéiser un peu le dataset. On va pas commencer par que des 0, puis que des 1, puis que des 7 etc, ça n'a aucun sens. Sauf que de là tout résultat que tu obtiens est à peu près unique, vu que tu as non seulement un point de départ unique, mais aussi un ordre d'entraînement unique. Donc nos paramètres finaux n'ont quasiment aucune chance d'être les mêmes. Chacun pourra être parti dans une direction différente. Donc le mec qui écrit "j'ai 96% de succès pour la classification avec ce modèle" c'est très bien mais toi tu auras peut-être 91%, ou 94%. Ou 96 mais très probablement pas avec le même résultat pour la même image.

Donc ca pose un premier problème de reproductibilité. Et ne parlons même pas de ce que produirait l'algo pour un dataset complètement différent du premier (il y a bien sûr des manières de limiter ça, donc c'est ça la partie intéressante au final.)

Après les papiers laissent parfois libre cours à ton imagination pour l'implémentation. Ils te donnent l'architecture générale du réseau, détaillent certaines parties... et pour le reste c'est à toi de deviner ce qu'ils ont bien pu mettre. Ou de trouver le bon jeu d'hyperparamètres pour arriver à un résultat similaire à ce qui a été obtenu. Une des limites pour ça c'est la puissance de calcul. En gros tu fais tourner l'algo pendant un temps donné avec plusieurs jeux de paramètres et tu affine petit à petit jusqu'à obtenir qqch de prometteur.

Google peut faire une recherche de paramètres aussi fine qu'ils veulent, alors que toi avec ton pauvre PC et tes qq cartes graphiques tu peux te tâter. (je parle plus des chiffres écris à la main là, c'est pour des choses plus complexes).

Ca créé un gap fou entre les GAFA et le mec qui essaye de créer sa startup au Zimbabwe. Donc théoriquement (et réellement), google peut utiliser le même modèle que toi, mais tu n'auras jamais un résultat satisfaisant tout simplement parce que tu n'as pas l'infrastructure de base qui fait que tu peux faire tourner le même algo 10000 fois en même temps pendant 1 semaine. Ca aussi c'est un problème de reproductibilité.

[siro]

Donc pour moi c'est moins une science qu'un art aujourd'hui

(Merci des explications ; ça a l'air ultra sensible et pas du tout robuste les RN aujourd'hui, c'est limite flippant.)

[Adolorante]

Donc pour moi c'est moins une science qu'un art aujourd'hui

(Merci des explications ; ça a l'air ultra sensible et pas du tout robuste les RN aujourd'hui, c'est limite flippant.)

C'est pas vraiment un art, c'est un outil d'aide à la décision.

Sachant que, si le temps de calcul te le permet, rien ne t'empêche de faire autant de simulations que tu le souhaites bon évidemment si t'as zéro vraisemblance entre chaque simulation ça pose problème mais sinon nettement moins.

[siro]

Donc pour moi c'est moins une science qu'un art aujourd'hui

(Merci des explications ; ça a l'air ultra sensible et pas du tout robuste les RN aujourd'hui, c'est limite flippant.)

C'est pas vraiment un art, c'est un outil d'aide à la décision.

Sachant que, si le temps de calcul te le permet, rien ne t'empêche de faire autant de simulations que tu le souhaites bon évidemment si t'as zéro vraisemblance entre chaque simulation ça pose problème mais sinon nettement moins.

Vu les objets auxquels l'IA moderne s'attaque, non tu n'as jamais le temps de calcul nécessaire, tu dois faire des approximations.

La robustesse des heuristiques issues des réseaux neuronaux (notamment éviter la surinterprétation) est une problématique majeure aujourd'hui en fait. Parce que bon si ton outil d'aide à la décision est pas fiable ça la fout mal.

(Raison pour laquelle il faudra toujours des emmerdeurs de théoriciens pour ralentir et chercher à comprendre les résultats, plutôt que de leur faire confiance aveuglément. )

[Adolorante]

C'est un classique ça, avec les expérimentaux t'as des trucs très approximatifs, et avec les théoriciens t'as pas grand chose x)
Et encore, dans la vie active, les expérimentaux sont déjà assez chiants pour les salariés je pense.

Bien entendu, une méthode est utilisée pour un cas particulier, et on ne peut pas se permettre d'utiliser des méthodes loin d'être sûres pour tout et n'importe quoi...

[Tompouce67]

Pour l'initialisation et tous ces genres de trucs, même si c'est choisi de façon random, c'est possible de reproduire connaissant le générateur et la seed.
C'est juste une affaire de connaître tous les paramètres du modèle.
Forcément si tu dis, j'ai utilisé tel programme mais que tu donnes pas la config, il manque une partie de l'info.
Mais à partir du moment où le programme et la config sont données, c'est reproductible.
Et puis pour la reproductibilité, ce qui compte c'est surtout les performances après entraînement.