Master MVA, recherche à la française, industrie et startUp

[Dive]

Salut à tous,

Le titre de mon sujet peut paraître un peu surprenant mais en regardant une série américaine avec le "typique génie" sorti du MIT qui réalise toujours des choses folles, des outils et des logiciels informatiques incroyables qui font un peu tout sauf le café (en l'occurence il s'agissait d'un logiciel de recherche, type big browser, à partir de reconnaissance faciale).

J'ai eu la curiosité d'aller regarder le contenu des cours du MVA, ainsi que (rapidement je vous l'accorde) les pages de quelques professeurs (et leurs labos) dans certaines matières. On y trouve pas mal d'articles mais peu d'exemples (code ou logiciel) concret.
Comment expliquez cette différence avec les pays anglo-saxons et même d'autres en Europe (Allemagne, Belgique, Suisse, Pays-bas etc..) où les chercheurs accompagnent souvent leurs articles de code ou logiciel de démonstration librement réutilisable (dans un cadre de recherche ou autres) ? Et quelques fois (voire bien souvent pour certains pays) ça donne lieu à des spin-offs ou des collaborations avec des entreprises.

Si on prend l'exemple du MVA de Cachan, qui est un master d'excellent niveau, et les labos qui y sont associés on ne trouve pas grand chose allant dans ce sens (ce n'est peut être pas visible), alors qu'avec les cours d'un niveau pareil il doit bien y avoir moyen de créer des choses, non ?
J'ai par exemple regardé du côté de Ethz qui de ce que j'ai compris est réputé pour tout ce qui touche à la vision et à l'apprentissage (même domaine en somme que celui du MVA) et sur les pages de labos comme des professeurs on trouve pas mal de logiciel concret et de partenariats industriels.

Ce qui m'amène à pas mal m'intérroger sur les débouchés en recherche autres qu'académique sur certains sujets et surtout le rapport que la recherche française entretien avec l'innovation/le concret/l'appliqué, en Informatique surtout mais je pense que ça s'applique à pas mal d'autres domaines (lorsqu'on regarde ce que SupOptique fait dans le genre c'est sympa aussi!).

PS : Je sais que l'Inria et le CEA sont assez actifs en la matière, mais si on regarde l'ensemble ce n'est pas encore ça j'ai l'impression.

[LeCaRiBoU]

Tout d'abord, desole pour les accents, je suis sur un QWERTY.

C'est une super question, et t'es pas le premier a te la poser.

Bon deja, dans le cas du MVA, c'est pas la partie prog' qui manque au niveau des cours. Mais comme tu l'as releve, c'est different au niveau des labos associes.

C'est vrai que les articles francais sont bien moins souvent accompagnes de code que les reste, notamment en Machine Learning.

Plusieurs pistes de reflexion :
1) En France, les chercheurs en Machine Learning viennent plus souvent des maths que de l'info, du coup ils sont peut-etre moins enclins a s'epancher sur l'implem. Et meme en info, on est plus axes theorique que pas mal d'autres pays. De maniere generale, ils voient plus le ML du cote stats qu'info.
2) Parfois, l'implem est triviale, pas la peine de perdre du temps dessus (oui bon c'est un peu foireux ca, dans le cas du ML, parce qu'on sait jamais trop si ca marche en pratique)
3) En ML, un algo qui marche sur un validation set ne veut pas forcement dire grand chose : a force de tweeker les parametres de son algo pour ameliorer son score, un chercheur peut implicitement lui faire faire de l'apprentissage sur le validation set (en theorie, le split train/test/validation est cense nous en premunir. En pratique...)
4) En ML, les resultats sont rarement reproductibles, ce qui rend beaucoup plus facile tout trafiquage. A partir de la, on peut se dire qu'une implementation n'a pas beaucoup de valeur.
5) Les chercheurs francais en ML sont souvent plus interesses par la theorie que la pratique, et c'est pas plus mal : il faut bien comprendre qu'actuellement, la plupart du ML utilise dans le monde de la recherche se resume a "j'ai pris un algo connu et je l'ai applique lol", alors que certains francais sont plus dans un etat d'esprit d'expliquer comment ca marche, d'obtenir des bornes inferieures sur les resultats de certains algos, d'effacer la dependance en certaines features etc.

Quand je parle du cours d'apprentissage stat de Cachan/Ulm, les gens hallucinent sur le cote theorique du truc. Mais de toutes facons, de solides bases theoriques rendent vraiment facile l'implementation en pratique. Et ca permet d'eviter les papiers dans le genre : https://arxiv.org/pdf/1803.09237.pdf

[siro]

4) En ML, les resultats sont rarement reproductibles, ce qui rend beaucoup plus facile tout trafiquage. A partir de la, on peut se dire qu'une implementation n'a pas beaucoup de valeur.

Ça pose pas d'énormes soucis épistémologiques d'ailleurs ? (Surtout vu la facilité avec laquelle on pourrait reproduire une expérience à côté...)

Parce que bon, si c'est pour arriver à du ML avec autant de robustesse expérimentale que l'homéopathie, pardon mais ça fait mal au cul de considérer ça comme de la science.

(Sinon magique l'article en lien.)

[Adolorante]

C'est le cas avec à peu près tout ce qui est stochastique, non ?

[siro]

Les médecins jouent avec des systèmes infiniment plus riches et ils arrivent à construire quelques faits à peu près reproducibles... si c’est pas reproductible on peut plus que légitimement s’interroger (euphémisme) sur la robustesse (donc la fiabilité) des résultats obtenus.

[bullquies]

Pour avoir fait un projet de master dans le domaine... Je veux juste dire merci à tous les profs et chercheurs qui mettent des projets fonctionnels en ligne en parallèle avec un papier qu'ils publient. Ca fait gagner un temps fou et ça permet aux gens de se concentrer non pas sur les détails de l'implémentation mais plutôt à l'exploration justement. Ne parlons même pas de ceux qui cachent les détails de l'implémentation pour que tu ne puisse pas essayer de reproduire le résultat de leur papier avec certitude.

Après si c'est ton master (donc ta spécialité première), je pense qu'il faut être capable de commencer un projet de 0 et le construire avec ses connaissances, parce que c'est toi éventuellement qui est amené à créer de nouveaux outils. Il faut donc que tu puisse les implémenter correctement.

Même si tu ne vas pas refaire Tensorflow, théoriquement si je suis Google, j'aimerais bien que qqun du MVA puisse s'insérer dans le projet.

[siro]

C’est la base de la base de laisser les outils « basiques » accessibles. Déjà parce que la concurrence a déjà les mêmes donc tu divulgues pas grand chose, et ensuite parce que si tout le monde adopte ton standard t’es ultra gagnant à la sortie.

[Nicolas G]

Ne parlons même pas de ceux qui cachent les détails de l'implémentation pour que tu ne puisse pas essayer de reproduire le résultat de leur papier avec certitude.

C'est peut-être pas toujours volontaire, mais ça m'a bousillé un stage

[Tompouce67]

4) En ML, les resultats sont rarement reproductibles, ce qui rend beaucoup plus facile tout trafiquage. A partir de la, on peut se dire qu'une implementation n'a pas beaucoup de valeur.

Ça pose pas d'énormes soucis épistémologiques d'ailleurs ? (Surtout vu la facilité avec laquelle on pourrait reproduire une expérience à côté...)

Parce que bon, si c'est pour arriver à du ML avec autant de robustesse expérimentale que l'homéopathie, pardon mais ça fait mal au cul de considérer ça comme de la science.

(Sinon magique l'article en lien.)

Sur quoi vous vous basez pour le caractère non reproductible ?

[siro]

Moi j'en sais rien, c'est LeCaRiBoU qui l'affirme. (Et pour ce que j'en sais, il a quelques basounettes dans le sujet.)