En 2011, Andrew Ng a fait quelque chose de radical pour un professeur de Stanford : il a aidé à réunir 16 000 cœurs de processeurs à l’intérieur de Google et à les décharger sur des vidéos YouTube au nom de l’intelligence artificielle (IA).
Il a été un professeur de Stanford, un esprit fondateur derrière Google Brain, un scientifique en chef à Baidu, co-fondateur de Coursera, et l'entrepreneur derrière DeepLearning.AI, AI Fund et Landing AI. Coursera seul a franchi 100 millions d'apprenants enregistrés en 2021, une échelle qui a transformé le cours de machine-apprentissage (ML) de Stanford de Ng en un pipeline de formation mondial.
Un ami qui dirige une petite entreprise d’automatisation industrielle – qui l’appelle Marlon – a passé six mois à ajuster un modèle d’inspection visuelle, puis a vu qu’il échouait après que l’usine ait installé des panneaux d’éclairage plus brillants.
La salle de classe de Stanford était une incubatrice précoce
Ng est né à Londres en 1976 et a grandi à Hong Kong et Singapour avant de déménager aux États-Unis.Il a étudié l'informatique et l'économie à Carnegie Mellon, puis a poursuivi à un master au MIT et un doctorat à l'Université de Californie, Berkeley. Au début des années 2000, il enseignait à Stanford, où son cours d'apprentissage automatique est devenu une destination pour les étudiants de tous les programmes d'ingénierie et d'affaires.
Lorsque l'université a mis son cours sur le web ouvert, plus de 100 000 personnes se sont inscrites dans les semaines, un nombre qui semblait insensé pour une seule classe à l'époque. Ng a traité ce moment comme une preuve que la barrière n'était pas d'intérêt.
Ng a continué à publier des recherches, mais il a également continué à emballer la recherche en formats que les praticiens pourraient utiliser sans quitter leur emploi.
Google Brain et le cas pour les plus grands réseaux
Chez Google, Ng a travaillé avec Jeff Dean et d'autres sur ce qui est devenu Google Brain, une tentative de former des réseaux neuronaux sur des ensembles de données beaucoup plus grands que la plupart des groupes de recherche ne pouvaient gérer. Le résultat de la reconnaissance des chats a utilisé des images YouTube non étiquetées et une configuration informatique distribuée qui était exotique à l'époque.
Le résultat spécifique était moins important que la démonstration. Il a montré qu'avec suffisamment de données et de calcul, un système pouvait apprendre des fonctionnalités qui ont été transférées à d'autres tâches.
Google Brain a également donné à Ng un aperçu de la façon dont l'apprentissage automatique industriel était différent d'un projet universitaire. les données sont arrivées dans des flux troublés, les modèles ont dû fonctionner sur une infrastructure réelle et les cycles de formation coûtent de l'argent réel.
Baidu et la ligne qui s'arrêtait
En 2014, Ng est devenu scientifique en chef à Baidu, où il a dirigé le groupe d'IA de l'entreprise à travers la reconnaissance vocale à grande échelle et le travail de conduite autonome de l'entreprise. Il a répété le livre de lecture Google Brain à une échelle différente et dans un environnement linguistique différent.
Autour de cette période, Ng a popularisé une comparaison: “intelligence artificielle est la nouvelle électricité.” La phrase n'était pas une revendication technique.
Coursera et le jeu de distribution
Ng a co-fondé Coursera avec Daphne Koller en 2012, transformant le cours d'apprentissage automatique de Stanford en l'un des premiers cours massifs ouverts du web.Le timing a aidé.L'accès à la bande passante et mobile était suffisamment mature pour que les conférences puissent voyager, et les employeurs commençaient à demander des compétences que les universités étaient lentes à livrer à l'échelle.
Coursera a dépassé les 100 millions d’apprenants enregistrés en 2021 et a été publié sur la Bourse de New York la même année.Informations publiques de Courseramontre la plate-forme s'est depuis élargie au-delà des cours individuels en degrés et en formation de la main-d'œuvre. le cours d'apprentissage automatique d'origine de Ng se trouve toujours près du sommet des listes les plus inscrites de l'entreprise.
Le fondateur Stack
Après avoir quitté Baidu en 2017, Ng a construit un groupe d'entreprises interconnectées et une habitude d'édition.
- L’apprentissage.AIIl organise des cours et une newsletter hebdomadaire pour les praticiens.
- Le Fondsest un studio de venture qui soutient les entreprises de première phase avec des équipes techniques et du capital.
- L’atterrissage àse concentre sur la vision informatique pour les usines, en vendant une plate-forme appelée LandingLens pour l'inspection visuelle.
- Apprentissage Machine Yearningest le livre gratuit de Ng sur la structure des projets d'apprentissage automatique.
Ces entreprises partagent une habitude qui est moins évidente que la technologie. Chacune traite les modèles d'apprentissage automatique comme un système d'exploitation, pas seulement un algorithme. La qualité des données, les horaires de recyclage, les experts du domaine et les commentaires des utilisateurs font partie du produit dès la première semaine.
L’IA centrée sur les données et le problème de la dérive
Au cours des dernières années, Ng a plaidé pour l'IA axée sur les données: la pratique d'améliorer la cohérence des étiquettes et les exemples utilisés pour l'évaluation avant d'atteindre un modèle plus grand. la défaillance de l'éclairage de Marlon était un problème axé sur les données.
Dans plusieurs concours publics, les équipes de Ng ont demandé aux participants de maintenir le modèle fixe et de rivaliser uniquement sur l'amélioration de l'ensemble de données. Les entrées gagnantes ont constamment amélioré l'exactitude en relabelant les cas de bord, en supprimant les exemples dupliqués et en équilibrant les classes rares.
La plupart des projets pilotes d'apprentissage automatique ne deviennent jamais une infrastructure durable, et les estimations communes de l'industrie mettent la conversion de la production complète bien en dessous de la moitié.
Ce que cela signifie pour l'équipe que vous dirigez
Le playbook de Ng indique une séquence :
- Commencez par un consommateur : une personne ou un système qui a besoin de la production du modèle, pas une vague promesse d’intelligence.
- Concevez le pipeline de données plus tôt que le modèle, car la dérive de données est un problème de la première année, pas un cas d'avant-garde.
- Publier la documentation interne qui enregistre quand un modèle est autorisé à faire confiance et quand il n’est pas.
- Traitez la reconversion comme un centre de coûts continu, avec des évaluations programmées à intervalles mesurés en semaines ou en mois, pas en années.
Pour l'équipe de Marlon, la correction n'était pas un meilleur modèle.Il s'agissait d'un standard de positionnement de l'appareil photo, d'un ensemble d'images réétiqueté, d'un README d'une page décrivant les conditions d'éclairage et d'un contrôle avant chaque production.
Prenez un modèle dont vous êtes fier et écrivez les conditions exactes dans lesquelles il devrait être éteint.Si vous ne pouvez pas nommer ce mode d'échec, le modèle n'est pas prêt pour le plancher d'usine, le client, le régulateur ou le public.
