Les entreprises d’IA ont-elles épuisé toutes les données d’entraînement disponibles ?

La crise des données d’entraînement dans l’IA #

Elon Musk, accompagné de l’ancien scientifique en chef d’OpenAI, Ilya Sutskever, a récemment évoqué une problématique alarmante : les entreprises d’intelligence artificielle auraient épuisé les données réelles nécessaires pour former des modèles génératifs. Selon Musk, « nous avons maintenant épuisé à peu près la somme cumulative des connaissances humaines… en formation d’IA ». Ce constat, rapporté lors d’un direct sur X, soulève des questions sur l’avenir du développement de l’IA.

Cette situation semble s’être aggravée au cours de l’année dernière, marquant un tournant dans la capacité des entreprises à accéder à des données pertinentes pour l’entraînement. Au dernier événement Neurips, Sutskever a même déclaré que « nous avons atteint le pic des données et qu’il n’y en aura plus ». Si ces affirmations se confirment, l’ensemble des données disponibles sur Internet aurait déjà été exploité pour former des modèles d’IA.

Les défis des modèles d’IA actuels #

Les entreprises comme OpenAI et Google rencontrent des difficultés avec leurs derniers modèles. Par exemple, OpenAI aurait des problèmes avec son modèle Orion, qui ne répond pas aux attentes internes. De même, la dernière version de Gemini de Google n’apporte pas d’amélioration significative par rapport à ses prédécesseurs.

À lire Playstation 6 : nouvelles fonctionnalités et rumeurs de date de sortie qui excitent les fans

Un des principaux défis identifiés est la difficulté croissante à trouver des sources de données de qualité, non exploitées, pour construire des systèmes d’IA plus avancés. Les experts notent que les modèles d’IA actuels pourraient souffrir d’une stagnation si cette tendance se poursuit. La recherche de nouvelles données de qualité est donc plus cruciale que jamais pour le progrès de l’intelligence artificielle.

Une solution prometteuse mais risquée : les données synthétiques #

Face à cette pénurie de données, Musk propose d’explorer l’utilisation de données synthétiques, c’est-à-dire des contenus générés par des modèles d’IA eux-mêmes. Il avance que « la seule façon de compléter [les données réelles] est avec des données synthétiques, où l’IA crée [des données d’entraînement] ». Cette méthode pourrait permettre aux modèles de s’auto-évaluer et d’apprendre de manière autonome.

Cependant, cette approche n’est pas sans risques. Des études ont montré que les modèles d’IA formés uniquement sur des images générées par d’autres IA peuvent produire des résultats médiocres. Hany Farid, un scientifique de l’informatique à l’Université de Californie à Berkeley, fait une analogie inquiétante avec l’inbreeding chez les espèces, suggérant que cela pourrait mener à un effondrement des capacités des modèles d’IA.

• Les entreprises d’IA font face à une pénurie de données d’entraînement.
• Les modèles actuels ne répondent pas aux attentes de performance.
• Les données synthétiques pourraient offrir une solution, mais présentent des risques.
• La recherche de nouvelles sources de données de qualité est essentielle.
• Les implications de l’inbreeding des données sur les modèles d’IA sont préoccupantes.

« Si une espèce s’inbreed avec sa propre progéniture et ne diversifie pas son pool génétique, cela peut mener à un effondrement de l’espèce. »

Malgré ces défis, des géants technologiques comme Microsoft et Meta explorent déjà l’utilisation de données synthétiques pour former leurs modèles d’IA. Bien que cette méthode puisse réduire les coûts, elle soulève des questions concernant la fonctionnalité des modèles à long terme. Les limitations inhérentes aux données d’entraînement synthétiques pourraient compromettre les résultats, rendant urgent le besoin d’une réflexion approfondie sur l’avenir de l’intelligence artificielle.