Qu’est-ce que le moteur neuronal d’Apple et comment fonctionne-t-il ?

Votre iPhone, iPad, Mac et Apple TV utilisent une unité de traitement neuronal spécialisée appelée Apple Neural Engine (ANE) qui est beaucoup plus rapide et plus économe en énergie que le CPU ou le GPU.

ANE permet des fonctions avancées sur l’appareil telles que le traitement du langage naturel et l’analyse d’images sans puiser dans le cloud ni utiliser une puissance excessive.

Explorons comment ANE fonctionne et son évolution, y compris l’inférence et l’intelligence qu’il permet sur les plates-formes Apple et comment les développeurs peuvent l’utiliser dans des applications tierces.

Qu’est-ce qu’Apple Neural Engine (ANE) ?

Apple Neural Engine est le nom commercial d’un groupe de cœurs informatiques hautement spécialisés optimisés pour l’exécution économe en énergie de réseaux de neurones profonds sur les appareils Apple. Il accélère les algorithmes d’apprentissage automatique (ML) et d’intelligence artificielle (IA), offrant d’énormes avantages en termes de vitesse, de mémoire et de puissance par rapport au CPU ou au GPU principal.

ANE explique en grande partie pourquoi les derniers iPhones, iPads, Mac et Apple TV sont réactifs et ne chauffent pas lors de calculs intensifs de ML et d’IA. Malheureusement, tous les appareils Apple n’ont pas d’ANE – l’Apple Watch, les Mac Intel et les appareils antérieurs à 2016 n’en ont pas.

Le premier ANE apparu dans la puce A11 d’Apple dans l’iPhone X de 2017 était suffisamment puissant pour prendre en charge Face ID et Animoji. En comparaison, le dernier ANE de la puce A15 Bionic est 26 fois plus rapide que la première version. De nos jours, ANE active des fonctionnalités telles que Siri hors ligne, et les développeurs peuvent l’utiliser pour exécuter des modèles ML préalablement formés, libérant ainsi le CPU et le GPU pour se concentrer sur des tâches qui leur conviennent mieux.

Comment fonctionne le moteur neuronal d’Apple ?

ANE fournit une logique de contrôle et arithmétique optimisée pour effectuer des opérations de calcul étendues telles que la multiplication et l’accumulation, qui sont couramment utilisées dans les algorithmes ML et AI tels que la classification d’images, l’analyse des médias, la traduction automatique, etc.

Selon Le brevet d’Apple intitulé «Moteur planaire multimode pour processeur neuronal», l’ANE se compose de plusieurs cœurs de moteur neuronal et d’un ou plusieurs circuits planaires multimodes.

La conception est optimisée pour le calcul parallèle, où de nombreuses opérations, telles que la multiplication matricielle s’exécutant en billions d’itérations, doivent être effectuées simultanément.

Pour accélérer l’inférence dans les algorithmes d’IA, ANE utilise des modèles prédictifs. De plus, ANE possède son propre cache et ne prend en charge que quelques types de données, ce qui permet d’optimiser les performances.

Fonctionnalités d’IA alimentées par ANE

Voici quelques fonctionnalités de l’appareil que vous connaissez peut-être et qui activent ANE.

• Traitement du langage naturel: Reconnaissance vocale plus rapide et plus fiable pour la dictée et Siri ; Amélioration de l’apprentissage du langage naturel dans l’application Translate et dans tout le système ; Traduction de texte instantanée dans Photos, Appareil photo et autres applications iPhone.
• Vision par ordinateur: recherchez des objets dans des images telles que des points de repère, des animaux domestiques, des plantes, des livres et des fleurs à l’aide de l’application Photos ou de la recherche Spotlight ; Obtenir des informations supplémentaires sur reconnaître des objets à l’aide de Visual Look Up dans des endroits comme Safari, Mail et Messages.
• Réalité augmentée: Occlusion humaine et détection de mouvement dans les applications AR.
• Analyse vidéo: Détection de visages et d’objets sur vidéo dans des applications telles que Final Cut Pro.
• Effets de caméra: Coupe automatique avec Center Stage; Flou d’arrière-plan pendant les appels vidéo FaceTime.
• Jeux: Effets photoréalistes dans les jeux vidéo 3D.
• Texte en direct: Fournit la reconnaissance optique des caractères (OCR) dans l’appareil photo et les photos, de sorte que vous pouvez facilement copier de l’écriture manuscrite ou du texte tel qu’un mot de passe Wi-Fi ou une adresse à partir d’images.
• Photographie computationnelle: Deep Fusion analyse les pixels pour une meilleure réduction du bruit, une plus grande plage dynamique et une exposition automatique et une balance des blancs améliorées, et utilise Smart HDR le cas échéant ; Photographie à faible profondeur de champ, y compris la prise de portraits en mode nuit ; Ajustez le niveau de flou d’arrière-plan avec le contrôle de la profondeur.
• Bons plans : ANE est également utilisé pour les styles photographiques dans l’application appareil photo, le rappel de mémoire et les effets stylistiques dans les photos, les recommandations personnalisées telles que les suggestions de fond d’écran, les légendes d’images VoiceOver, la recherche de doublons d’image dans les photos, etc.

Certaines des fonctionnalités mentionnées ci-dessus, telles que la reconnaissance d’image, fonctionnent également sans la présence d’un ANE, mais fonctionneront beaucoup plus lentement et videront la batterie de votre appareil.

Une brève histoire du moteur neuronal d’Apple : de l’iPhone X aux Mac M2

En 2017, Apple a déployé son tout premier ANE sous la forme de deux cœurs spécialisés à l’intérieur de la puce A11 de l’iPhone X. Selon les normes actuelles, il était relativement lent, à seulement 600 milliards d’opérations par seconde.

L’ANE de deuxième génération est apparu en 2018 dans la puce A12, avec quatre fois le cœur. À cinq milliards d’opérations par seconde, cet ANE était presque neuf fois plus rapide et utilisait un dixième de la puissance de son prédécesseur.

La puce A13 de 2019 avait le même ANE à huit cœurs, mais fonctionnait un cinquième plus vite tout en utilisant 15 % d’énergie en moins, un produit du nœud semi-conducteur amélioré de 7 nm de TSMC. TSMC (Taiwan Semiconductor Manufacturing Company) fabrique des puces conçues par Apple.

L’évolution d’Apple Neural Engine

L’année suivante, les performances de l’Apple A14 ANE ont presque doublé pour atteindre 11 000 milliards d’opérations par seconde, grâce à l’augmentation du nombre de cœurs ANE de 8 à 16. En 2021, l’A15 Bionic a profité du processus 5 nm de deuxième génération de TSMC, qui a encore augmenté les performances ANE à 15,8 billions d’opérations par seconde sans ajouter plus de cœurs.

Les premières puces M1, M1 Pro et M1 Max liées au Mac avaient le même ANE que l’A14, apportant pour la première fois le ML et l’IA avancés et accélérés par le matériel à la plate-forme macOS.

En 2022, le M1 Ultra a combiné deux puces M1 Max en un seul boîtier en utilisant l’interconnexion personnalisée d’Apple appelée UltraFusion. Avec deux fois plus de cœurs ANE (32), le M1 Ultra a doublé les performances ANE à 22 billions d’opérations par seconde.

L’Apple A16 en 2022 a été fabriqué à l’aide du nœud N4 amélioré de TSMC, qui a apporté des performances ANE environ 8 % plus rapides (17 milliards d’opérations par seconde) par rapport à l’ANE de l’A15.

Les premiers iPad compatibles ANE étaient l’iPad mini de cinquième génération (2019), l’iPad Air de troisième génération (2019) et l’iPad de huitième génération (2020). Tous les iPad sortis depuis ont un ANE.

Comment les développeurs peuvent-ils utiliser ANE dans les applications ?

De nombreuses applications tierces utilisent ANE pour des fonctionnalités qui autrement ne seraient pas réalisables. Par exemple, l’éditeur d’images Pixelmator Pro propose des outils tels que ML Super Resolution et ML Enhance. Et dans djay Pro, ANE sépare les rythmes, les pistes instrumentales et vocales d’un enregistrement.

Cependant, les développeurs tiers n’obtiennent pas d’accès de bas niveau à ANE. Au lieu de cela, tous les appels ANE doivent passer par le framework logiciel d’apprentissage automatique d’Apple, Core ML. Avec Core ML, les développeurs peuvent créer, former et exécuter leurs modèles ML directement sur l’appareil. Un tel modèle est ensuite utilisé pour faire des prédictions basées sur de nouvelles données d’entrée.

“Une fois qu’un modèle est sur l’appareil d’un utilisateur, vous pouvez utiliser Core ML pour le recycler ou l’affiner sur l’appareil, en utilisant les données de cet utilisateur”, selon la présentation de Core ML sur le Site Web d’Apple.

Pour accélérer les algorithmes ML et AI, Core ML utilise non seulement ANE, mais également le CPU et le GPU. Cela permet à Core ML d’exécuter un modèle même si aucun ANE n’est disponible. Mais avec un ANE présent, Core ML fonctionnera beaucoup plus rapidement et la batterie ne se déchargera pas aussi rapidement.

De nombreuses fonctionnalités Apple ne fonctionneraient pas sans ANE

De nombreuses fonctionnalités de l’appareil ne seraient pas possibles sans le traitement rapide des algorithmes AI et ML et l’empreinte mémoire et la consommation d’énergie minimales qu’ANE apporte à la table. La magie d’Apple est d’avoir un coprocesseur dédié pour exécuter des réseaux de neurones en privé sur l’appareil au lieu de décharger ces tâches sur des serveurs dans le cloud.

Avec ANE, Apple et les développeurs peuvent implémenter des réseaux de neurones profonds et profiter des avantages de l’apprentissage automatique accéléré pour divers modèles prédictifs tels que la traduction automatique, la détection d’objets, la classification d’images, etc.