Favoriser les projets d'IA grâce à la collaboration entre Lattice Semiconductor et NVIDIA

La course effrénée au développement de modèles d'IA toujours plus puissants peut être fascinante, et inciter les observateurs à attendre passivement le modèle « idéal » avant de décider de son utilisation. Ce serait une erreur pour les concepteurs de produits qui devraient saisir l'opportunité de transformer les prédictions des modèles en quelque chose d'utilisable, de fiable et de pratique.

Une collaboration entre Lattice Semiconductor et NVIDIA marque un tournant dans la conception de produits à l'ère de l'IA. En standardisant les pipelines capteur-IA avec une conception de référence Sensor Bridge, ils facilitent la création de systèmes capables de percevoir, d'interpréter et de réagir en temps quasi réel. Les applications peuvent désormais être assemblées de manière plus modulaire, ce qui accélère le développement et permet de créer des produits plus intelligents et plus réactifs.

À mesure que l'intelligence se rapproche du lieu où les données sont générées, les contraintes évoluent, passant de la création de meilleurs modèles à la conception du comportement de ces modèles une fois intégrés dans des systèmes réels. Ce que le système détecte, hiérarchise ou ignore sont des paramètres de conception clés qui déterminent si un « produit d'IA » est considéré comme fiable, prévisible et utile.

Les concepteurs peuvent implémenter la conception de référence avec la carte LF-SNSR-ETH-EVN (Figure 1) de Lattice Semiconductor, une carte de pont capteur-Ethernet CertusPro-NX qui convertit les signaux de capteurs hétérogènes en flux Ethernet standardisés à faible latence pouvant être utilisés par des systèmes Edge AI en aval.

Figure 1 : Le LF-SNSR-ETH-EVN de Lattice Semiconductor capte les entrées provenant de capteurs hétérogènes et les convertit en flux de données rapides et structurés qui sont ensuite traités par les modules périphériques de NVIDIA. (Source de l'image : Lattice Semiconductor)

La plateforme matérielle basée sur FPGA basse consommation est située en périphérie pour convertir divers signaux de capteurs de bas niveau en flux de données rapides et structurés pouvant être traités en temps réel via Ethernet. Elle capte les données brutes des capteurs, les normalise et les divise en paquets, puis les transmet pour un traitement à faible latence et haut débit à l'aide de puissants processeurs graphiques (GPU).

La carte de Lattice s'intègre à des modules informatiques périphériques et à Holoscan Sensor Bridge de NVIDIA pour fournir une pile complète de bout en bout pour les systèmes d'IA de capteurs en temps réel. Cette collaboration facilite l'intégration de nouveaux capteurs et le transfert efficace des données dans les pipelines d'inférence d'IA sur des plateformes d'Edge AI comme IGX Orin et AGX Orin de NVIDIA.

Dans cette approche, le cloud joue un rôle de soutien, axé sur l'entraînement des modèles, l'agrégation des données entre différents déploiements, et la gestion des mises à jour et de l'optimisation système à long terme, tandis que les modules périphériques peuvent se concentrer sur la perception, l'interprétation et la réponse en temps réel.

Créer des conceptions capteur-IA

Les concepteurs peuvent se concentrer sur la création rapide de systèmes capteur-IA et sur la simplification des flux de données entre les entrées physiques et la pile d'inférence de NVIDIA. Au lieu de s'appuyer sur des entrées simulées ou des hypothèses abstraites concernant le comportement d'un système, ils peuvent prototyper des expériences en utilisant des données de capteurs réelles circulant dans un pipeline fonctionnel.

Par exemple, un concepteur peut partir d'une configuration de capteur réelle, telle qu'un capteur industriel ou une caméra, dont les données sont transmises via le pont CertusPro-NX, pour la transmission via Ethernet, vers une application basée sur Holoscan s'exécutant sur du matériel périphérique pour le traitement d'inférence IA en temps réel. Traditionnellement, l'ajout d'un nouveau capteur aurait impliqué un travail d'ingénierie considérable, comme le développement de pilotes personnalisés, la gestion de l'intégration au niveau du noyau et la création de pipelines de données sur mesure, juste pour obtenir le signal sous une forme exploitable. Holoscan réduit cet effort grâce à une API et une couche transport standardisées pour le traitement continu des données de capteurs en périphérie.

Les données de capteurs sont traitées de manière plus uniforme dans le cadre d'un flux de données en temps réel, ce qui facilite l'intégration de nouvelles sources dans un pipeline d'IA existant sans avoir à repenser l'architecture d'application complète.

Couche de conversion

La carte basée sur FPGA de Lattice fonctionne comme une couche de conversion programmable entre le monde physique et le reste du système, ce qui réduit la nécessité de revoir la conception matérielle chaque fois qu'un nouveau capteur est intégré. Elle inclut des blocs fonctionnels FPGA préconfigurés pour traiter et adapter les données des capteurs, ainsi qu'une pile logicielle complète pour collecter, déplacer et traiter ces données sur le matériel Edge AI de NVIDIA.

Cette approche transforme l'intégration des capteurs d'une contrainte matérielle en une décision de conception configurable, améliorant considérablement la flexibilité du système face à l'évolution des exigences du produit. Les équipes de conception peuvent facilement intégrer de nouveaux capteurs ou ajouter des entrées supplémentaires tout au long du processus de développement, sans avoir à repenser l'architecture complète.

La possibilité de modifier le comportement du produit avant que les systèmes de production complets ne soient opérationnels réduit le travail d'intégration personnalisé et permet des améliorations itératives dans la détection du système, le déclenchement d'actions et la gestion des incertitudes.

Conclusion

Les concepteurs de produits ne peuvent pas se permettre d'attendre que la « guerre des modèles » d'IA prenne fin. Le moment est venu de créer des applications commandées par IA capables de détecter, de décider et d'agir sur la base d'entrées concrètes en temps réel. La collaboration entre Lattice Semiconductor et NVIDIA offre aux concepteurs des pipelines à latence ultrafaible qui ouvrent la voie à de nouvelles catégories d'applications d'IA dans davantage de domaines.