Utiliser la technologie GMSL pour les applications de vision robotique à large bande passante

La vision est essentielle à la conception d'applications robotiques capables de percevoir le monde physique et de s'y adapter en temps réel. Les systèmes robotiques fonctionnent dans des environnements dynamiques, souvent imprévisibles, où les données des capteurs doivent être capturées, transmises, traitées et converties en actions en quelques millisecondes. Toute latence supplémentaire, perte de données ou incohérence de synchronisation peut nuire aux performances, voire créer des risques pour la sécurité.

Ces contraintes s'accentuent à mesure que les systèmes robotiques évoluent vers une perception basée sur l'apprentissage automatique, qui repose sur de grands volumes de données visuelles plutôt que sur une programmation spécifique à la tâche. Cela permet une plus grande adaptabilité dans les applications robotiques, leur permettant de percevoir de nouveaux objets, environnements et tâches avec une reprogrammation minimale.

Ces tendances exercent une pression croissante sur la manière dont les données visuelles sont acheminées dans les systèmes robotiques. La technologie Gigabit Multimedia Serial Link (GMSL) peut contribuer à relever les défis de conception en simplifiant la connectivité des capteurs, en réduisant la complexité du câblage et en permettant une transmission de données robuste à faible latence entre les caméras distribuées et les modules de calcul centraux.

Conçue à l'origine pour les applications automobiles telles que les systèmes d'aide à la conduite (ADAS), la technologie GMSL est largement utilisée dans les systèmes de robotique et de visionique pour connecter des caméras et des capteurs à distance avec une faible latence et une haute immunité aux interférences électromagnétiques.

Développée par Analog Devices, Inc., la technologie GMSL est une technologie de communication sérialiseur/désérialiseur (SerDes) à haut débit qui permet la transmission de données et de vidéos à large bande passante sur un seul câble coaxial ou à paire torsadée. Au lieu de partager une structure réseau, chaque caméra fonctionne via une liaison haut débit dédiée, éliminant ainsi les problèmes de contention, de routage et de variabilité liée aux paquets. Cela crée un chemin de données prévisible où la synchronisation et la latence restent stables, même lorsque le nombre de capteurs augmente.

Un sérialiseur GMSL prend des groupes de données de pixels qui seraient normalement transmis en parallèle sur plusieurs lignes de signaux et les convertit en un flux série haut débit continu. Côté processeur, un désérialiseur les reconvertit dans leur format d'origine. Comme chaque caméra dispose de sa propre liaison point-à-point, la bande passante évolue linéairement avec le nombre de caméras sans introduire de contention réseau, de surcharge de commutation ou de délais de planification des paquets.

Les avantages de cette approche sont encore plus manifestes lorsque les systèmes de vision s'étendent à plusieurs caméras haute résolution. Contrairement aux applications à une seule caméra, ces systèmes requièrent une couverture visuelle dense et synchronisée pour prendre en charge des tâches telles que la navigation, la manipulation et la compréhension de la scène en temps réel. L'augmentation du nombre de capteurs s'accompagne d'une augmentation de la charge sur la bande passante, le câblage et la précision de synchronisation, révélant les limites des interconnexions traditionnelles à courte portée au niveau de la carte.

Les approches conventionnelles comme USB, Ethernet standard ou les liaisons MIPI directes au niveau de la carte impliquent des compromis en termes de latence, de synchronisation ou de portée physique. Il en résulte un défi d'intégration croissant, car l'augmentation du nombre de caméras accroît la complexité du câblage, de la gestion de la synchronisation et de la conception du système.

Comparée à d'autres approches de connectivité visuelle, la technologie GMSL offre plusieurs avantages distincts :

• Elle dépasse MIPI CSI-2 en termes de portée et de robustesse tout en conservant une architecture point-à-point à faible latence simple qui évite la complexité des piles de vision basées sur Ethernet.
• La technologie GMSL privilégie une connectivité point-à-point déterministe et une synchronisation multi-caméra plus simple à la flexibilité de réseau distribué à grande échelle d'Ethernet.
• Les performances sont largement comparables à celles de FPD-Link, une autre option SerDes propriétaire, le choix entre les deux étant souvent motivé par des considérations liées à l'écosystème.

La technologie GMSL équilibre les systèmes de vision embarqués et en réseau en fournissant une approche pratique de la connectivité des caméras haut débit avec des performances à faible latence déterministes. Cela simplifie la connectivité de vision haut débit tout en maintenant les exigences strictes de latence et de fiabilité des systèmes robotiques en temps réel.

Haut débit, haut volume

Ces avantages architecturaux sont essentiels face à l'augmentation constante de la résolution des caméras et du nombre de capteurs. La technologie GMSL peut transférer de grandes quantités de données, notamment vidéo, via un seul câble et depuis plusieurs caméras ou autres capteurs. Elle utilise une liaison point-à-point dédiée, sans contention réseau ni routage de paquets. Au lieu d'utiliser plusieurs connexions pour chaque point, les concepteurs peuvent utiliser la technologie GMSL pour transmettre des flux à large bande passante sur des câbles coaxiaux ou à paire torsadée tout en maintenant une faible latence et une haute résistance au bruit.

Cette technologie a permis de simplifier le câblage automobile et d'en améliorer la robustesse, et ces mêmes caractéristiques s'appliquent directement à la robotique : la réduction du nombre de câbles simplifie la conception électrique et mécanique, ce qui se traduit par des systèmes plus légers et plus fiables et par un assemblage plus facile. Les caméras distribuées peuvent être placées loin du module de calcul, être connectées avec un nombre minimum de câbles, et néanmoins fournir de manière fiable des données synchronisées à faible latence qui prennent en charge la perception et la prise de décision en temps réel.

Les robots s'appuient de plus en plus sur de multiples caméras haute résolution, parfois combinées à des capteurs de profondeur ou à un LiDAR (détection et télémétrie par ondes lumineuses), pour comprendre leur environnement (Figure 1). Chaque caméra peut individuellement générer un flux important de données, et lorsque plusieurs caméras sont utilisées ensemble, les besoins en bande passante peuvent être considérables. Une caméra avec une résolution de 1080p à 30 images par seconde (ips) avec 24 bits par pixel génère 1,4 Gbps, donc quatre caméras atteindraient 5,6 Gbps et six, 8,4 Gbps. Les applications à plus haute résolution et à fréquence d'images plus élevée pourraient faire grimper les besoins en bande passante jusqu'à plusieurs dizaines de gigabits par seconde.

Figure 1 : Illustration d'un système de vision robotique multimodal basé sur GMSL, capable de traiter des données d'image provenant de plusieurs caméras et autres capteurs pour permettre la perception robotique. (Source de l'image : Analog Devices, Inc.)

La prise en charge fiable de ce volume de données requiert une architecture de transport qui s'adapte de manière prévisible sans introduire d'incertitude temporelle. Les liaisons déterministes et à faible latence de la technologie GMSL garantissent la synchronisation de plusieurs caméras et la transmission prévisible des données, ce qui permet de développer des applications avec une perception multi-caméra sans surcharger le système ni introduire d'incertitude temporelle.

Considérations pratiques

Les systèmes robotiques progressent à mesure que les entreprises s'orientent vers des plateformes polyvalentes capables de percevoir, de manipuler et de prendre des décisions autonomes. Les robots humanoïdes tels qu'Optimus de Tesla dépendent de réseaux de caméras en temps réel avec de multiples flux vidéo synchronisés à haute résolution pour naviguer et interagir avec des environnements complexes.

La vision robotique utilise de plus en plus des réseaux de capteurs distribués pour la navigation et la manipulation en temps réel, ce qui requiert une synchronisation étroite et une connectivité fiable. Face à la croissance des exigences de détection, les applications doivent accroître le nombre de capteurs et la résolution sans surcharger les ressources de calcul ni provoquer de problèmes de synchronisation. Ces conditions sont satisfaites grâce à des dispositifs périphériques et d'agrégation qui font le lien entre les capteurs d'images et les plateformes de calcul afin de maintenir des données synchronisées à faible latence, essentielles à l'autonomie.

En périphérie du système, des dispositifs tels que le sérialiseur GMSL2 MAX96717 d'ADI servent d'interface entre les capteurs d'image et la liaison de transport (Figure 2). Placé directement derrière la caméra, ce dispositif reçoit les données de la caméra MIPI CSI-2 à large bande passante et les convertit en une liaison sérialisée haut débit pour la transmission via un câblage longue distance de type automobile. Le dispositif prend en charge des débits de données de liaison directe de 3 Gbps ou 6 Gbps, avec un canal de contrôle inverse à 187,5 Mbps, et accepte jusqu'à quatre voies MIPI CSI-2 à 2,5 Gbps par voie.

Figure 2 : Sur ce schéma, quatre dispositifs MAX96717 convertissent les flux de données parallèles provenant de capteurs de caméra distincts en un signal sérialisé transmis via une liaison GMSL2 au désérialiseur MAX96724. Ce dernier agrège et convertit le signal en MIPI CSI-2 afin de fournir des données d'image agrégées et synchronisées à un processeur central. (Source de l'image : Analog Devices, Inc.)

Le sérialiseur gère la mise en forme et la transmission en temps réel de la sortie de caméra brute dans une liaison GMSL2 longue portée, tout en préservant l'intégrité de l'image, la signalisation de contrôle et les métadonnées de synchronisation. Il transforme un capteur d'image étroitement couplé en un nœud de détection à distance pouvant être placé n'importe où sur le robot, permettant ainsi de répartir plusieurs caméras sur une plateforme robotique sans être limité par des interconnexions à courte portée.

Côté réception, un désérialiseur GMSL2 multi-liaison tel que le MAX96724 d'ADI agrège plusieurs flux de caméras à distance en un seul concentrateur d'interface synchronisé. Le dispositif permet une perception multi-caméra évolutive sans augmenter la complexité du système, et agrège plusieurs flux de caméras GMSL2 — jusqu'à quatre liaisons à 3 Gbps ou 6 Gbps— dans une seule interface MIPI CSI-2 pour le processeur hôte, tout en maintenant une temporisation synchronisée et un contrôle bidirectionnel entre les capteurs.

Une fois les données de caméra désérialisées, elles sont transmises au processeur hôte sous forme de flux d'images standard, généralement via l'interface MIPI CSI-2. À partir de là, les images provenant de plusieurs caméras sont traitées en parallèle par la pile de vision du système, qui peut inclure le traitement ISP, la logique de synchronisation et les modèles d'inférence IA pour des tâches telles que la détection d'objets, l'estimation de profondeur, le suivi et la compréhension de la scène.

Comme les flux GMSL arrivent avec une synchronisation régulière, les applications peuvent fusionner de manière fiable les données provenant de caméras et d'autres capteurs comme des LiDAR ou des unités de mesure inertielles (IMU) qui surveillent le mouvement et l'orientation, permettant ainsi au robot d'avoir une compréhension cohérente et en temps réel de son environnement. Pour le développement et la validation, une chaîne de signaux complète peut être mise en œuvre à l'aide de plateformes d'évaluation qui associent des modules de caméra côté sérialiseur à des kits d'évaluation de désérialiseurs tels que le MAX96724-BAK-EVK# (Figure 3), permettant aux développeurs de tester la synchronisation multi-caméra, les performances de bande passante et l'intégration du processeur avant de passer à des conceptions matérielles personnalisées.

Figure 3 : La plateforme d'évaluation MAX96724-BAK-EVK# fournit une référence de développement pour les systèmes de vision robotique, agrégeant plusieurs flux de caméras GMSL2 de sérialiseurs tels que le MAX96717 et délivrant une sortie MIPI CSI-2 synchronisée à un processeur central. (Source de l'image : Analog Devices, Inc.)

Technologie et écosystème matures

La technologie GMSL a évolué au fil de plusieurs générations, chacune augmentant la bande passante, la portée et la flexibilité des systèmes tout en conservant la même architecture basée SerDes :

• GMSL1 a introduit une solution robuste de qualité automobile pour la transmission de vidéos à haut débit sur de longues distances, prenant principalement en charge les systèmes de caméras de classe HD.
• GMSL2 a considérablement augmenté la bande passante et l'évolutivité, permettant des systèmes multi-caméras 1080p et 4K avec une synchronisation plus étroite, une latence plus faible et une agrégation multi-flux plus efficace, ce qui en fait la génération dominante dans les plateformes ADAS et robotiques modernes.
• GMSL3 s'appuie sur ces bases et apporte des améliorations supplémentaires en matière de débit de données, de flexibilité système et de prise en charge de capteurs haute résolution de nouvelle génération et d'architectures multi-capteurs de plus en plus complexes.

La technologie GMSL est soutenue par un écosystème mature qui prend en charge des déploiements évolutifs et prêts pour la production. Les développeurs de robots peuvent tirer parti d'une pile complète de composants validés, y compris des caméras, des modules de calcul, des câbles, des connecteurs et des logiciels/pilotes, conçus pour fonctionner de manière fiable dans des conditions réelles. Cet écosystème réduit la complexité d'intégration, raccourcit les cycles de développement et simplifie la transition entre les premiers prototypes et les systèmes de production.

Conclusion

Les systèmes robotiques évoluent vers une plus haute densité de capteurs et vers une autonomie en temps réel, et les architectures de connectivité doivent s'adapter sans compromettre le déterminisme ou la fiabilité. En simplifiant le câblage, en préservant la synchronisation déterministe et en permettant le placement distribué des capteurs, les architectures basées sur GMSL permettent aux concepteurs de robots d'accroître les capacités de perception sans avoir à fondamentalement repenser le modèle de calcul ou de synchronisation. Cela constitue un élément clé dans la transition vers des systèmes de vision robotique à haute densité et en temps réel.