【Déballage et test】---Bras robotisé de vision en profondeur DOFBOT Pro 3D

Introduction

DOFBOT PRO est un bras robotique de vision 3D AI de niveau bureautique. Équipé d'une série de matériel hautes performances tel qu'une caméra de profondeur 3D, une articulation 6-DOF, une carte de la série NVIDIA Jetson , un écran tactile de 10,1 pouces , etc. En intégrant le système d'exploitation du robot ROS et les algorithmes de cinématique avant/inverse, le contrôle complexe des mouvements du bras robotique 6-DOF est simplifié. Nous intégrons la technologie de vision 3D dans le contrôle du bras robotique pour réaliser la mesure de profondeur, la reconnaissance de forme, la mesure de hauteur, le calcul de volume et d'autres fonctions. Sur la base de ces données, DOFBOT PRO peut identifier, suivre et saisir avec précision des objets dans l'espace 3D. Yahboom fournit des documents de cours ROS professionnels et des codes sources fonctionnels. Qu'il s'agisse d'un scénario d'enseignement ROS ou de recherche et développement technologique, ce robot peut offrir une programmabilité et une puissance de calcul supérieures, ce qui constitue un choix idéal.

Caractéristiques

• Basé sur les cartes de la série NVIDIA Jetson, puissance de calcul supérieure, fonctionnement plus fluide

DOFBOT PRO est compatible avec les cartes Jetson NANO 4 Go/Jetson Orin NANO/Jetson Orin NX. Le modèle d'apprentissage automatique est formé via le GPU de la carte Jetson. Grâce à la programmation Python, il adopte un cadre d'apprentissage profond et est développé conjointement avec MediaPipe pour réaliser des projets créatifs d'IA tels que la reconnaissance d'images d'objets, le contrôle des gestes et la reconnaissance de la posture humaine.

• Reconnaissance de nuages ​​de points de profondeur, saisie dans l'espace 3D

Associé à une caméra de profondeur 3D hautes performances, DOFBOT-PRO peut non seulement réaliser la perception de l'environnement, la reconnaissance d'objets et d'autres fonctions. Il peut également effectuer un positionnement spatial 3D précis en fonction des données RVB cibles, des coordonnées de position et des informations de profondeur, combinées à la détection de fusion RVB+D, pour réaliser des tâches complexes de reconnaissance visuelle et de saisie.

• Conception structurelle à 6 degrés de liberté, matériau en alliage d'aluminium

L'ensemble du corps du bras robotisé est fabriqué en alliage d'aluminium de haute qualité et dispose de six degrés de liberté flexibles. Chaque articulation utilise un servomoteur de haute précision, avec une vitesse de réponse plus rapide, peut effectuer des mouvements multi-axes fluides.

• Plusieurs méthodes de contrôle à distance multiplateformes

DOFBOT PRO prend en charge l'application (Android/iOS), la poignée sans fil et le contrôle de la page Web du PC, vous permettant de contrôler le robot comme vous le souhaitez.

Partie 1 Déballage et liste d'expédition

Nous proposons deux versions de kit et trois options de cartes de contrôle principales. Les utilisateurs peuvent choisir en fonction de leurs besoins et de leur budget.

Version standard	Version Ultime

La liste d’expédition des produits contient le contenu suivant.

	Bras robotisé carrosserie + châssis		Ventouse
	Câble en nylon cravate*6		Profondeur caméra
	Caméra de profondeur support		Bras robotisé expansion conseil
	Patch PCB antenne *2		Antenne patch plaque acrylique
	micro USB câble de données		Coude supérieur Données de type C câble
	Sans fil poignée + Pile AAA		30*30*30 bloc de bois (rouge/vert/bleu/ jaune)
	Adaptateur secteur + câble		Bloc 30*30 (rouge/vert/bleu/ jaune)
	Bloc 30*30*60 (rouge/vert/bleu/ jaune)		DOFBOT Pro carte
	40*40*40 bloc *1		Tournevis
	Étalonnage 3D carte		Vis/cuivre colonne/fil emballer
	Mécanique code et damier carte		OLED

Si vous choisissez la version Ultimate, votre forfait comprendra également le contenu suivant.

Si vous choisissez une autre carte de développement Jetson, votre package comprendra le contenu suivant.

Partie 2 Assemblage

Nous fournissons aux clients des vidéos d'assemblage et des manuels d'instructions, afin que les utilisateurs puissent terminer l'assemblage rapidement.

Partie 3 : Démarrage rapide | Découvrez DOFBOT PRO

Nous fournissons aux clients des vidéos d'assemblage et des manuels d'instructions, afin que les utilisateurs puissent terminer l'assemblage rapidement.

Partie 4 Configuration matérielle du produit

Nous fournissons aux clients des vidéos d'assemblage et des manuels d'instructions, afin que les utilisateurs puissent terminer l'assemblage rapidement.

Nous fournissons aux clients des vidéos d'assemblage et des manuels d'instructions afin que les utilisateurs puissent terminer l'assemblage rapidement. Nous fournissons aux clients des vidéos d'assemblage et des manuels d'instructions afin que les utilisateurs puissent terminer l'assemblage rapidement. Nous fournissons aux clients des vidéos d'assemblage et des manuels d'instructions afin que les utilisateurs puissent terminer l'assemblage rapidement. Nous fournissons aux clients des vidéos d'assemblage et des manuels d'instructions afin que les utilisateurs puissent terminer l'assemblage rapidement.

Caméra de profondeur DaBai DCW2

Les paramètres de la caméra sont les suivants.

Paramètres	Caractéristiques
Distance de travail	Mode de niveau d'énergie normal : 0,15-3 m Mode de niveau d'énergie élevé : 0,15-5 m
Taille de l'appareil	89,82 mm x 25,1 mm x 25,1 mm
Méthode de communication/alimentation électrique	Type-C/USB 2.0
Précision relative	< 1 % à 1 million; < 1,3 % à 2 millions
Résolution de profondeur à la fréquence d'images	640*400 à 5/10/15 ips ;
Champ de vision en profondeur	H91°V62°± 3°
Résolution à la fréquence d'images	16:9 1920x1080 à 5/10/15/30 images par seconde et MJPG 1920x1080 à 5 images par seconde et YUY2
Champ de vision couleur	16:9: H86° V55° P93,5°+3°
format d'image	MJPG/YUY2
Scénarios applicables	Intérieur/extérieur
Sécurité	Laser de classe 1
Principe de la caméra	Lumière structurée binoculaire
Poids	88,1 g
Certification	CE/FCC/KC/RoHS/Class

Servomoteur de bus de haute qualité

Le corps du bras robotisé est équipé de 5 servomoteurs de bus de 15 kg et la pince adopte 1 servomoteur de bus de 6 kg. Le servomoteur peut lire les informations sur l'état de la position.

Engrenages métalliques intégrés, résistants à l'usure et durables, l'interface de connexion anti-retour peut être utilisée pour le contrôle en cascade.

Modèle	Servo de bus 15KG (servo de carrosserie)	Servomoteur de bus 6KG (servomoteur de pince)
Taille	44,37*23,06*35,12 mm	40,6*20*41,8 mm
Tension de fonctionnement	6,0 à 7,4 V CC	4,8 à 6,0 V CC
Couple nominal	>=15kgf.cm à 7,4V	>=6kgf.cm à 6V
Plage de rotation	300° ±15°	180° ±10°
Courant à vide	= <310 mA à 7,4 V	= <120 mA à 7,4 V
Courant bloqué	= <3,2 A à 7,4 V	= <1,7 A à 7,4 V
Précision du servo	= <1°	= <1°
Mode de contrôle	Commande de port série UART	Commande de port série UART
Débit en bauds de communication	115200	115200
ID du servo	1.2.3.4.5	6
Type d'engrenage	Engrenage métallique	Engrenage en plastique
Modèle d'interface	PH2.0-3PIN	PH2.0-3PIN

Écran tactile de 10,1 pouces

Cet écran de 10,1 pouces adopte un boîtier en métal enveloppé, cache la connexion, l'apparence générale est propre et bien rangée et prend en charge le réglage de l'angle de pas.

Remarque : uniquement pour la version ultime

Matériel	Plaque métallique laminée à froid	Processus	Peinture au sable fin blanc
Conception	Conception de l'enveloppement du boîtier	Réglage de l'angle de pas de l'écran	0-90° (angle réglable réel) dépend de l'installation situation)
Interface filaire	Conception cachée	Taille de l'écran	239,4*157,4*11,3 + 0,2 mm (hors support de boîtier)
Taille de l'écran	Écran de 10,1 pouces	Type d'écran	Écran IPS
Rétroéclairage ajustement	Réglage de l'interrupteur à clé	Résolution de l'écran	Résolution maximale : 1920X1080 Il est recommandé d'utiliser 1280X800
Type d'écran tactile	Écran tactile capacitif (SlS9200 intégré)	Alimentation électrique	Micro USB (5 V)
Puissance totale	5,29 W (100 % de luminosité)	Interface d'entrée vidéo	HDMI (jusqu'à 1080P)
Taille globale	247,1*160,4 29,9 mm	Poids total	1009g

Partie 5 À propos du système de développement

DOFBOT-PRO est développé à l'aide du système d'exploitation robotique ROS, qui est un système d'exploitation open source pour les robots. Il fournit les services qu'un système d'exploitation devrait avoir, y compris l'abstraction matérielle, l'implémentation de fonctions communes pour le contrôle des périphériques sous-jacents, la messagerie interprocessus et la gestion des packages. Il fournit également des outils et des fonctions de bibliothèque pour l'acquisition, la compilation, l'écriture et l'exécution de code sur plusieurs ordinateurs.

Les versions système utilisées par les trois cartes de développement sont différentes.

Jetson Nano B01	Ubuntu 18.04	ROS1_Mélodique
Jetson Orin Nano 4 Go	Ubuntu 20.04	ROS1_Noétique
Jetson Orin NX 8 Go	Ubuntu 20.04	ROS1_Noétique

Étant donné que les capacités de calcul des trois cartes de développement sont différentes, certaines fonctions de DOFBOT-PRO sont différentes lors de l'utilisation de différentes cartes de développement.

Comme indiqué ci-dessous.

Version	Jetson NANO B01 Version 4 Go		Jetson Orin NANO Version 4 Go		Jetson Orin NX 8 Go
	Démarrage du programme temps	Programme cadre de course taux	Démarrage du programme temps	Programme cadre de course taux	Démarrage du programme temps	Programme cadre de course taux
Démarrage du robot	62S		57S		48S
Suivi du visage en 2D	4S	10 images par seconde	5S	13 images par seconde	5S	30 images par seconde
Reconnaissance gestuelle 2D pour saisir le bloc	7S	6 images par seconde	6S	22 images par seconde	5S	30 images par seconde
Reconnaissance de trajectoire du bout des doigts en 2D	10S	5 images par seconde	8S	20 images par seconde	4S	30 images par seconde
Déplacez-le	45S	6 images par seconde	35S	31 images par seconde	16S	31 images par seconde
Reconnaissance des déchets 3D-Yolov5 et tri	64S	5 images par seconde	26S	10 images par seconde	11S	12 images par seconde
Code machine gestuel 3D-Mediapipe tri par distance	9S	6 images par seconde	6S	10 images par seconde	3S	15 images par seconde

Partie 6 Fonctions importantes

Adoptez un boîtier métallique enveloppé, cachez la connexion, l'apparence générale est propre et bien rangée et prend en charge le réglage de l'angle de pas.

Intégration du bras de vision en profondeur à la caméra

L'extrémité est équipée d'une caméra de profondeur à lumière structurée binoculaire haute performance, qui permet à DOFBOT-PRO de calculer la distance, la forme, le volume de hauteur et d'autres informations de l'objet dans l'espace 3D en fonction des données RVB, des coordonnées de position et des informations de profondeur de l'objet cible, améliorant ainsi l'autonomie et l'intelligence du bras robotique pour réaliser davantage de projets Al.

Reconnaissance de nuages ​​de points de profondeur 3D

DOFBOT-PRO peut obtenir la carte de profondeur, la carte de couleurs et la carte de nuages ​​de points de l'environnement de détection via l'APl correspondant de la caméra de profondeur. Ensuite, obtenez les données RVB, les coordonnées de position et les informations de profondeur de l'objet cible.

Mesure de distance par caméra de profondeur

En obtenant les données du nuage de points de profondeur de l'objet, la distance entre l'objet et la caméra de profondeur peut être obtenue. Ensuite, l'objet peut être localisé, trié et suivi dans l'espace 3D.

Mesure de la hauteur de l'objet cible

En obtenant les données du nuage de points de profondeur de l'objet, la hauteur de l'objet peut être identifiée. Les objets de hauteur anormale peuvent ensuite être supprimés.

Mesure du volume cible régional

En obtenant les données du nuage de points de profondeur de l'objet, la forme et la hauteur de l'objet peuvent être identifiées. Le volume de l'objet peut ensuite être mesuré.

Trier et saisir dans l'espace 3D

Tri et préhension dans l'espace 3D [code machine/forme/couleur]

En calculant les coordonnées 3D du code machine dans l'image, le bras robotique peut le trier vers l'emplacement spécifié en fonction du contenu du code machine. (Les principes du processus de tri des formes et des couleurs sont les mêmes.)

Tri des déchets

Yahboom fournit des blocs avec des modèles de déchets. En chargeant le modèle correspondant, DOFBOT-PRO peut rapidement identifier différents « déchets » et les placer dans la zone de classification correspondante.

Suivi et prise en main dans l'espace 3D

Suivi et saisie dans l'espace 3D

Maintenez le bloc et déplacez-le devant le bras robotisé, le bras robotisé suivra le bloc. Lorsque le bloc s'arrêtera, le bras robotisé le saisira et le placera dans la position correspondante.

Suivi et saisie KCF

Grâce à l'algorithme KCF, le bras robotique peut suivre l'objet cible spécifié. Lorsque la cible est immobile, le bras robotique saisit la cible et la place à l'emplacement correspondant.

Contrôle de simulation de mouvement

DOFBOT-PRO prend en charge la simulation Movet, qui permet de contrôler le bras robotique et de vérifier l'algorithme dans un environnement virtuel. Cela réduit efficacement les exigences en matière d'environnement expérimental et améliore l'efficacité expérimentale.

Modèle de simulation cinématique URDF

Simulez selon le modèle de l'objet réel en proportion, utilisez l'outil Movelt pour le contrôle visuel. Peut réaliser le glissement, le contrôle de position prédéfini, l'évitement d'obstacles par le mouvement du bras robotisé et d'autres fonctions.

Contrôle de simulation Movelt/planification de trajectoire

Lors du contrôle du mouvement du bras robotique dans l'interface de simulation, le bras robotique réel peut effectuer les mouvements correspondants.

Tri des blocs de couleurs

Placez le bloc dans la zone de reconnaissance de la carte, le bras robotique distinguera automatiquement la couleur actuelle et saisira le bloc dans la zone de couleur correspondante sur la carte.

Reconnaissance et suivi des visages

Détectez s'il y a un visage dans l'image actuelle, marquez-le et suivez-le après avoir reconnu le visage.

Partie 7 Plusieurs méthodes de contrôle à distance

DOFBOT-PRO prend en charge l'application, la gestion et le contrôle Web du PC.

Résumé

Dofbot Pro est un bras robotique de vision 3D 6DOF, équipé d'une caméra de profondeur 3D à lumière structurée binoculaire. La conception structurelle unique intègre le bras robotique à la vision 3D. Il peut identifier avec précision la forme, la distance, la hauteur et même le volume des objets. Prend en charge le calcul de la position des objets dans l'espace tridimensionnel, permet un positionnement, une saisie et un suivi précis des objets.

Compatible avec les cartes Jetson NANO B01, Jetson Orin NANO 4 Go, Jetson Orin NX 8 Go. Grâce au GPU de la carte Jetson pour l'inférence du modèle d'apprentissage automatique, DOFBOT PRO peut réaliser la reconnaissance des déchets/couleurs/objets, etc. Prise en charge de l'ajout d'un écran tactile de 10,1 pouces pour faciliter le développement et le débogage des robots ROS. En intégrant le système d'exploitation du robot ROS et l'algorithme de cinématique inverse, simplifie le contrôle complexe des mouvements du bras robotique 6DOF et peut réaliser le contrôle des coordonnées du robot, la planification des mouvements, la détection des collisions du robot, la préhension et le tri, etc.

Dans l’ensemble, DOFBOT Pro est une plate-forme flexible pour l’éducation et la recherche ROS.