Introduction
DOFBOT PRO est un bras robotique de vision 3D AI de niveau bureautique. Équipé d'une série de matériel hautes performances tel qu'une caméra de profondeur 3D, une articulation 6-DOF, une carte de la série NVIDIA Jetson , un écran tactile de 10,1 pouces , etc. En intégrant le système d'exploitation du robot ROS et les algorithmes de cinématique avant/inverse, le contrôle complexe des mouvements du bras robotique 6-DOF est simplifié. Nous intégrons la technologie de vision 3D dans le contrôle du bras robotique pour réaliser la mesure de profondeur, la reconnaissance de forme, la mesure de hauteur, le calcul de volume et d'autres fonctions. Sur la base de ces données, DOFBOT PRO peut identifier, suivre et saisir avec précision des objets dans l'espace 3D. Yahboom fournit des documents de cours ROS professionnels et des codes sources fonctionnels. Qu'il s'agisse d'un scénario d'enseignement ROS ou de recherche et développement technologique, ce robot peut offrir une programmabilité et une puissance de calcul supérieures, ce qui constitue un choix idéal.
Caractéristiques
- Basé sur les cartes de la série NVIDIA Jetson, puissance de calcul supérieure, fonctionnement plus fluide
DOFBOT PRO est compatible avec les cartes Jetson NANO 4 Go/Jetson Orin NANO/Jetson Orin NX. Le modèle d'apprentissage automatique est formé via le GPU de la carte Jetson. Grâce à la programmation Python, il adopte un cadre d'apprentissage profond et est développé conjointement avec MediaPipe pour réaliser des projets créatifs d'IA tels que la reconnaissance d'images d'objets, le contrôle des gestes et la reconnaissance de la posture humaine.
- Reconnaissance de nuages de points de profondeur, saisie dans l'espace 3D
Associé à une caméra de profondeur 3D hautes performances, DOFBOT-PRO peut non seulement réaliser la perception de l'environnement, la reconnaissance d'objets et d'autres fonctions. Il peut également effectuer un positionnement spatial 3D précis en fonction des données RVB cibles, des coordonnées de position et des informations de profondeur, combinées à la détection de fusion RVB+D, pour réaliser des tâches complexes de reconnaissance visuelle et de saisie.
- Conception structurelle à 6 degrés de liberté, matériau en alliage d'aluminium
L'ensemble du corps du bras robotisé est fabriqué en alliage d'aluminium de haute qualité et dispose de six degrés de liberté flexibles. Chaque articulation utilise un servomoteur de haute précision, avec une vitesse de réponse plus rapide, peut effectuer des mouvements multi-axes fluides.
- Plusieurs méthodes de contrôle à distance multiplateformes
DOFBOT PRO prend en charge l'application (Android/iOS), la poignée sans fil et le contrôle de la page Web du PC, vous permettant de contrôler le robot comme vous le souhaitez.
Partie 1 Déballage et liste d'expédition
Nous proposons deux versions de kit et trois options de cartes de contrôle principales. Les utilisateurs peuvent choisir en fonction de leurs besoins et de leur budget.
Version standard | Version Ultime |
La liste d’expédition des produits contient le contenu suivant.
Bras robotisé carrosserie + châssis |
Ventouse |
||
Câble en nylon cravate*6 |
Profondeur caméra |
||
Caméra de profondeur support |
Bras robotisé expansion conseil |
||
Patch PCB antenne *2 |
Antenne patch plaque acrylique |
||
micro USB câble de données |
Coude supérieur Données de type C câble |
||
Sans fil poignée + Pile AAA |
30*30*30 bloc de bois (rouge/vert/bleu/ jaune) |
||
Adaptateur secteur + câble |
Bloc 30*30 (rouge/vert/bleu/ jaune) |
||
Bloc 30*30*60 (rouge/vert/bleu/ jaune) |
DOFBOT Pro carte |
||
40*40*40 bloc *1 |
Tournevis | ||
Étalonnage 3D carte |
Vis/cuivre colonne/fil emballer |
||
Mécanique code et damier carte |
OLED |
Si vous choisissez la version Ultimate, votre forfait comprendra également le contenu suivant.
Si vous choisissez une autre carte de développement Jetson, votre package comprendra le contenu suivant.
Partie 2 Assemblage
Nous fournissons aux clients des vidéos d'assemblage et des manuels d'instructions, afin que les utilisateurs puissent terminer l'assemblage rapidement.
Partie 3 : Démarrage rapide | Découvrez DOFBOT PRO
Nous fournissons aux clients des vidéos d'assemblage et des manuels d'instructions, afin que les utilisateurs puissent terminer l'assemblage rapidement.
Partie 4 Configuration matérielle du produit
Nous fournissons aux clients des vidéos d'assemblage et des manuels d'instructions, afin que les utilisateurs puissent terminer l'assemblage rapidement.
Nous fournissons aux clients des vidéos d'assemblage et des manuels d'instructions afin que les utilisateurs puissent terminer l'assemblage rapidement. Nous fournissons aux clients des vidéos d'assemblage et des manuels d'instructions afin que les utilisateurs puissent terminer l'assemblage rapidement. Nous fournissons aux clients des vidéos d'assemblage et des manuels d'instructions afin que les utilisateurs puissent terminer l'assemblage rapidement. Nous fournissons aux clients des vidéos d'assemblage et des manuels d'instructions afin que les utilisateurs puissent terminer l'assemblage rapidement.
Caméra de profondeur DaBai DCW2
Les paramètres de la caméra sont les suivants.
Paramètres |
Caractéristiques |
Distance de travail |
Mode de niveau d'énergie normal : 0,15-3 m Mode de niveau d'énergie élevé : 0,15-5 m |
Taille de l'appareil |
89,82 mm x 25,1 mm x 25,1 mm |
Méthode de communication/alimentation électrique |
Type-C/USB 2.0 |
Précision relative |
< 1 % à 1 million; < 1,3 % à 2 millions |
Résolution de profondeur à la fréquence d'images |
640*400 à 5/10/15 ips ; |
Champ de vision en profondeur |
H91°V62°± 3° |
Résolution à la fréquence d'images |
16:9 1920x1080 à 5/10/15/30 images par seconde et MJPG 1920x1080 à 5 images par seconde et YUY2 |
Champ de vision couleur |
16:9: H86° V55° P93,5°+3° |
format d'image |
MJPG/YUY2 |
Scénarios applicables |
Intérieur/extérieur |
Sécurité |
Laser de classe 1 |
Principe de la caméra |
Lumière structurée binoculaire |
Poids |
88,1 g |
Certification |
CE/FCC/KC/RoHS/Class |
Servomoteur de bus de haute qualité
Le corps du bras robotisé est équipé de 5 servomoteurs de bus de 15 kg et la pince adopte 1 servomoteur de bus de 6 kg. Le servomoteur peut lire les informations sur l'état de la position.
Engrenages métalliques intégrés, résistants à l'usure et durables, l'interface de connexion anti-retour peut être utilisée pour le contrôle en cascade.
Modèle |
Servo de bus 15KG (servo de carrosserie) | Servomoteur de bus 6KG (servomoteur de pince) |
Taille |
44,37*23,06*35,12 mm | 40,6*20*41,8 mm |
Tension de fonctionnement |
6,0 à 7,4 V CC | 4,8 à 6,0 V CC |
Couple nominal |
>=15kgf.cm à 7,4V | >=6kgf.cm à 6V |
Plage de rotation |
300° ±15° | 180° ±10° |
Courant à vide |
= <310 mA à 7,4 V | = <120 mA à 7,4 V |
Courant bloqué |
= <3,2 A à 7,4 V | = <1,7 A à 7,4 V |
Précision du servo |
= <1° | = <1° |
Mode de contrôle |
Commande de port série UART | Commande de port série UART |
Débit en bauds de communication |
115200 | 115200 |
ID du servo |
1.2.3.4.5 | 6 |
Type d'engrenage |
Engrenage métallique | Engrenage en plastique |
Modèle d'interface |
PH2.0-3PIN | PH2.0-3PIN |
Écran tactile de 10,1 pouces
Cet écran de 10,1 pouces adopte un boîtier en métal enveloppé, cache la connexion, l'apparence générale est propre et bien rangée et prend en charge le réglage de l'angle de pas.
Remarque : uniquement pour la version ultime
Matériel | Plaque métallique laminée à froid | Processus | Peinture au sable fin blanc |
Conception | Conception de l'enveloppement du boîtier | Réglage de l'angle de pas de l'écran | 0-90° (angle réglable réel) dépend de l'installation situation) |
Interface filaire | Conception cachée | Taille de l'écran | 239,4*157,4*11,3 + 0,2 mm (hors support de boîtier) |
Taille de l'écran | Écran de 10,1 pouces | Type d'écran | Écran IPS |
Rétroéclairage ajustement |
Réglage de l'interrupteur à clé | Résolution de l'écran |
Résolution maximale : 1920X1080 Il est recommandé d'utiliser 1280X800 |
Type d'écran tactile | Écran tactile capacitif (SlS9200 intégré) | Alimentation électrique | Micro USB (5 V) |
Puissance totale | 5,29 W (100 % de luminosité) | Interface d'entrée vidéo | HDMI (jusqu'à 1080P) |
Taille globale | 247,1*160,4 29,9 mm | Poids total | 1009g |
Partie 5 À propos du système de développement
DOFBOT-PRO est développé à l'aide du système d'exploitation robotique ROS, qui est un système d'exploitation open source pour les robots. Il fournit les services qu'un système d'exploitation devrait avoir, y compris l'abstraction matérielle, l'implémentation de fonctions communes pour le contrôle des périphériques sous-jacents, la messagerie interprocessus et la gestion des packages. Il fournit également des outils et des fonctions de bibliothèque pour l'acquisition, la compilation, l'écriture et l'exécution de code sur plusieurs ordinateurs.
Les versions système utilisées par les trois cartes de développement sont différentes.
Jetson Nano B01 |
Ubuntu 18.04 |
ROS1_Mélodique |
Jetson Orin Nano 4 Go |
Ubuntu 20.04 |
ROS1_Noétique |
Jetson Orin NX 8 Go |
Ubuntu 20.04 |
ROS1_Noétique |
Étant donné que les capacités de calcul des trois cartes de développement sont différentes, certaines fonctions de DOFBOT-PRO sont différentes lors de l'utilisation de différentes cartes de développement.
Comme indiqué ci-dessous.
Version |
Jetson NANO B01 Version 4 Go |
Jetson Orin NANO Version 4 Go |
Jetson Orin NX 8 Go |
|||
Démarrage du programme temps |
Programme cadre de course taux |
Démarrage du programme temps |
Programme cadre de course taux |
Démarrage du programme temps |
Programme cadre de course taux |
|
Démarrage du robot |
62S |
57S |
48S |
|||
Suivi du visage en 2D |
4S |
10 images par seconde |
5S |
13 images par seconde |
5S |
30 images par seconde |
Reconnaissance gestuelle 2D pour saisir le bloc |
7S |
6 images par seconde |
6S |
22 images par seconde |
5S |
30 images par seconde |
Reconnaissance de trajectoire du bout des doigts en 2D |
10S |
5 images par seconde |
8S |
20 images par seconde |
4S |
30 images par seconde |
Déplacez-le |
45S |
6 images par seconde |
35S |
31 images par seconde |
16S |
31 images par seconde |
Reconnaissance des déchets 3D-Yolov5 et tri |
64S |
5 images par seconde |
26S |
10 images par seconde |
11S |
12 images par seconde |
Code machine gestuel 3D-Mediapipe tri par distance |
9S |
6 images par seconde |
6S |
10 images par seconde |
3S |
15 images par seconde |
Partie 6 Fonctions importantes
Adoptez un boîtier métallique enveloppé, cachez la connexion, l'apparence générale est propre et bien rangée et prend en charge le réglage de l'angle de pas.
Intégration du bras de vision en profondeur à la caméra
L'extrémité est équipée d'une caméra de profondeur à lumière structurée binoculaire haute performance, qui permet à DOFBOT-PRO de calculer la distance, la forme, le volume de hauteur et d'autres informations de l'objet dans l'espace 3D en fonction des données RVB, des coordonnées de position et des informations de profondeur de l'objet cible, améliorant ainsi l'autonomie et l'intelligence du bras robotique pour réaliser davantage de projets Al.
Reconnaissance de nuages de points de profondeur 3D
DOFBOT-PRO peut obtenir la carte de profondeur, la carte de couleurs et la carte de nuages de points de l'environnement de détection via l'APl correspondant de la caméra de profondeur. Ensuite, obtenez les données RVB, les coordonnées de position et les informations de profondeur de l'objet cible.
Mesure de distance par caméra de profondeur
En obtenant les données du nuage de points de profondeur de l'objet, la distance entre l'objet et la caméra de profondeur peut être obtenue. Ensuite, l'objet peut être localisé, trié et suivi dans l'espace 3D.
Mesure de la hauteur de l'objet cible
En obtenant les données du nuage de points de profondeur de l'objet, la hauteur de l'objet peut être identifiée. Les objets de hauteur anormale peuvent ensuite être supprimés.
Mesure du volume cible régional
En obtenant les données du nuage de points de profondeur de l'objet, la forme et la hauteur de l'objet peuvent être identifiées. Le volume de l'objet peut ensuite être mesuré.
Trier et saisir dans l'espace 3D
Tri et préhension dans l'espace 3D [code machine/forme/couleur]
En calculant les coordonnées 3D du code machine dans l'image, le bras robotique peut le trier vers l'emplacement spécifié en fonction du contenu du code machine. (Les principes du processus de tri des formes et des couleurs sont les mêmes.)
Tri des déchets
Yahboom fournit des blocs avec des modèles de déchets. En chargeant le modèle correspondant, DOFBOT-PRO peut rapidement identifier différents « déchets » et les placer dans la zone de classification correspondante.
Suivi et prise en main dans l'espace 3D
Suivi et saisie dans l'espace 3D
Maintenez le bloc et déplacez-le devant le bras robotisé, le bras robotisé suivra le bloc. Lorsque le bloc s'arrêtera, le bras robotisé le saisira et le placera dans la position correspondante.
Suivi et saisie KCF
Grâce à l'algorithme KCF, le bras robotique peut suivre l'objet cible spécifié. Lorsque la cible est immobile, le bras robotique saisit la cible et la place à l'emplacement correspondant.
Contrôle de simulation de mouvement
DOFBOT-PRO prend en charge la simulation Movet, qui permet de contrôler le bras robotique et de vérifier l'algorithme dans un environnement virtuel. Cela réduit efficacement les exigences en matière d'environnement expérimental et améliore l'efficacité expérimentale.
Modèle de simulation cinématique URDF
Simulez selon le modèle de l'objet réel en proportion, utilisez l'outil Movelt pour le contrôle visuel. Peut réaliser le glissement, le contrôle de position prédéfini, l'évitement d'obstacles par le mouvement du bras robotisé et d'autres fonctions.
Contrôle de simulation Movelt/planification de trajectoire
Lors du contrôle du mouvement du bras robotique dans l'interface de simulation, le bras robotique réel peut effectuer les mouvements correspondants.
Tri des blocs de couleurs
Placez le bloc dans la zone de reconnaissance de la carte, le bras robotique distinguera automatiquement la couleur actuelle et saisira le bloc dans la zone de couleur correspondante sur la carte.
Reconnaissance et suivi des visages
Détectez s'il y a un visage dans l'image actuelle, marquez-le et suivez-le après avoir reconnu le visage.
Partie 7 Plusieurs méthodes de contrôle à distance
DOFBOT-PRO prend en charge l'application, la gestion et le contrôle Web du PC.
Résumé
Dofbot Pro est un bras robotique de vision 3D 6DOF, équipé d'une caméra de profondeur 3D à lumière structurée binoculaire. La conception structurelle unique intègre le bras robotique à la vision 3D. Il peut identifier avec précision la forme, la distance, la hauteur et même le volume des objets. Prend en charge le calcul de la position des objets dans l'espace tridimensionnel, permet un positionnement, une saisie et un suivi précis des objets.
Compatible avec les cartes Jetson NANO B01, Jetson Orin NANO 4 Go, Jetson Orin NX 8 Go. Grâce au GPU de la carte Jetson pour l'inférence du modèle d'apprentissage automatique, DOFBOT PRO peut réaliser la reconnaissance des déchets/couleurs/objets, etc. Prise en charge de l'ajout d'un écran tactile de 10,1 pouces pour faciliter le développement et le débogage des robots ROS. En intégrant le système d'exploitation du robot ROS et l'algorithme de cinématique inverse, simplifie le contrôle complexe des mouvements du bras robotique 6DOF et peut réaliser le contrôle des coordonnées du robot, la planification des mouvements, la détection des collisions du robot, la préhension et le tri, etc.
Dans l’ensemble, DOFBOT Pro est une plate-forme flexible pour l’éducation et la recherche ROS.