【Unboxing y revisión】---Brazo robótico con visión de profundidad 3D DOFBOT Pro

Introducción

DOFBOT PRO es un brazo robótico de visión 3D con IA de nivel de escritorio. Equipado con una serie de hardware de alto rendimiento como cámara de profundidad 3D, articulación 6-DOF, placa de la serie NVIDIA Jetson , pantalla táctil de 10,1 pulgadas , etc. Al integrar el sistema operativo del robot ROS y algoritmos de cinemática directa/inversa, se simplifica el complejo control de movimiento del brazo robótico 6-DOF. Integramos la tecnología de visión 3D en el control del brazo robótico para realizar el alcance de profundidad, el reconocimiento de formas, la medición de altura, el cálculo de volumen y otras funciones. Con base en estos datos, DOFBOT PRO puede identificar, rastrear y agarrar objetos con precisión en el espacio 3D. Yahboom proporciona documentos de cursos ROS profesionales y códigos fuente funcionales. Ya sea que se trate de un escenario educativo ROS o de investigación y desarrollo de tecnología, este robot puede proporcionar una mayor programabilidad y potencia informática, lo que lo convierte en una opción ideal.

Características

• Basado en las placas de la serie NVIDIA Jetson, mayor potencia informática, funcionamiento más fluido

DOFBOT PRO es compatible con la placa Jetson NANO 4GB/Jetson Orin NANO/Jetson Orin NX. El modelo de aprendizaje automático se entrena a través de la GPU de la placa Jetson. Mediante programación en Python, adopta un marco de aprendizaje profundo y se desarrolla en conjunto con MediaPipe para realizar proyectos creativos de IA como reconocimiento de imágenes de objetos, control de gestos y reconocimiento de posturas humanas.

• Reconocimiento de nubes de puntos de profundidad, captura de imágenes en el espacio 3D

En combinación con una cámara de profundidad 3D de alto rendimiento, DOFBOT-PRO no solo puede realizar la percepción del entorno, el reconocimiento de objetos y otras funciones. También puede realizar un posicionamiento espacial 3D preciso en función de los datos RGB del objetivo, las coordenadas de posición y la información de profundidad, combinado con la detección de fusión RGB+D, para completar tareas complejas de reconocimiento visual y agarre.

• Diseño estructural de 6 grados de libertad, material de aleación de aluminio.

Todo el cuerpo del brazo robótico está hecho de aleación de aluminio de alta calidad y tiene seis grados de libertad flexibles. Cada articulación utiliza un servo de alta precisión, con una velocidad de respuesta más rápida, que puede realizar movimientos suaves en varios ejes.

• Múltiples métodos de control remoto multiplataforma

DOFBOT PRO es compatible con APP (Android/iOS), mango inalámbrico y control por página web de PC, lo que le permite controlar el robot como desee.

Parte 1: Desempaquetado y lista de envío

Ofrecemos dos versiones del kit y tres placas de control principales. Los usuarios pueden elegir según sus necesidades y presupuesto.

Versión estándar	Versión definitiva

La lista de envío del producto contiene el siguiente contenido.

	Brazo robótico carrocería + chasis		Ventosa
	Cable de nailon corbata*6		Profundidad cámara
	Cámara de profundidad soporte		Brazo robótico expansión junta
	Parche de PCB Antena *2		Antena de parche placa de acrílico
	micro USB cable de datos		Codo superior Datos de tipo C cable
	Inalámbrico manejar + Batería AAA		30*30*30 bloque de madera (rojo/verde/azul/ amarillo)
	Adaptador de corriente + cable		Bloque 30*30 (rojo/verde/azul/ amarillo)
	Bloque 30*30*60 (rojo/verde/azul/ amarillo)		DOFBOT Pro mapa
	40*40*40 bloque *1		Destornillador
	Calibración 3D mapa		Tornillo/cobre columna/alambre paquete
	Mecánico código y tablero de damas tarjeta		Pantalla OLED

Si eliges la versión Ultimate, tu paquete también incluirá el siguiente contenido.

Si elige una placa de desarrollo Jetson diferente, su paquete incluirá el siguiente contenido.

Parte 2 Montaje

Proporcionamos a los clientes vídeos de montaje y manuales de instrucciones, para que los usuarios puedan completar el montaje rápidamente.

Parte 3: Inicio rápido | Experimente DOFBOT PRO

Proporcionamos a los clientes vídeos de montaje y manuales de instrucciones, para que los usuarios puedan completar el montaje rápidamente.

Parte 4 Configuración del hardware del producto

Proporcionamos a los clientes vídeos de montaje y manuales de instrucciones, para que los usuarios puedan completar el montaje rápidamente.

Ofrecemos a los clientes vídeos de montaje y manuales de instrucciones para que los usuarios puedan completar el montaje rápidamente. Ofrecemos a los clientes vídeos de montaje y manuales de instrucciones para que los usuarios puedan completar el montaje rápidamente. Ofrecemos a los clientes vídeos de montaje y manuales de instrucciones para que los usuarios puedan completar el montaje rápidamente. Ofrecemos a los clientes vídeos de montaje y manuales de instrucciones para que los usuarios puedan completar el montaje rápidamente.

Cámara de profundidad DaBai DCW2

Los parámetros de la cámara son los siguientes.

Parámetros	Presupuesto
Distancia de trabajo	Modo de nivel de energía normal: 0,15-3 m Modo de alto nivel de energía: 0,15-5 m
Tamaño del dispositivo	89,82 mm x 25,1 mm x 25,1 mm
Método de comunicación/suministro de energía	Tipo-C/USB 2.0
Precisión relativa	<1% a 1 mes; <1,3% a 2 meses
Resolución de profundidad a velocidad de cuadros	640*400 a 5/10/15 fps;
Campo de visión de profundidad	H91°V62°±3°
Resolución a velocidad de cuadros	16:9 1920 x 1080 a 5/10/15/30 fps y MJPG 1920 x 1080 a 5 fps y YUY2
Campo de visión de color	16:9: Alto 86°, Profundidad 55° y Profundidad 93,5°+3°
formato de imagen	MJPG/YUY2
Escenarios aplicables	Interior/exterior
Seguridad	Láser de clase 1
Principio de la cámara	Luz estructurada binocular
Peso	88,1 g
Proceso de dar un título	CE/FCC/KC/RoHS/Clase

Servo de bus de alta calidad

El cuerpo del brazo robótico está equipado con 5 servos de bus de 15 kg y la pinza adopta 1 servo de bus de 6 kg. El servo puede leer información de estado de posición.

Engranajes de metal incorporados, resistentes al desgaste y duraderos, la interfaz de conexión anti-retroceso se puede utilizar para el control en cascada.

Modelo	Servo de bus de 15 kg (servo de carrocería)	Servo de bus de 6 kg (servo de pinza)
Tamaño	44,37 x 23,06 x 35,12 mm	40,6 x 20 x 41,8 mm
Voltaje de trabajo	6,0 ~ 7,4 V CC	4,8 ~ 6,0 V CC
Par nominal	>=15 kgf.cm a 7,4 V	>=6 kgf.cm a 6 V
Rango de rotación	300° ±15°	180° ±10°
Corriente sin carga	= <310 mA a 7,4 V	= <120 mA a 7,4 V
Corriente estancada	= <3,2 A a 7,4 V	= <1,7 A a 7,4 V
Precisión del servo	= <1°	= <1°
Modo de control	Comando de puerto serial UART	Comando de puerto serial UART
Velocidad en baudios de la comunicación	115200	115200
Identificación del servo	1.2.3.4.5	6
Tipo de engranaje	Engranaje de metal	Engranaje de plástico
Modelo de interfaz	PH2.0-3 PINES	PH2.0-3 PINES

Pantalla táctil de 10,1 pulgadas

Esta pantalla de 10,1 pulgadas adopta una carcasa de metal envuelta, oculta la conexión, la apariencia general es limpia y ordenada y admite el ajuste del ángulo de inclinación.

Nota: Solo para la versión definitiva

Material	Chapa metálica laminada en frío	Proceso	Pintura de arena fina blanca
Diseño	Diseño de envoltura de caja	Ajuste del ángulo de inclinación de la pantalla	0-90° (ángulo ajustable real) Depende de la instalación situación)
Interfaz de cable	Diseño oculto	Tamaño de pantalla	239,4 x 157,4 x 11,3 + 0,2 mm (sin soporte de carcasa)
Tamaño de pantalla	Pantalla de 10,1 pulgadas	Tipo de pantalla	Pantalla IPS
Iluminar desde el fondo ajuste	Ajuste del interruptor de llave	Resolución de pantalla	Resolución máxima: 1920X1080 Se recomienda utilizar 1280X800
Tipo de pantalla táctil	Pantalla táctil capacitiva (SlS9200 integrada)	Fuente de alimentación	Micro USB (5 V)
Potencia total	5,29 W (brillo del 100 %)	Interfaz de entrada de vídeo	HDMI (hasta 1080P)
Tamaño total	247,1 x 160,4 29,9 mm	Peso total	1009 gramos

Parte 5 Acerca del sistema de desarrollo

DOFBOT-PRO se desarrolló utilizando el sistema operativo de robot ROS, que es un sistema operativo de código abierto para robots. Proporciona los servicios que un sistema operativo debe tener, incluida la abstracción de hardware, la implementación de funciones comunes para el control de dispositivos subyacentes, la mensajería entre procesos y la gestión de paquetes. También proporciona herramientas y funciones de biblioteca para adquirir, compilar, escribir y ejecutar código en computadoras.

Las versiones del sistema utilizadas por las tres placas de desarrollo son diferentes.

Jetson Nano B01	Ubuntu 18.04	ROS1_Melódico
Jetson Orin Nano de 4 GB	Ubuntu 20.04	ROS1_Noético
Jetson Orin NX de 8 GB	Ubuntu 20.04	ROS1_Noético

Dado que las capacidades informáticas de las tres placas de desarrollo son diferentes, algunas funciones de DOFBOT-PRO son diferentes cuando se utilizan diferentes placas de desarrollo.

Como se muestra a continuación.

Versión	Versión Jetson NANO B01 de 4 GB		Versión Jetson Orin NANO de 4 GB		Versión Jetson Orin NX de 8 GB
	Inicio del programa tiempo	Programa marco para correr tasa	Inicio del programa tiempo	Programa marco para correr tasa	Inicio del programa tiempo	Programa marco para correr tasa
Puesta en marcha del robot	62S		57S		48S
Seguimiento de rostros en 2D	4S	10 FPS	5S	13 FPS	5S	30 FPS
Reconocimiento de gestos 2D para agarrar el bloque	7S	6 FPS	6S	22 FPS	5S	30 FPS
Reconocimiento de trayectoria de la punta del dedo en 2D	10S	5 FPS	8S	20 FPS	4S	30 FPS
Muévelo	45S	6 FPS	35S	31 FPS	16S	31 FPS
Reconocimiento de basura 3D-Yolov5 y clasificación	64S	5 FPS	26S	10 FPS	11S	12 FPS
Código de máquina de gestos de 3D-Mediapipe clasificación por distancia	9S	6 FPS	6S	10 FPS	3S	15 FPS

Parte 6 Funciones importantes

Adopta una carcasa de metal envuelta, oculta la conexión, la apariencia general es limpia y ordenada y admite el ajuste del ángulo de inclinación.

Integración de cámara y brazo Depth Vision

El extremo está equipado con una cámara de profundidad de luz estructurada binocular de alto rendimiento, que permite a DOFBOT-PRO calcular la distancia, la forma, el volumen de altura y otra información del objeto en el espacio 3D basándose en los datos RGB, las coordenadas de posición y la información de profundidad del objeto objetivo, mejorando así la autonomía y la inteligencia del brazo robótico para lograr más proyectos de IA.

Reconocimiento de nubes de puntos de profundidad 3D

DOFBOT-PRO puede obtener el mapa de profundidad, el mapa de color y el mapa de nube de puntos del entorno de detección a través del APl correspondiente de la cámara de profundidad. Luego, obtiene los datos RGB, las coordenadas de posición y la información de profundidad del objeto objetivo.

Medición de distancia de la cámara de profundidad

Al obtener los datos de la nube de puntos de profundidad del objeto, se puede obtener la distancia entre el objeto y la cámara de profundidad. Luego, se puede ubicar, clasificar y rastrear el objeto en el espacio 3D.

Medición de la altura del objeto de destino

Al obtener los datos de la nube de puntos de profundidad del objeto, se puede identificar la altura del objeto y, luego, se pueden eliminar los objetos con una altura anormal.

Medición del volumen objetivo regional

Al obtener los datos de la nube de puntos de profundidad del objeto, se puede identificar la forma y la altura del objeto y, luego, se puede medir el volumen del objeto.

Ordenar y agarrar en el espacio 3D

Clasificación y agarre en el espacio 3D [código de máquina/forma/color]

Al calcular las coordenadas 3D del código de la máquina en la imagen, el brazo robótico puede ordenarlo en la ubicación especificada según el contenido del código de la máquina. (Los principios del proceso de clasificación por forma y color son los mismos).

Clasificación de basura

Yahboom proporciona bloques con patrones de basura. Al cargar el modelo correspondiente, DOFBOT-PRO puede identificar rápidamente diferentes "basuras" y colocarlas en el área de clasificación correspondiente.

Seguimiento y agarre en el espacio 3D

Seguimiento y agarre en el espacio 3D

Sujete el bloque y muévalo frente al brazo robótico, el brazo robótico seguirá el bloque. Cuando el bloque se detenga, el brazo robótico lo agarrará y lo colocará en la posición correspondiente.

Seguimiento y agarre de KCF

Mediante el algoritmo KCF, el brazo robótico puede rastrear el objeto objetivo especificado. Cuando el objetivo está estacionario, el brazo robótico lo agarrará y lo colocará en la posición correspondiente.

Control de simulación Movelt

DOFBOT-PRO admite la simulación Movet, que puede controlar el brazo robótico y verificar el algoritmo en un entorno virtual, lo que reduce de forma eficaz los requisitos del entorno experimental y mejora la eficiencia experimental.

Modelo de simulación cinemática URDF

Simulación proporcional según el modelo del objeto real, uso de la herramienta Movelt para control visual. Puede realizar funciones de arrastre, control de posición preestablecida, evitación de obstáculos en el movimiento del brazo robótico y otras funciones.

Control de simulación Movelt/planificación de trayectoria

Al controlar el movimiento del brazo robótico en la interfaz de simulación, el brazo robótico real puede realizar los movimientos correspondientes.

Clasificación de bloques de color

Coloque el bloque en el área de reconocimiento del mapa, el brazo robótico distinguirá automáticamente el color actual y sujetará el bloque en el área de color correspondiente en el mapa.

Reconocimiento y seguimiento facial

Detecta si hay una cara en la imagen actual, márcala y síguela después de reconocer la cara.

Parte 7 Múltiples métodos de control remoto

DOFBOT-PRO admite aplicación, control mediante manija y web para PC.

Resumen

Dofbot Pro es un brazo robótico con visión 3D de 6 grados de libertad, equipado con una cámara de profundidad 3D con luz estructurada binocular. El diseño estructural único integra el brazo robótico con visión 3D. Puede identificar con precisión la forma, la distancia, la altura e incluso el volumen de los objetos. Admite el cálculo de la posición de los objetos en el espacio tridimensional, logra un posicionamiento, agarre y seguimiento precisos de los objetos.

Compatible con Jetson NANO B01, Jetson Orin NANO 4GB, Jetson Orin NX 8GB board. A través de la GPU de la placa Jetson para la inferencia del modelo de aprendizaje automático, DOFBOT PRO puede realizar reconocimiento de basura/color/objeto, etc. Admite la adición de una pantalla táctil de 10,1 pulgadas para facilitar el desarrollo del usuario y la depuración de robots ROS. Al integrar el sistema operativo del robot ROS y el algoritmo de cinemática inversa, simplifica el control de movimiento complejo del brazo robótico 6DOF y puede realizar el control de coordenadas del robot, la planificación del movimiento, la detección de colisiones del robot, el agarre y la clasificación, etc.

En general, DOFBOT Pro es una plataforma flexible para la educación y la investigación de ROS.