人体跟随
Hint
操作环境及软硬件配置如下:
- OriginBot机器人(视觉版/导航版)
- PC:Ubuntu (≥20.04) + ROS2 (≥Foxy)
1. 启动机器人底盘
SSH连接OriginBot成功后,在终端中输入如下指令,启动机器人底盘:
2. 启动人体跟随功能
# 从TogetherROS的安装路径中拷贝出运行示例需要的配置文件
$ cd /userdata/dev_ws
$ cp -r /opt/tros/lib/mono2d_body_detection/config/ .
#启动launch文件
$ ros2 launch body_tracking hobot_body_tracking_without_gesture.launch.py
Attention
启动应用功能时,请注意配置文件在当前运行的路径下,否则应用功能找不到配置文件,会运行失败。
3. 人体跟随效果
启动成功后,站在OriginBot摄像头前,需要让机器人识别到整个身体,慢慢移动身体,可以看到机器人已经开始跟随人体运动。
4. 上位机可视化显示
打开浏览器,访问机器人的ip地址,即可看到视觉识别的实时效果。
5. 原理简介
人体跟随功能为控制机器人跟随人体移动,由MIPI图像采集、人体检测和跟踪、人体跟随策略、图像编解码、WEB展示端组成,流程如下图:
详细原理讲解请见:
https://developer.horizon.ai/college/detail/id=98129467158916314
人体检测与跟踪的源码请见:
https://developer.horizon.ai/api/v1/fileData/TogetherROS/box/box_adv/face_body_skeleton.html