基于视觉交互技术的采摘机器人系统设计.pdf

基于视觉交互技术的采摘机器人系统设计 苏文芝 济源职业技术学院 河南 济源 nullnullnullnullnullnull 摘 要 以草莓采摘作业过程为研究对象 对草莓自动采摘时出现的损伤现象进行分析 提出一种利用机器视 觉交互实现草莓准确识别定位的自动采摘系统 并搭建草莓采摘机器人电气控制模块和机械模块 同时进行系 统验证试验 结果表明 在相同的作业环境条件下 在图像采集时进行光源辅助 能够有效提高采摘作业可靠 性 通过对不同条件下采摘作业时间进行统计 得出草莓采摘机器人完成单个草莓采摘作业的时间约为 nullnullnull 此 采摘系统可为智能化采摘机器人的设计提供技术参考 关键词 采摘机器人 草莓采摘 机器视觉 末端执行器 中图分类号 S225 TP242 文献标识码 A 文章编号 1003 188X 2023 08 0228 03 0 引言 随着农业生产过程机械化程度的不断提高 水果 自动化采摘已经成为当前农业自动化程度的标识 null 受水果外观特性的限制 草莓采摘过程大多依靠人工 进行作业 采摘效率低 劳动强度大 成本高 导致收 获时期草莓采摘滞后而造成浪费 null 草莓采摘机器 人通过夹持机构对草莓进行夹取 并使用随机刀具进 行草莓茎切断 当草莓的形状和大小不同时需要准确 进行夹持力和受力部位的控制 否则会出现草莓损伤 现象 nullnullnull 因此 需要设计一种通过机器视觉进行草 莓高精度识别和夹持控制的定位机构 以有效解决采 摘过程中出现的损伤问题 笔者通过对草莓种植采摘过程进行分析 设计了 一种基于机器视觉的草莓精确无损采摘机器人 可实 现草莓自动化采摘 同时确保采摘过程中草莓无 损伤 1 采摘机器人整体设计 草莓采摘机器人包含机械 电气及机器视觉 null 部 分 如图 null 所示 其中 机械部分包含移动装置 末端 执行器以及草莓收集装置 电气部分包含机器人电 源 电机 控制器以及驱动模块 机器视觉系统主要包 含图像采集传感器 视觉分析系统以及信号传输 收稿日期 nullnullnullnullnullnullnullnullnullnull 基金项目 河南省 十三五 规划项目 nullnullnullnullnullnullnullnullnullnull 河南省青年骨 干教师项目 nullnullnullnullnullnullnullnullnullnullnull 作者简介 苏文芝 nullnullnullnullnull 女 河南安阳人 副教授 工程硕士 nullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull 装置 nullnullnull 草莓采摘机器人控制系统将控制器与末端执行 器连接 实现不同装置之间的信息交互 协同完成草 莓采摘作业 null 图像采集传感器获取草莓图片 并将 图片数据传输至控制器进行图像处理 识别草莓形状 和大小 同时 将识别信息反馈至电机驱动器 计算草 莓与末端执行器之间的距离 根据移动速度计算末端 执行器开始工作时间和工作结束时间 末端执行器 移动至草莓正下方后 迅速向上移动 将草莓夹持 在 拉力作用下草莓茎被拉断 完成草莓采摘作业 null 图 null 为草莓采摘机器人作业流程图 图 null 草莓采摘机器人系统结构图 nullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnull 年 null 月 农 机 化 研 究 第 null 期 DOI 10 13427 ki njyi 2023 08 002 图 null 采摘机器人作业流程图 nullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnull 2 采摘机器人视觉系统设计 草莓采摘机器人图像采集传感器是一种像素 nullnull 万的视觉传感器 能够与控制器连接 实现草莓图像 采集识别 在工作过程中 图像采集传感器实时进行 图像采集 并将图像数据上传 控制系统根据图像信 息数据 对图像中每一个像素点进行识别 并根据草 莓颜色阈值进行图像判断 识别草莓的成熟程度 判 断草莓是否需要采摘 nullnull 草莓采摘机器人通过对图像传感器采集到的图 像数据特征进行识别 将草莓图像从草莓植株中识别 出来 在采摘作业过程中可通过手动设置颜色阈值的 方式来进行草莓判断 草莓采摘机器人末端执行器能够根据图像信息 有效进行草莓状态判断 从而调整末端执行器的作用 力 提高采摘作业过程可靠性 nullnull 整个控制过程不 需要对图像信息进行精确的识别 仅需要判断图像区 域内是否存在设定的 nullnullnull 阈值信息和像素点的阈值 即可完成草莓成熟程度的判断 当该区域内存在符合 采摘要求的草莓时 机器人末端执行器即可进行作 业 在草莓成熟程度识别过程中 对草莓颜色进行识 别是最直接有效的识别方法 在 null 个采摘作业循环完 成后即可转入下一次作业循环 图 null 为草莓采摘机 器人视觉识别流程图 草莓机器人机器视觉识别过程主要包含图像采 集和图像处理两个过程 图像采集过程用于对草莓图 像进行采集 控制系统同时对草莓图像进行处理 实 现草莓的识别和位置确定 图像处理过程主要完成草 莓图像内的颜色提取 同时对每一个像素点的 nullnullnull 值 进行提取 并与设定的颜色阈值进行判断 从而识别 出草莓的成熟程度 图 null 采摘机器人视觉识别流程图 nullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnull 3 采摘机器人电气系统设计 草莓采摘机器人电气系统交互模块用于对用户 进行状态显示 可通过按键指令输入的方式进行草莓 颜色阈值或采摘作业速率等作业参数设定 nullnull 采摘机器人传感器主要包含图像采集传感器 光 电距离检测装置及位置传感器 其中 视觉传感器用 于对草莓进行图像采集 根据草莓图像信息判断草莓 的状态及成熟程度 作为控制器的输入指令用于判断 是否需要进行采摘 光电距离检测装置用于对草莓采 摘末端执行器到草莓之间的距离进行检测 避免采摘 过程中出现末端执行器损坏或造成草莓损伤的现象 位置传感器用于对末端执行器的位置进行复位 同时 根据位置传感器的信号值判断末端执行器是否处于 控制系统原点 在采摘作业过程中 当末端执行器复位至控制系 统原点时 机器人驱动电机开始作业 图像采集传感 器不断进行图像采集处理 并判断草莓的成熟程度 当需要采摘时 驱动电机开始工作 并执行采摘动作 如图 null 为采摘机器人控制系统工作流程图 nullnullnull nullnullnullnull 年 null 月 农 机 化 研 究 第 null 期 图 null 采摘机器人控制系统工作流程图 nullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull 4 系统测试分析 采用机器视觉搭建草莓采摘机器人作业系统 并 分别在白天 黑天 晴天 阴天 无光源辅助 有光源辅 助以及不同环境交叉条件下进行采摘作业 试验过 程中 每种条件设定 nullnullnull 个采摘目标 采摘完成后统 计采摘成功率及单个草莓采摘作业时长 验证草莓采 摘机器人作业过程的稳定性及作业效率 采摘作业 试验数据如表 null 所示 由表 null 可以看出 在同一环境条件下 在图像采 集过程中进行光源辅助 能够有效提高采摘成功率 同时缩短单个草莓的采摘时间 提高采摘作业效率 在不同的采摘环境条件下 采摘机器人完成单个草莓 的平均采摘时长为 nullnullnull 表 null 采摘作业试验数据 nullnullnullnullnull null nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnull 试验条件 总目标数 null个 采摘数 null个 采摘成功率 nullnull 总采摘时间 nullnull 单个采摘时间 nullnull 白天 无光源辅助 nullnullnull nullnull nullnull nullnullnullnull nullnullnullnullnull 白天 有光源辅助 nullnullnull nullnull nullnull nullnullnull nullnullnullnull 黑天 无光源辅助 nullnullnull nullnull nullnull nullnullnullnull nullnullnullnullnull 黑天 有光源辅助 nullnullnull nullnull nullnull nullnullnullnull nullnullnullnullnull 晴天 无光源辅助 nullnullnull nullnull nullnull nullnullnullnull nullnullnullnullnull 晴天 有光源辅助 nullnullnull nullnull nullnull nullnullnull nullnullnullnull 阴天 无光源辅助 nullnullnull nullnull nullnull nullnullnullnull nullnullnullnullnull 阴天 有光源辅助 nullnullnull nullnull nullnull nullnullnullnull nullnullnullnullnull 5 结论 草莓采摘机器人利用机器视觉自动进行草莓图 像采集 并根据图像颜色进行草莓识别和草莓成熟度 判断 生成是否需要采摘的控制指令 作业过程中 采摘机器人末端执行器根据识别结果对草莓进行夹 持采摘 并有效控制夹持作用力 避免采摘过程出现 损伤现象 试验结果表明 设计的草莓采摘机器人能 够有效完成采摘作业 作业过程可靠 结构简单 紧 凑 可为机器视觉采摘机器人的推广提供理论基础 参考文献 null 倪江楠 石新龙 null基于光学导航的采摘机器人系统设计及 定位方法研究 null null农机化研究 nullnullnullnull nullnull null nullnullnull nullnullnullnullnull null 王万丽 null基于云平台和计算机控制系统的采摘机器人仿真 设计 null null农机化研究 nullnullnullnull nullnull null nullnull nullnullnullnullnull null 白克 null基于 nullnullnull 和机器视觉的采摘机器人智能控制系统 设计 null null农机化研究 nullnullnullnull nullnull null nullnullnull nullnullnullnullnull null 王飞涛 樊春春 李兆东 等 null机器人在设施农业领域应用 现状及发展趋势分析 null null中国农机化学报 nullnullnullnull nullnull null nullnullnullnullnull nullnullnullnull null 徐雪峰 黄余 null基于机器视觉的机器人智能采摘实验平台 开发 null null中国农机化学报 nullnullnullnull nullnull nullnull nullnullnull nullnullnullnullnull null 杜文龙 徐雪峰 null基于视觉的机器人采摘实验平台设计与 实现 null null智能计算机与应用 nullnullnullnull nullnull null nullnull nullnullnullnull null 王宏波 null机器视觉在西红柿采摘机器人中的应用 null null南方 农机 nullnullnullnull nullnull nullnull nullnullnull null 高新浩 王占山 温贻芳 等 null基于景深传感技术的水果采 摘视觉定位系统设计 null null湖北农机化 nullnullnullnull nullnull nullnull nullnullnullnull null 张青 陶睿志 丁苏生 等 null基于机器视觉的智能草莓采摘 机器人结构设计与试验 null null蚌埠学院学报 nullnullnullnull null null nullnullnullnullnullnull nullnull 李娜娜 null基于 nullnullnullnull 图像传感器的采摘机器人嵌入式视 觉系统 null null农机化研究 nullnullnullnull nullnull null nullnullnull nullnullnullnullnull 下转第 nullnullnull 页 nullnullnull nullnullnullnull 年 null 月 农 机 化 研 究 第 null 期 null null佛山科学技术学院学报 自然科学版 nullnullnullnull nullnull null nullnullnullnullnullnull nullnull 韩新风 null基于 nullnullnullnullnullnull 无线传感网络的自动灌溉控制系统 设计 null null绵阳师范学院学报 nullnullnullnull nullnull null nullnull nullnullnullnull nullnull 蔡彬 缪子梅 褚琳琳 等 null基于无线传感网络的茶园智能 化喷灌系统 null null节水灌溉 nullnullnullnull nullnull nullnull nullnullnullnull nullnull 谢振伟 马蓉 赵天图 等 null基于 nullnullnullnullnullnull 无线传感器网络 的棉田节水灌溉系统设计 null null江苏农业科学 nullnullnullnull nullnull nullnull nullnullnullnullnullnullnullnull nullnull 蒋新启 韩天峰 null无线传感网络下的智能灌溉体系设计和 研究 null null农业开发与装备 nullnullnullnull null nullnull nullnullnullnull nullnull 郑向歌 任平英 null基于 nullnullnullnullnullnull 的无线传感器网络在土壤 墒情监测中的应用研究 null null科技与创新 nullnullnullnull null null nullnullnull Intelligent Optimization of Irrigation System Based on Wireless Sensor Network Technology nullnullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnull Abstract nullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnull nullnullnull nullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnull nullnullnullnull nullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnull nullnullnullnull nullnullnullnull nullnullnullnull nullnullnullnull nullnullnull nullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnull nullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnull null nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull Key words nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnull nullnullnullnull nullnullnullnull 上接第 nullnullnull 页 nullnull 初广丽 张伟 王延杰 等 null基于机器视觉的水果采摘机器 人目标识别方法 null null中国农机化学报 nullnullnullnull nullnull null nullnull null nullnullnull nullnull 宣峰 朱清智 张毅 null基于 nullnullnullnullnullnullnullnullnullnull 智能监控的苹果 采摘机器人设计 null null农机化研究 nullnullnullnull nullnull null nullnullnull null nullnullnullnull Abstract ID 1003 188X 2023 08 0228 EA Design of Picking Robot System Based on Visual Interaction Technology nullnull nullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnull Abstract nullnullnullnull nullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnull nullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnull nullnullnullnullnullnull nullnullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnull nullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnull nullnullnullnull nullnullnullnullnull nullnullnull nullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnull nullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnull nullnull nullnullnullnullnullnullnullnull null nullnullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnull nullnullnullnullnull nullnull nullnull nullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnullnullnullnullnullnull nullnull nullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnullnullnull nullnullnull nullnullnull nullnullnullnullnullnull nullnull nullnullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull Key words nullnullnullnullnullnullnull nullnullnullnullnull nullnullnullnullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnullnull nullnullnullnullnullnull nullnullnull nullnullnullnullnullnullnullnull nullnullnull nullnullnullnull 年 null 月 农 机 化 研 究 第 null 期