人与无人机集群多模态智能交互方法

来源 :航空学报 | 被引量 : 0次 | 上传用户:wangfc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对人与无人机集群交互式协同感知问题,借助深度学习技术,构建了基于语音和手势双模型自主识别集群编队协同控制的交互框架,并提出了一种基于双通道切换的通道融合机制,从而实现多模态交互。使用百度云平台基于流式多级截断注意力(SMLTA)的语音识别模型,采用深度学习平台进行了自训练,在应用场景下的准确率由80.10%提升至97.98%。结合Kinect V2的深度信息与骨骼信息,构建与训练了基于特征融合的卷积神经网络(CNN)手势识别模型,平均精确率为98.33%,相较于传统决策树模型提升了1.16%,相较于传统CNN模型提升了0.33%。最后,在机器人操作系统(ROS)-Gazebo训练场景下进行了仿真验证和实物验证。实验结果表明:提出的交互框架能有效控制无人机集群进行编队,语音通道、手势通道和通道切换的指令执行成功率均达90%以上,且具有较高的交互效率。
其他文献
进入21世纪以来,机器人的发展已经到了空前强大的地步,在工业生产,科技制造和生活家居等各领域到处都能见到机器人的身影。传统单一功能的机器人已经不能满足先进生产力的需要。近些年来,机器视觉技术越来越成熟,视觉系统和工业机器人结合成手眼系统,赋予工业机器人视觉能力,使其更加智能,能够适应不同的工作环境,灵活性大大增强。工业机器人与视觉系统结合,为了使手眼系统更协调,首先要进行手眼标定,手眼标定就是要找
相比电池储能,飞轮储能具有功率密度高、瞬时功率大、响应速度快等优点,可有效缓解地铁频繁启停对母线电压的冲击。由于我国地铁直流供电网络多为1500V电制,两电平变换器无法用常规1700V电压等级器件实现安全驱动,因此,本文提出了基于NPC(Neutral Point Clamped)型三电平变换器的高速磁悬浮飞轮同步载波控制技术。首先,建立了三电平驱动系统稳态及换相动态过程的等效模型,分析了驱动电压
作业是初中英语课堂教学的延伸和补充,是巩固所学知识、落实核心素养的关键,也是检验学生学习质量、掌握学生学习效果的重要参考,更是教师调整和制定教学方案的重要依据。当前,我国初中英语作业一直面临着作业繁重、低效化的现象,难以满足英语核心素养下的教学目标。在这一背景下,闭环式作业设计理念已在课堂教学中得到了初步尝试,并取得了一定的成效。本文就以此出发,分析了当前初中英语作业设计现状,并基于闭环式作业内涵
<正>急性肺栓塞是一种死亡率极高的并发症,在临床中一旦发生往往很难抢救成功,内外科中又以外科为多见,但发生在手术台上的更为少见,作者自2017年8月至2018年5月近1年时间里碰倒2例手术台上的急性肺栓塞,经及时发现、及时明确诊断和及时治疗,1例成功获救,1例死亡。现报告如下:
会议
<正>同事老贾两年前为投资在郊区买了一套房,去年夏天终于宣告交房,那边的房价却因位置较偏、各类配套设施不够完善等客观条件不行,越来越不“争气”。更郁闷的是,上个月,业主群里有人发小区北面山头的照片,但见光秃秃的山头上零星散落着几十个坟头和墓碑。原来,房子夏天交房,那会儿草木葱郁,看不到一片茂密下的坟地。待草木凋零,被植被掩藏的坟头和墓碑就“暴露”了。
期刊
机器人标定通常借助相机、激光等传感器设备,得到机器人与传感器之间的转换关系,进而基于这些转换关系进行抓取、碰撞检测等通用作业。现有的机器人标定方法大多操作复杂、对末端作业工具安装精度要求高,且需要昂贵的传感器设备等。标定完毕的机器人本体,在执行作业任务时通常需依赖目标识别技术以辨识代加工物体,但现有的常用目标识别算法如RCNN、YOLO等系列算法的识别效果尤其是针对小目标物体的识别准确率仍有一定的
大数据背景下,大学生深度利用网络,能拓展视野、促进学习、提升职业技能。安全制度不够健全、安全意识不够强、安全教育不受重视、安全教育内容不够全面及教育手段比较单一是大学生网络安全存在的主要问题。高校应该通过完善网络安全制度、强化网络安全意识,丰富网络安全教育内容与手段等方式加强大学生网络安全教育。
随着信息技术的发展,近几年内大数据、人工智能、云计算等信息技术等应用已经覆盖生活的方方面面。尤其是随着“互联网+”概念的提出,信息技术除了广泛被运用在医疗、电子商务等行业外,也开始慢慢渗透到教育行业中。其我们熟知的多媒体教学、在线课堂、直播等都是在互联网+背景下,利用信息技术融合学科来达到在线教学的发展和兴起。其在初中学校,“互联网+”背景下信息技术已经广泛地渗透到不同的学科中。今天笔者就带大家简
“政策承诺”是《外商投资法》中出现的新概念,《外商投资法实施条例》中将其定义为“地方各级人民政府及其有关部门在法定权限内,就外国投资者、外商投资企业在本地区投资所适用的支持政策、享受的优惠待遇和便利条件等作出的书面承诺”。政策承诺规则的目的在于规范地方政府引资行为,严格要求政府守约履约。但由于《外商投资法》实施时间较短,规范本身存在局限性,政策承诺规则的适用还存在着一系列问题,要使政策承诺规则在实
<正>一、出台背景《中共中央国务院关于深化投融资体制改革的意见》明确提出,"在一定领域、区域内先行试点企业投资项目承诺制,探索创新以政策性条件引导、企业信用承诺、监管有效约束为核心的管理模式。"根据省委省政府部署,
期刊