论文研究 引入轮廓椭圆拟合的增强现实环境下自然手交互方法 .pdf

引入轮廓椭圆拟合的增强现实环境下自然手交互方法，李红波，黄辉，针对现有基于标识的ARToolkit增强现实技术缺少有效直接的交互手段，并且现有手势交互方法在实际应用中存在对人手动作姿态做出固定限山国武花论文在丝文仅以相邻视频帧为例说明)。最后定义特征值变化对应的交互语义,并根据已定义的语义、计算的特征值变化量以及判定方法确定人手父互语义,进一步输入增强现实系统,从而实现增强现实环境下的一种自然手父互方法。算法流程如图所示。视频视频手轮手轮廓手语增强帧二帧椭员拟现实获取值化廊合及特义处理提取征提取交互判断处理图自然手交互算法流程像二值化处理手势分割方法中一种典型的二值化方法是采取前面所述传统色彩空间的肽色模型对图像进行二值化。由于预先设定了阈值,这种方法对环境的适应性不高,鲁棒性不高,影响确亍势分割的分割效果。对此本文提出一种改进的可变阚值的方法,肤色区域判定约束条件为a≤Cr≤a+50b≤Cb≤b+50其中a∈(100140),b∈(60.85)。参数的确定方法是通过釆集当前环境中一个肤色图片(图片采取色彩空间编码),并统计采集的肤色图片所有像素值的色度值和亮度值。分别找出在αb的取值范围内能最大覆盖当前统计的所有值和值的长度为的两个区间,即为当前环境下肤色下色度佰和亮度值判定约束区间,对应区间下限即为的值。满足约束区间的像素即为肤色像素,对应像素值置为,否者置为这种方法由」是基于当前环境下肤色像素值统计而确定肤色约束区间,从而提高了算法对环境的适应性基于椭园拟合的手交互实现方法由于人于轮廓接近于椭圆,本文提出在手的轮廓提取之后引入对手的轮廓进行椭圆拟合的思想。通过分析采集的前后视频帧中拟合椭圆特征参数变化来实现对人手语义的分析和提取,椭圆特征参数如图所示,分别是椭圆倾角,椭圆长半轴半径1,椭圆短半轴半径n2,椭圆中心。图椭圆特征参数山国武花论文在丝记前后帧椭圆长半轴半径;变化百分比差值为△,记前后帧椭圆倾角变化量差值为A(D-d),记前后咴椭圆中心变化量差值为2(X-x,F-r)。若满足:Ma其中分别为第一幅视频帧拟合的椭圆的倾角和中心以及长半轴半径与短半轴半径之和,图片。根据系统需要的识别灵敏度确定,值越大灵敏度越低,人手需要在短时间内做出较为明显姿态改变系统才能做出响应,参数的设置是为了消除手抖动的影响。确定手势语义为控制虚拟物体大小,将长半轴半径变化百分比值传入増强现实渲染模块,渲染模块中根据传入的长半轴半径交化百分比值同比放大或者缩小(正值对应放大负值对应缩小)虚拟物体,实现控制虚拟物体的大小。若满足:D-dhr(△4(Dx-x, y9090A(D90其中分别为第一帧视频帧拟合的椭圆的倾角和中心以及长半轴半径与短半轴半径之和。根据系统需要的识别灵敏度确定,值越大灵敏度越低,人手需要在短时间内做出较为明显姿态改变系统才能做出响应,参数的设置是为了消除手抖动的影响。确定手势语义为控制虚拟物体旋转方冋,将枃圆倾角变化量传入増强现实渲染模块,在渲染模块中根据传入的椭圆倾角变化量旋转虚拟物体相同角度,实现对虚拟物体的旋转的控制若满足X-x, yx-x, yMax(0其中、、分别为第帧视频帧拟合的椭圆的倾角和中心以及长半轴半径与短半轴半径之和。根据系统需要的识別灵敏度确定,值越大灵敏度越低,人手需要在短时间内做岀较为明显姿态改变系统才能做出响应,参数的设置是为了消除手抖动的影响。确定于势语义为控制虚拟物体移动位移,将椭圆中心变化量差值传亼増强现实渲染模坎,在渲染模中根据传入的椭圆中心变化量差值冋比更改虚拟物体坐标,实现控虚找物体在空间平面上移动。算法描述本文算法是一种采取变阈值肽色模型对视频帧进行二值化处理,并在之后引入楣圆拟合的思想,通过椭圆特征值变化米实现对手父互语义的分析和提取,最终实现手与虚拟物体交山国武花论文在丝互的方法。具体步骤如卜:算法:引入轮廓椭圆拟合的自然手父互算法输入:当前捕获的视频帧,采取色彩空间编码。输出:手与虚拟物体之间的交互处理方法:执行以下步骤步骤取得当前帧,并将其存入缓存区,进行处理步骤采取一种变阙佰的肤色模型对图像进行二值化步骤对进行二值化处理后的图像进行于轮廓提取步骤对提取的手的轮廓进行椭圆拟合:步骤利用本文提出的基于椭圆拟合的交互方法实现手与虚拟物体,从而实现手控制虚拟物体。算法结束。算法实验和算法分析本文为了验证本文方法的可行性进行了三组实验并进行了于交互姿态比较分析。实验方案鲁棒性验证试验。在不规范手势下对本文交互方法与交互方法进行虚拟物体交互效果比较,用以验证本文算法的鲁棒性更强,从而交互用户可以更加自由地进行交互。环境适应性试验。在弱光下对本文方法与交互方法进行虚拟物体交互效果比较,进一步说明本文方法对环境的适应性更高。数据分析试验。本文采取在不同环境下,分别计算个手势指令在本文方法和交互方法下的正确识别率和丬均响应时间,以此来说明本分算法有更好的识别率和实时性。本文实验的实验坏境为系统、内存力像素摄像头、开发环境等图形库鲁棒性验证试验为了验证本文方法在不规范手势下依然能够有效的与虚拟物体进行交互,本文采取与交互方法进行对比,结果如图所小。其中,图为方法在规范手势下正确交互效果图。图为交互方法在不规范手势下交互效果图,由于中指无名指小指弯曲不够,与食指长度相差不大,这种不标准的手势影响交互方法准确识别出单食指手势,从而导致坦克炮筒不旋转。图为本文方法在规范手势下止确交互效果图。图为本文方法在无名指小指弯曲不够时交互效果图。本文方法在这种不规范手势下坦克炮筒依然有旋转,这是由于本文方法只要求手姿态近似椭圆即可进行交互。总的来说,交互方法虽然在规范于势下能正确进行交互,然而在不规范于势下却不能进行交互,在人手动作识別上具有较大局限性。然而本文方法无论在规范与不规范于势下都能做出正确响应,因此本文算法的鲁棒性更强,从而用户可以更加自由地进行交互。山国武花论文在丝交互方法在规范手热下交互效果方法在不规范手势下交互效果本文交互方法在规范手势下交互效果本文交互方法在规范手势下交互效果图鲁棒性验讦试验环境适应性试验为了验证本文方法对环境的只有高适应性,本文采取在弱光环境下与交互方法进行对比试验,结果如图所小。图为方法在在弱光环境下交互效果图。在弱光环境下方法会出现无明显响应情况,坦克炮筒并不发生旋转。图为木文方法在弱光环境下交互效果图,坦克炮筒有旋转。可以看出交互方法在弱光环境下容易产生无响应或响应延迟情况,然而本文方法在弱光环境下能做出止桷响应,因此本文算法的对环境的适应性更强图坏境适应性试验数据分析试验本文采取对个交互指令在不同环境下用本文方法与交互方法进行交互数据统山国武技论文在丝计,并计算它们对每个指令的平均响应时间以及正确响应率,如表所示。表中数据表明,本文算法虽然在正常环境规范手势下正确识别父互指令响应率略低于父互方法,然而本文方法在弱光环境下或者规范手势下正确识别父互指令的正确响应率都远优于交互方法,本文交互方法鲁棒性更高。另外从实时性角度看,本文算法在平均响应时间基本不受环境和人手势姿忞影响,识别速度也得到明显提高,实时性更优且方法更加稳定。表数据统计表本文方法交互方法光环境于势状态正确响应率平均响应时间正确响应率平均响应时间正常规范手势正常不规范手势弱光规范手热弱光不规范于势手交互姿态比较分析交互方法原理是通过分割并识别出固定手势,再根据固定手势对应的交互语义来操作虚拟物体。这种方法需要定义一个手势库,因此只能识别出已定义的手势库内的手势动作。本文方法引入于轮廓椭圆拟合的思想,根据椭圆特征偵变化来实现于与虚拟物体的交互,交互过程中只要求用户做出近似椭圆的手动作即可进行交互,不需要建立手势库。从而在手交互姿态上,木文方法对手的姿态限制性更低。交互方法实现的固定姿态主要分两种,如图所示。图中左图为交互方法控制虚拟物体大小的固定手势,右图为交互方法控制虚拟物体旋转的固定手势。图交互方法固定手势本文交互方法可采用的于热动作,如图所示。图为本文方法在掌型状态下的初始交互状态,控制虚拟物体旋转姿态,重置于型状态的于势动作姿态。图为本文方法在单食指状态下的初始交互姿态,控訇虚拟物体旋转状态的手势动作姿态。图为本文方法在双指状态下的初始交互姿态,控制虚拟物体旋转状态的手势动作姿态。图为本文方法在控制虚拟物体移动的手势动作姿态。同时图手势动作调整到图手势动作姿态过程中可实现控制虚拟物伓大小。掌型旋转掌型掌犁重置单指山国武花论文在丝单指旋转双指双指旋转拳型图本文方法交互于势动作结论在增强现实领域,因为通过人于百接进行交互是一种更符合人们行为习惯的交互方式,学者们敛力于手与虚拟物体的交互技术研究。本文在此背景下提出一种基于椭圆拟合,通过椭圆特征值变化实现手与虚拟物体间交互的方法。本文方法的优点在于实时性较高,人手自由度较高,交互用户能够更加舒适地进行交气,同时有着对环境高适应性的优点。之后为了验证这些优点,本文取了在不同光照不同规范级别手势的环境下与父互方法进行了大量对比试验,验证了本文方法的这些优点。然而,本文方法在扩展交互的多样性上有所不足,因为椭圆特征值的限制导致操作指令数量级受到较大限制。在下一步工作中,将进一步对本算法进行优化。本算法的关键就是对椭圆特征值的确定和交互语义的理解。如果对这一环节有另样的理解和突破,将有助于护大延展操作指令的多样性。参考文献孙源陈靖智能手机的移动增强现实技术研究训算机科学史亨帧王昱等基于的手指识别增强现实系统设计长江大学学报武汇岳张凤军基于视觉的于势面关键技术研究计算机科学盛君上毅刚基于手指交互系统设计长江大学学报