多元化应用驱动手势操作介面技术增温

    智慧型行动装置发展快速，针对行动应用而言，传统键盘、滑鼠与萤幕组构的HCI人机交互机制，在键盘与滑鼠使用上会有许多应用环境条件限制，其滑鼠应用已大部分转由行动装置萤幕触控感测取代，但在不适合以触控操作的使用情境下，仍需找寻可替代的人机交互应用方案…
在众多HCI(Human Computer Interaction)人机交互设计方案中，虽然行动装置导入萤幕触控方案，已可解决绝大部分的操作应用需求，但实际上在消费性电子或非消费电子的设计应用中，触控的人机交互设计方案也会碰到不少限制，例如具备防水功能的行动装置若在水中使用屏幕的电容触控功能可能会遭遇无法进行操作，或是使用者在利用平板电脑检视食谱同时进行料理时，就不适宜透过沾染食材的双手进行屏幕触控操作行为。

HP　Envy　17　Ultrabook是首款整合Leap　Motion手势感测器的笔记型电脑，使用者可用双手凌空操控电脑。HP

   
g-speak空间操作系统为感测操控者双手手势动作进行对应操作指令转换，亦可支援多人协同操作互动。Oblong Industries
扩展触控HCI先天限制 手势操作应用加温
而当触控可能在不同应用情境出现使用障碍，对产品开发商而言，也必须另辟蹊径提供使用者更多HCI型式的应用可能，而在多种成熟的HCI选项中，目前已有声控、手势指令、搭载感测器的穿戴配件等搭配，建构触控人机互动技术以外的人机操作选项。
以声控人机介面来说，声控操作在一般社交环境中并不适合，因为发出声控指令只会让操作者在群众中显得古怪，另操作内容也会涉及隐私相关问题，反而是手势指令的HCI人机互动机制，在现在绝大部分的行动装置都有搭载高解析度前镜头(front camera)，甚至可透过多镜头与辅助设计改善单镜头无影像深度分析的缺陷，透过影像分析技术方案，也可透过手势影像分析撷取必要的手势指令。
手势操作概念前卫 实用价值高
尤其是手势指令的HCI应用架构，在Microsoft的Kinect动作感测架构应用，已经证实商用化的实用价值，而后又有LEAP推出简化版的手势感测技术方案，可以预期利用一个或是多组影像感测器搭配强化影像深度分析的硬体架构、整合可产生描述3D空间数据的影像分析技术，可让人机互动的操作应用方案多了更多应用可能，建构如同电影《钢铁人》主人公Tony Stark利用双手手势、甚至语言指令操作电脑应用的场景，成为未来电脑、行动装置的主流操作体验。
先前提到，手势指令的人机互动设计方案，须建构在一个基本的硬体应用环境条件之下，为利用机器视觉影像分析自实际动作撷取解读操作指令，同样是发展手势操作人机互动应用方案，另一派业者反而倾向利用感测器、陀螺仪或是加速度计的精密整合，建构更精密的手势指令撷取机制，例如由Oblong Industries为Boeing在其Virtual Warfare Center开发的g-speak技术与空间性操作系统，就能让操作者透过穿戴特制手套进行相对复杂手势指令操作，也有开发商透过配戴于手臂或手腕的高精度感测器感测手部肌肉动作分析对影手势指令，虽然手势动作的撷取方式不同，但基本概念均是围绕在利用手势动作产生对应操作指令的设计型态。
手势操作应用弹性大
面对声控人机互动可能会有社交与隐私问题，手势指令操作可以在相对不干扰社交的状态下悄悄进行，加上影像感测器、影像分析相关技术持续精进，让手势操作人机互动的使用条件改善，这也是为什么手势指令近来发展快速、热门的重要关键。手势操作也可以在不接触装置的前提下让人与机器进行互动，进而减少操作者依赖滑鼠、键盘、实体按钮操作，而手势操作基本上与语音辨识/语音指令或其他新颖的人机介面整合并不会产生冲突，甚至可以透过不同操作机制共同建构更完善的人机操作体验。
除了透过摄影机搭配影像追踪方案组构的手势指令解读、分析外，在一般行动装置、智慧型手机使用相当普遍的加速度计、陀螺仪等MEMS(Micro Electro Mechanical Systems)微机电系统元件，也可透过手部的挥动动作、角度、力道感测进行动作指令解析，若采行相对感测精度更高的多轴陀螺仪方案，将可较机器视觉的影像动态辨识提供更准确的手势动作解析资料，尤其在穿戴式运算产品来说，若整合成智能手环、戒指等穿戴设备，可以进行的手势辨识动作也会较透过机器视觉辨识的人机介面更不受感测环境限制，提供更高自由度的感测采集资料条件。
消费性电子产品整合手势操作  提供新颖设备操控体验
新一代的手势指令辨识应用，其实不光使用在消费性电子产品，若辨识用的机器视觉摄影装置基础条件更好(如辨识度更高、解析度更高)，也可进一步发展可搭配脸部辨识功能的加值应用，例如在笔记型电脑产品中，Intel就有针对Ultrabok产品加入多种加值脸部辨识功能，对于大多定点使用的笔记型电脑产品也具备极佳的整合优势。由于摄影元件在解析能力与采样速度已经达到足够解析操作动态指令的条件，善用Camera-Inclusive Systems的优势也不光仅在笔记型电脑应用，像是多家主流电视制造商也尝试在新一代智能电视产品导入机器视觉应用，利用高效能的摄影机搭配嵌入式系统进行手势或是身体动作辨识，达到不需要遥控器就能控制电视选台或音量调整功能，相关应用已在中/高阶产品中导入量产。
而手势指令的应用情境，特别适合必须避免分心的操作环境中，例如在智能汽车应用发展中，驾驶者操控多种电控设备，就相当适合导入「手势」来取代原有的电控装置人机互动操作型式，例如原本需要驾驶者进行寻找实体按钮、进行开关或选取设定程序，就可以利用特殊的手势指令在感测区块中做完操控手势动作，由于少了驾驶需低头搜寻按钮位置与进行对应设定的过程，也能让驾驶更专注于原有的车辆操控工作上。
手势HCI应用多元
手势操作的便利性与优势在于，操控者不须与设备直接接触即可进行相关应用，这在于特殊的操作情境中是相当实用的设计，例如，无法精确进行按钮或是设定功能时，若操控者基于卫生、安全或是操作限制不能接触设备，利用手势辨识进行操控就能解决设备应用难题。
在近距离与行动装置或是穿戴式设备互动，手势指令可以取代HCI输入设备设置困难的问题，若是对应中长距离的操控应用，例如对应智能电视、娱乐电玩、工业设备等，手势指令可以扩展到感测更大的体态动作，非接触式的操控优势可以在这类应用场景发挥其设计优势。
发展手势HCI指令可能困境
发展手势指令在技术上目前并无技术瓶颈需要克服，基本上手势HCI主要是透过嵌入式机器视觉(embedded vision)来实现，但目前从视讯撷取部分技术方案多元，如撷取讯框的解析度从基础的QVGA到1080p都有，讯框自24~60fps不等，硬体与开发资源目前处于较多元的发展状况，在选择对应的技术方案反而较难就已有的技术方案快速撷取所需资源进行整合，另手势发展小尺寸应用可以利用高精密的动作分解操作指令，指令的设计也可以相当直观易理解，但若发展中长距离的大动作指令时，反而是各厂设计各行其事，也会令使用者在不同产品间较难延续惯用的使用体验。
手势指令处理为利用影像撷取、影像演算法处理视讯讯框，输出电脑能理解的控制指令，若要让整个HCI架构能顺畅运行且提供较佳的使用经验，即必须在撷取、分析电脑能使用的指令间的时间差缩短，免得使用者已经做完动作还得等个数秒钟等待电脑出现动作反馈，甚至在嵌入式系统资源有限的限制下还能维持高效率的系统反馈，尤其在撷取的影像品质、运算资源极其有限的条件下，仍需维持系统基本的互动反映效能，在整合设计上仍有极大的挑战仍需克服。
随着分析手势动作准确度的关键，在于撷取视讯品质与演算法效能，而机器视觉也是手势指令演算的基本核心，反而需要在系统底层提供更多运算支援，搭配可跨平台、跨系统的开发资源让相关产品可更便于整合对应操作功能，简化开发程序，甚至惯用的操作功能若能于业界倡议共用的手势操作，让不同产品可采行近似手势进行相同的控制要求，亦可让「手势」操作能更具实用价值，也能便于使用者轻松在不同设备沿用惯用的手势完成操作行为。