- 易迪拓培训,专注于微波、射频、天线设计工程师的培养
谈智能型视频监控
视频监控的运用不仅是应付恐怖份子的一项利器,对于窃盗、非法入侵和破坏艺术作品等犯罪行为也有很大的吓阻作用。但另一方面,它也为安全产业带来前所未有的挑战,因为传统以人为中心的运作模式现在已转变为透过大量的的视频监控资料来进行。
搜集数十亿位元组的视频资料后,要如何传送?由谁或如何来监控?如何观察及瞭解它们对安全的意义?如何优先处理重要资讯?如何将决策转化为适当的行动?如何最有效地运用有限人力?都是安全部门面临的新挑战。为避免安全人员淹没在潮水般的视频资料中,政府机构和企业转而寻求高效能DSP推动的软件智能做为解决方案。
智能型视频监控 (Intelligent Video Surveillance) 的导入对安全系统有重大意义。这类解决方案将加快数字视频取代类比的脚步。监控作业将从集中式演变为分散式,安全人员也将从监控室调派至更接近受监控的地点。因此,智能型视频监控和视频资料处理不但需要远比传统监控系统更强大的硬件,也必须更具弹性、支援多种视频标准和编码解码器,以节省大量的硬件更新成本。智能型视频监控软件的功能也远超过传统分析软件。
这类强大系统的概念听起来像是未来场景,其实它们早已是许多公用和私人设施日常作业的一部份。许多机构正在部署智能型视频监控系统以便达到效能和成本目标,安全人员则被分派到更接近受监控的地点,而不是光顾着监看萤幕。
掌握视频分析
就硬件次系统层级而言,智能型视频监控系统的元件与许多传统系统并无太大区别。它们包括撷取视频资料的数字摄影机、负责处理作业的编码器和视频伺服器、执行传输控制的路由器、储存视频的数字录放影机、显示视频的萤幕以及管理整个系统的软件。图1即为功能完整的视频监控系统。
图1:视频监控需要各种不同的设备
智能型视频监控系统的重要特色之一是透过网路的资讯,这里的资讯并非传统意义上的视讯,而是后设资料 (metadata),也就是用来描述原始视频资料 (已剥除所有冗余性和非相关内容) 的资讯。当然,系统若有必要也能同时撷取、压缩和储存原始视频串流以便将来读取和观看。
只要在网路上的重要节点加入智能判读设计,同时根据网路上传送的后设资料来运用这些智能进行决策,就能大幅提高视频监控系统的效能。举例来说:
• 视频撷取:摄影机增加的智能功能可以分辨目标类型,然后调整镜头和焦距来提供更详细的资讯。
• 资料处理:数字资料显然已成为未来的趋势,下一个重要步骤是处理庞大的原始视频以便得到仅包含重要资讯的后设资料。
• 资料传送:智能型安全网路的频宽需求较小,因为它们仅需传送数千个位元组的后设资料,而不是数百万个位元组的视频。它们还能将资讯绕到正确的网路节点,完全不需要使用者的介入。
• 决策:安全人员还能利用简单的点选界面产生规则式 (rule-based) 演算法,然后让智能型系统根据这些演算法处理后设资料
• 移动与执行:除去冗余和没有用的资讯以及将资料串流减至最小,安全人员即可在巡逻时透过行动装置监控系统,这通常能让他们更靠近监控地点。
• 备份:智能型安全功能可协助索引和储存资料以备将来使用。
聪明摄影机,聪明网路
监控系统目前大都利用数字摄影机获取资料和进行小幅的影像处理,接着将数字资料转换成模拟以便透过基础设施传送。模拟信号抵达命令中心后会再转换回数字资料以供分析和最后的储存。整个过程里,能够处理资讯的机会并不太多。
智能型视频监控系统则相当不同。它们是完全数字化和使用IP网路的系统,因为IP传输的弹性远超过传统的点对点模拟传输。每台摄影机基本上都变成智能型网路摄影机,能在通信路径的任何一个节点分析和处理视频资料。在智能型视频监控系统里,视频资料的处理绝不仅限于视频的撷取、数字化和压缩。例如ObjectVideo的Onboard™软件就提供三种额外的功能:
• 内容分析:无论任何场景,有用的安全资料都远少于背景资讯,例如建筑物和道路等静态物件以及随风摇动的树木和水面涟漪等动态物件。这些资讯会被过滤,让软件专心处理人员和汽车等真正值得关注的物件。
• 物件辨识:要成功辨识有用的安全资讯意味着软件必须进行物件分类,例如分辨出画面里的人员、动物、车辆和其他物件。就软件角度而言,物件辨识是由内容分析引擎负责执行。
• 动作分析:软件应能分辨值得注意的动作,并将这些动作与安全人员设定的规则进行比对。闯入管制区就是这类规则的一个简单例子,安全人员利用触控笔或滑鼠在背景画面绘出虚拟线来标示管制区,整个设定工作就算完成。只要是被系统认定为人员的物件跨过此界限 (例如图2的红线),他就等于触动了虚拟的「警戒线」,安全软件就会发出警告信息或通知。
图2:使用ObjectVideo的「警戒线编辑器」(tripwire editor) 来标示管制区
影像处理和统计分析技术可以辨识物件和它们的动作,但这类运算量庞大的工作需要一颗强大的处理器。DSP正是这类工作的理想选择,因为它们就是设计来执行快速傅立叶转换 (Fast Fourier) 和其他以数学方式描述影像的演算法。DSP利用这些演算法产生后设资料,再由软件根据这些后设资料将可能的问题通知安全人员。
产生有用资料
后设资料的产生是一个复杂过程,它会彻底颠覆我们对于视频的传统思维。由于视频监控是由电脑「观看」,而不是由人来观看,因此影像强化就变成一项重要需求。对比是电脑分析要求的一个很好例子。移动侦测和影像辨识演算法都要靠物件的边缘资讯才能完成,因此影像对比越高、效果就越好。德州仪器 (TI) TMS320DM6446之类的DSP不但功能强大,成本也相对低廉,它们的出现使得摄影机次系统也能支援边缘强化演算法。
系统应能追踪通过安全摄影机视角的物件,同时将相关的资讯送给动作推论引擎 (activity inference engine) 以便根据预设规则比对物件的动作,最后再由系统决定是否要采取安全措施。在这个过程里,摄影机的定位系统可能会奉命变焦、调整镜头、缩放画面或转动摄影机以便持续追踪目标物件。
这些和其他要求使得系统必须面对传统视频处理不曾遇到的重要硬件考量,也就是在影像处理和控制功能之间取得最佳平衡。从晶片硬件的角度来看,这项需求使得系统必须采用双核心架构:由一个DSP核心负责影像处理,另一个32位元的微控制器核心则执行控制功能。
智能型视频监控系统对摄影机、数字录放影机、路由器和其他网路次系统使用的DSP电路板有很多要求。例如在音频/视频方面,这颗晶片须能处理MPEG4﹐H.264﹐WMV9﹐AC3﹐AAC和WMA等多种视频和音频压缩标准,同时支援各种影像解析度,例如最常见的720 x 480像素 (D1) 或352 x 288像素 (CIF) 解析度。资料处理引擎还必须具备强大弹性,以便将来透过软件升级自动增加更多的演算法。这项要求唯有DSP之类的可程式处理器才能做到。
另外还有许多其他的影像处理演算法,例如边缘侦测、高斯遮罩 (Gaussian mask) 和各种滤波器,其中有些演算法的运算量也很庞大。智能型视频监控应用软件 (例如ObjectVideo的Onboard) 都会实作这些演算法,同时利用推论引擎和内容分析引擎等软件产生对安全人员有用的资讯。
以TI的600MHz、4800MIPS DM642为例,其可提供的运算效能远超过影像处理作业所需。实际的比例虽会随着设计不同而有所改变,但是20%到40%的处理效能比例仍是相当合理的估计。
支援多种界面语言
智能型视频监控系统将智能分散到整个网路,因此需要支援多种硬件界面。如果设计人员为了节省零件和生产成本,而将同一款双核心DSP用于全部或多数的电路板层级次系统,它就必须支援免黏接逻辑 (glueless) 的摄影机界面、各种网路连结以及存储器和储存界面。DDR2存储器界面提供快速的视频资料储存能力和视频系统弹性。远距视频监控应用还需要整合式ATA硬碟界面以便连接标准硬碟,这可用来提供本地化的视频储存功能。网路连结需要其他周边,这包括乙太网路的媒体存取控制器 (Ethernet MAC) 和USB界面在内,因为它已成为数字装置预设的即插即用界面。
对于为智能型视频监控系统设计影像处理和控制电路板或应用软件的系统开发商来说,内建丰富週边功能的处理器可以解决他们许多整合问题。只不过开发套件也必须同时提供先进的应用软件和开发环境。如TI的DM6446数字媒体开发套件就包含Linux核心及周边驱动程式、范例应用的原始程式码、应用程式界面 (API) 以及演算法程式库,这包括常见视频和音频编码解码器的试用版。
鉴识应用
智能型视频监控系统不仅能即时评估安全状况,让安全人员摆脱监看萤幕的束缚、进一步执行现场巡逻工作,它在鉴识方面也有许多优点。例如安全人员可以指定新的辨识规则,然后根据这些规则重新处理他们所储存的视频资料以便蒐集更多资料,这能帮助他们找出先前未被视为可疑的动作。此外,智能型视频监控系统的部署还能解决非法入侵以外的许多安全问题。例如员工监守自盗每年估计在美国造成100亿美元的损失,这类问题可由规则式分析技术加以解决。
结语
视频监控在过去数年里已成为许多政府和企业的优先工作。数字系统取代模拟系统的趋势已经确立,然而许多客户仍习惯将压缩后的视频传送到人员管理的命令与控制中心,却不知这其实是一种不先进的做法。
相较于串流视频的频宽需求,智能型视频监控只要在初期侦测阶段以软件取代人力就能靠着很少的影像资讯做出正确性极高的决定。内容分析引擎和推论引擎等软件智能可以分析从视频导出的后设资料,这对安全系统的各个层面都有好处。除此之外,系统还应将更多智能整合到摄影机等监控周边装置,这能进一步减轻处理负担、提高资讯品质和加快反应速度。
只要把相关资讯当成后设资料储存到硬碟或录影机,安全人员就能针对安全事件发生后数天、数週或数月的资料迅速进行鉴识分析。智能型视频监控提供广泛的应用范围以及成本和利益等诸多优势,这使它成为名符其实的颠覆性技术。
上一篇:新兴手机双处理器互连架构
下一篇:透过FPGA原型验证复杂的ASIC