智能车载终端视频分析与设计(车载视频数据应用场景)

网友投稿 977 2022-12-24

本篇文章给大家谈谈智能车载终端视频分析与设计,以及车载视频数据应用场景对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。 今天给各位分享智能车载终端视频分析与设计的知识,其中也会对车载视频数据应用场景进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!

本文目录一览:

智能视频监控系统详细设计思路

随着宽带有线和无线网络基础设施的完善以及全球安防市场需求的增长,视频监控的应用正呈爆发性的增长态势。视频监控系统的发展趋势非常明显,在经历了数字化和网络化之后,下一个重要的趋势就是智能化,即智能监控和视频分析技术的应用。
传统的视频监控由人工进行视频监测发现安全隐患或异常状态,或者用于事后分析,这种应用具有其固有的缺点,难以实现实时的安全监控和检测管理。带有智能分析功能的监控系统可以通过区分监控对象的外形、动作等特征,做到主动收集、分析数据,并根据预设条件执行报警、记录、分析等动作。智能监控系统可以运行于服务器,也可以运行在基于DSP的嵌入式系统上,而后者已逐渐成为主流。
智能视频的应用大体上可以分安防、人体行为检测和智能交通三方面的应用。其中安防应用是被广泛认为是最具潜力的市场,它包括以下几个应用类别:入侵检测,可以自动检测出视频画面中的运动行为特征;物品移除检测,可以自动检测物品搬移事件——当防区内某特定位置的物品被拿走或搬走时发出报警;遗留物检测,可以对遗弃物进行自动检测——当物品在某个防区内被放置或遗弃的时候自动报警;智能跟踪,可以使摄像机对自身的云台和变焦镜头进行自主PTZ驱动。人体行为检测应用包括脱岗检测(可以实现自动检测岗哨人员就位情况)、徘徊检测(对重要区域人体徘徊检测)。智能交通应用包括:对非法停留的交通工具进行检测,当交通工具在防区内非法停留时发出报警;车辆逆行检测,及时辨别逆行车辆。
随着准确率和可靠性逐步提高及产品成本的下降,智能视频在越来越多的场合得到了应用,它能够替代部分安防设备,降低安保人员的工作强度,提高工作效率,减少管理成本。事实上,智能视频的应用具有非常巨大的潜力。随着技术日趋成熟,智能视频技术的应用领域正在迅速扩展,这些应用主要包括上述的安防、交通以及零售、服务等行业,如人数统计、人脸识别、人群控制、注意力控制和交通流量控制等。
实时视频监测的需求正在快速增长,特别是随着实时安全监控应用的需求增加,实时发现安全隐患或目标异常行为的功能已经具有越来越重要的现实意义,智能视频监测系统产品在这种日益增长的需求带动下,正在成为视频监控应用的新热点。特别是随着半导体技术的进步,例如以Blackfin汇聚式处理器为代表的先进嵌入式解决平台方案的推出,具有极高性价比和极高实用性的智能视频分析设备不断推出,并在一些关键应用中发挥极为重要的作用。

图1:传统的视频监控应用示意图。
智能视频应用设计攻略
硬件平台方案的选择往往决定了系统的整体方案成本、性能、开发工具和方法的可用性,以及方案未来持续升级的可行性等,因此方案平台选型至关重要。智能视频应用自身的独特性要求在硬件平台的选择上进行综合权衡。视频监控系统的网络化和智能分析要求,以及大规模工程安装对成本、体积和功耗的限制,非标准化的智能视频分析方法和几乎定制化的方案优化方式,使得结合了MCU和DSP优势、具有软件设计灵活性和强大处理能力的汇聚式处理器方案平台体现出更加明显的优势。本文将结合ADI公司独特的Blackfin汇聚式DSP处理器的特点,分析智能视频设计中主要的设计技术要点。
一、硬件平台选型
可定制化能力非常重要。有很多因素制约着视频监控系统智能化的应用步伐:首先是智能监控的视频算法比较复杂,难于标准化,各个系统提供商的视频分析软件都有自己的独特算法,导致市场上的产品没有统一的标准;其次,视频监控系统的应用场景比较复杂,用户的要求多样化,所以定制化的要求比较多。因此,视频分析方案通常需要针对客户的应用特点和需求进行方案优化,采用的算法千差万别。此外,由于智能视频应用的高复杂性,对方案的处理能力提出了更高的要求。MCU+ASIC的视频监控传统方案难以实现各种个性化的设计和高运算能力要求,即使选择普通DSP+MCU的双芯片方案通常也难以满足智能视频监控应用的复杂运算需求,需要增加协处理器,这种复杂的解决方案无论是BOM成本、功耗还是开发难度都不足取。Blackfin处理器充分发挥了MCU+DSP汇聚式架构的优势,满足了智能视频应用的系统控制和高强度的运算需求,特别是以BF561为代表的高性能双内核架构已经成为智能视频应用的首选方案平台。
方案的可扩展性也是需要考虑的因素。智能视频分析应用除了需要针对应用环境、应用目的进行方案优化外,不同的客户可能还有其他方面的不同需求。例如,当前一些领先的数字视频监控方案实现了H.264基本类@Level3.0和MPEG4 D1+CIF双码流的支持,未来可能扩展到支持H.264 D1+CIF的双码流。随着智能视频分析的更广泛应用,如IP摄像机、无线视频监控、智能交通系统等,不同应用都可能对各种接口功能、通信标准、用户界面等的需求有较大的差异化,硬件平台方案对各种需求的灵活扩展性非常重要。同时,正如前文所述,智能视频分析技术发展不过数年的时间,随着技术的不断成熟以及一些相关的标准的出台和改进,产品的可升级特性至关重要,既是开发者须关注的问题也是终端客户关切的重要特性。Blackfin DSP在算法并行处理上具有独特优势,特别是ADSP-BF561采用双DSP核,能够实现很复杂的智能视频处理算法。
视频应用优化特性。一些方案尽管具有较强的处理能力和可扩展性,方案是否主要针对视频应用进行过优化设计也值得关注,因为这直接关系到设计工程师可用的软硬件设计资源以及系统设计难度和可实现的性能。以Blackfin处理器为例,Blackfin为高强度、高数据率的数字和媒体处理做了专门优化:Blackfin的几十个DMA通道和可灵活配置的Cache很好地满足了视频监控系统对大运算量、高数据吞吐率的要求;ADI专门开发了完全优化的音视频编解码器,并免费提供给大客户;针对视频应用Blackfin集成了很多硬件驱动,包括WiFi的驱动、音/视频编解码器的驱动;Blackfin的4个视频算术运算单元和视频象素指令集大大加速了视频运算速度;在智能视频分析的一些基础算子中,例如直方图统计、中值运算、Sobel运算、形态学中的膨胀运算等都可以利用Blackfin的MIN、MAX指令来消除条件跳转,节省处理器周期。不仅如此,Blackfin还支持13种非视频数据的向量运算。适当设计数据结构,在前背景分离、阈值计算和更新等多个环节都可以运用Blackfin的特色指令让智能视频分析算法更快捷。这些本身就很有效的指令中,大部分指令都能够并行执行,使得Blackfin的处理能力再加倍。
低功耗和稳定性很重要。考虑到智能视频监控设备通常都是一周7天,每天24小时运行的,稳定性和功耗也比较重要。在低功耗上,Blackfin处理器采用了多种节能技术:基于一种选通时钟内核设计,可按照逐条指令来选择性地切断功能单元的电源;支持多种针对所需CPU动作极少期间的断电模式;Blackfin处理器支持一种自含动态电源管理电路,借助该电路即可对工作频率和电压进行独立控制,以满足正在执行的算法的性能要求;大多数Blackfin处理器都提供片上内核稳压电路,并可在低至0.8V的电压下工作。而Blackfin独特的汇聚式处理架构、90nm工艺等打下了其领先的低功耗处理的基础。由于高处理能力,基于Blackfin平台的系统方案可以减少主芯片数量,丰富的功能和接口可以满足各种外设和功能扩展需求,降低元器件数量,从而保证更高的稳定可靠性。目前在同价位DSP中Blackfin DSP的低功耗特性和稳定性是最好的。
支持哪些嵌入式操作系统。智能视频分析通常是基于网络的应用,必须要操作系统的支持,因此选择具有广泛嵌入式系统支持能力的解决方案非常重要,这样能确保未来产品在更换操作系统时不至于必须更换硬件平台,保证研发成果的持续可用性。目前可用的嵌入式操作系统众多,各具优势,硬件平台方案对这些操作系统的支持能力是进行方案选型的考虑要点之一。例如,Blackfin处理器可以支持目前主流的操作系统,包括uCLinux、ThreadX、Nucleus,uCOS-II等十多种嵌入式操作系统,客户完全可以根据其自身要求选择其熟悉的或更具成本效益的软件架构基础。

图2:基于BF561的智能监控终端框图。
二、开发工具和可用资源
智能视频监控设备是一个复杂的系统,涉及到复杂的软硬件设计、人机界面、通信连接等,具有较高的系统设计难度。因此,所选择的硬件平台方案是否能提供完善的开发工具套件、必要的软件模块、成熟的参考设计、系统设计支持,以及是否有完整的设计生态系统等,对于是否能按期高质量地完成系统设计非常关键。事实上,并不是所有平台方案提供商都能提供这些支持。
以Blackfin系列处理器为例,采用Blackfin处理器的硬件平台从一般的DVR、IP摄像机、数字视频监控到智能视频监控,已经被全球大量的设备企业的广泛采用。Blackfin处理器获得众多企业的青睐,具有完整的开发工具和参考设计等支持是其受广泛欢迎的重要原因之一。ADI提供业界一流的工具、初学套件与支持,包括人们熟知的、能够支持其他Blackfin处理器的ADI CROSSCORE?软件与硬件工具,这些工具包括获奖的VisualDSP++?集成开发与调试环境(IDDE)、仿真器,以及EZ-KIT Lite?评估版硬件。
为提高开发效率,降低开发难度,开发时应尽量在已有的资源上进行,比如开放的例程,ADI为此提供了非常丰富的例程和资料。例如,ADI提供免费的“Image Tool Box”图像处理函数库软件包,该软件包专门针对图像处理应用常用的数学函数进行了优化,供客户在进行应用开发时调用。ADI还提供完整的参考设计,以及由本地合作伙伴开发的评估板、开发工具、算法IP、应用模块,以及由第三方合作伙伴提供包括软硬件在内的全套交钥匙方案。Blackfin处理器的视频监控应用目前在中国已经有多家具有丰富工程经验的第三方合作伙伴,已经建立完善的生态系统。
以ADI在今年三月份宣布提供基于该公司Blackfin BF526C的完整的IP监控和机器视觉摄像头参考设计为例,该参考设计在单个汇聚处理器上提供了强大的视频和音频处理能力,为工程师提供了一个统一的软件开发环境,可以实现更快的系统调试和部署,以及更低的系统成本。该处理器提供了集成的音频编解码器、流式视频和IP协议、片上DRAM存储器以及针对10/100以太网、USB和SD存储和本地RS-232端口的接口。这种完全可编程的解决方案可以满足多种视频压缩标准,例如H.264和MPEG4,支持音频G.729标准的编码。支持从控制中心到相机的双向语音通信,以及利用Pelo-P或Pelo-D协议的镜头平移、倾斜和拉伸动作。该参考设计还提供一块带双核BF561处理器的子卡,使系统能实现更高视频分辨率,并提供实现高级视频分析功能,如运动检测和跟踪。
应用方案揭秘——亿维东方智能网络摄像机
北京亿维东方科技有限公司(Emvideo)是专业智能安防产品的方案提供商,也是美国ADI公司授权的第三方合作伙伴。亿维东方目前有多款基于ADI Blackfin处理器为核心的硬件平台的产品,其中“软件+硬件”交钥匙的WiFi无线视频监控整体解决方案基于BF536+BF561的双处理器架构,方案硬件结构图如图3所示。
其中BF536处理器作为主处理器,除负责完成音频编码、远程控制以及用户交互控制等一些基本的管理与控制外,还负责嵌入式操作系统uClinux的运行,以及先进的智能视频分析功能,可以完成安防、人体行为、智能交通等多种智能视频分析。双核BF561作为协处理器负责视频编码算法,其强大的视频处理能力使得该方案实现了H.264基本类@Level3.0和MPEG4 D1+CIF双码流的支持,未来更将可能扩展到能够支持H.264 D1+CIF的双码流。两个处理器之间可以通过高速同步串行接口通讯,视频信号首先进入BF561处理器,采集编码后的码流发送到BF536处理器,然后通过网络发送到客户端进行解码显示。

图3:采用Blackfin BF536和BF561的解决方案硬件结构图。
该方案采用了先进的背景建模方法,能有效地克服光线变化、树叶摆动以及水面波纹等背景对前景目标分析产生的干扰,实现准确的前景检测,同时在目标跟踪上采用了独特的优化算放,实现了在入侵检测(包括区域警戒、绊线检测)的应用上超过90%的准确率。而所有这些都是基于BF536+BF561双处理器的硬件架构所具有的强大处理能力来实现的。
该方案的智能视频分析功能由亿维东方公司自主开发,独特的算法和丰富的智能视频分析技术开发经验确保实现客户的智能识别应用需求,并为客户提供包括软件升级在内的完善服务。由于智能视频识别应用目前并没有任何可循的需求标准和测试标准,因此视频分析方案通常需要针对客户的应用特点和需求进行方案优化。例如有些用户是地铁系统的,他们需要的功能是检测是否跨越候车的黄线、人群密度是否过大、是否有可疑的遗留物体等;有些用户是银行系统的,他们所需要的是ATM机的智能监控如分析是否有安装假键盘、安装吞卡器,在ATM机是否有暴力行为,是否出现犯罪分子的人脸等。利用该方案,客户可以根据用户的需求方便地进行调整算法。智能视频处理要求芯片具有强大的处理能力,有许多算法实现时得采用并行处理,Blackfin DSP在算法并行处理上具有独特的优势,特别是ADSP-BF561的双DSP核能够实现很复杂的智能视频处理算法。这是传统的MCU+ASIC或采用一般DSP方案所难以实现的。
该方案的软硬件都经过了应用验证,目前已经由多家客户进行生产,目标应用将主要是政府行政效能监测、教育系统等行业用户。

智能视频分析的功能

智能视频分析首先要求用户指定一个检测区域,该检测区域可以是不规则的任意形状,然后在该区域中启用各种检测功能。智能视频分析支持的检测功能主要有: 入侵检测:主要是目标存在检测功能 通过对监控图像序列的处理和分析,识别物体入侵的行为,并且对有潜在危险的行为进行报警,以避免危险事故的发生,从而有效地保证安全。
2.人脸识别:可利用手机、pad 等终端设备对人言进行人脸识别,读取相关信息,可用于公路人员查看人员身份,协助抓捕和寻找目标人物。
3.物体识别:通过物体识别,可以识别出刀具、枪支、危险品,在银行、商场、超市等场所可以协助安保人员提前预防危险事件的发生,保障了人员和商场的安全。
4.进入检测:检测是否有目标进入指定的检测区域。
5.离开检测:检测是否有目标离开指定的检测区域。
6.出现检测:检测是否有目标在指定检测区域内部出现。
4.消失检测:检测是否有目标在指定检测区域内部消失。
5.徘徊检测:检测是目标在指定检测区域内徘徊的时间是否超过设定的时间。
6.尾随检测:检测是否有目标尾随其它目标通过指定检测区域
7.停止检测:检测目标是否在指定的检测区域内停止超过设定的时间。
8.方向检测:检测目标是否在指定允许的方向范围内前进
9.速度检测:准确测量目标的实时速度。
10.分类检测:准确判断目标的分类,比如是车辆、人、人群、小动物等
11.高度检测:测量目标的实际高度。
12.颜色检测:检测目标的颜色属性,判断目标的某种颜色所占比例是否超过设定比例。
13.遗弃物检测:检测是否有物体遗留在指定的检测区域内。
14.物品搬移检测:检测指定区域内是否有物体被搬走。
15.火焰检测:检测指定区域内是否有明火发生。
16.烟雾检测:检测指定区域内是否有烟雾产生。
17.计数功能:可以根据指定的区域或者划线,设定各类规则进行精确计数。
18.遮挡检测:检测摄像机方向是否被改变、是否被遮挡、焦距是否被改变。
19.移动侦测:检测画面内容是否改变。
20.自动跟踪:控制PTZ球机自动追踪目标。
21.视频稳定功能:将输入的不稳定视频(手持、车载、高空抖动)稳定后输出。
22.目标密度检测:检测指定区域内是否有大量人群聚集。

智能车载终端是什么?

智能车载终端(又称卫星定位智能车载终端)融合智能车载终端视频分析与设计了GPS技术、里程定位技术及汽车黑匣技术,能用于对运输车辆智能车载终端视频分析与设计的现代化管理,包括智能车载终端视频分析与设计:行车安全监控管理、运营管理、服务质量管理、智能集中调度管理、电子站牌控制管理等。

智能终端技术与应用专业主要学什么 未来从事什么工作

一、智能终端技术与应用专业主要学什么

1.专业课程
电工电子技术基础、单片机技术及应用、嵌入式技术基础、C/C++语言编程、嵌入式操作系统、智能设备应用程序开发等。
2.实习实训
在校内进行智能终端硬件选型与调试、智能终端软件应用、智能终端技术服务、智能终端维护等实训。
在智能终端硬件生产、软件应用开发、维修、技术服务等企业进行实习。

二、智能终端技术与应用专业未来从事什么工作

主要面向智能终端应用开发、智能终端硬件选型与调测、智能终端硬件应用、智能终端维修等行业,在工程技术岗位群,从事智能终端硬件应用、智能终端软件应用、智能终端技术服务、智能终端维修等工作。

本专业培养德、智、体、美全面发展,具有良好职业道德和人文素养,掌握智能终端技术与应用的基础知识和基本技能,具备智能终端硬件选型与调测、智能终端软件应用设计与开发、智能终端维修与技术服务的能力,从事智能终端硬件应用、智能终端软件应用、智能终端技术服务和智能终端维修等工作的高素质技术技能人才。

汽车智能网联技术学啥内容

智能网联汽车主要是设计到电子信息技术相关的研究智能车载终端视频分析与设计,这里也细分成很多研究方向智能车载终端视频分析与设计,这里主要是包括三个部分:汽车和设施关键技术、信息交互关键技术和基础支撑技术,下面将这三大类技术展开说说:
一、汽车和设施关键技术
这里又分为小大类研究方向,主要是在汽车自动驾驶和无人驾驶方面的一些感知和决策技术,包括环境感知技术、智能决策技术和控制执行技术三个方向。
1.环境感知技术
其中环境感知技术主要是研究汽车对于行驶环境的感知,包括雷达探测技术、机器视觉技术、车辆姿态感知技术、乘员状态感知技术等。
2.智能决策技术
智能决策技术主要是对环境感知方面采集的数据进行处理,然后决策如何操作汽车,这里包括行为预测技术、态势分析技术、任务决策技术、轨迹规划技术、行为决策技术。
3.制执行技术
聚焦于对车辆控制方面的研究,包括关键执行机构、车辆纵向横向和垂直运动控制技术、车间协同控制技术等。
二、信息交互关键技术
这里主要研究智能汽车信息传递、处理和相关安全方面的内容。分为四方面的技术,包括专用通信与网络技术、大数据、平台技术、信息安全。
1.专用通信与网络技术
汽车专用的通信技术,包括短程通信技术、无线射频通信技术、LTE-V通信技术、移动自组织网络技术等。
2.大数据
智能汽车中会不断的产生大量的数据,有汽车行驶的性能数据,有信息传递的数据等,包括非关系型数据库技术、车辆数据关联分析与挖掘技术等。
3.平台技术
包括信息服务平台和安全及节能决策平台。
4.信息安全
顾名思义就是盐焗汽车信息的安全。包括车载终端信息安全技术、手持终端信息安全技术、路测终端汽车安全技术等。这一块的研究在未来也是重中之重,因为汽车的安全涉及到整个交通系统的安全和城市的安全。
三、基础支撑技术
这一块包括的内容就比较多了,包括导航与地图技术、基础设施的建设、车载硬件平台、车载软件平台、人因工程、整车安全架构还要各个城市的相关法律和标准。 关于智能车载终端视频分析与设计和车载视频数据应用场景的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。 智能车载终端视频分析与设计的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于车载视频数据应用场景、智能车载终端视频分析与设计的信息别忘了在本站进行查找喔。

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:flutter 任务分发(flutter 菜鸟教程)
下一篇:泸州一体化政务服务平台(泸州网上政务大厅)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~