“无人机AI 3D APP端+WEB端+3D大屏可视化”空地一体综合管理平台

无人机控制AI 3D APP端

无人机在自主飞行过程中,无人机控制端APP可对无人机拍摄的实时视频流进行实时AI识别,匹配可见光、热红外、多光谱多种传感器。可应用于智慧城市、环保监测、消防预警、安防监控、工厂巡检、交通监测、风叶巡检、基站巡检、光伏巡检、国土调查、靶机管理、反无人机雷达校准等行业应用场景。

例如,在城市违建应用场景下,可以对红色,蓝色彩钢瓦,在建违建建筑进行AI识别。如果无人机飞行过程中识别到违建建筑,则可以使用拍照和录像功能,采集含有违建建筑的航拍数据。拍摄的照片和视频则保存到手机APP端的文件管理器中,可以按需上传至云服务端,供云端二次识别及统计分析使用。

在环保河长制应用场景下,搭载可见光相机负载时,如果无人机飞行过程中识别到水位超过预警线及河道存在漂浮物,则自动预警上报给云服务端。相应地,自动预警时触发自动拍摄的预警前后5秒的照片和视频则保存到手机APP端的文件管理器中,可以上传至云服务端,供云端二次识别及统计分析使用。

另外,还可同时搭载多光谱相机,针对可见光相机无法准确表征水质特征的缺点,基于遥感技术监测河道水质光谱信息,实现对污染区域的快速识别。

在智慧农业应用场景下,可根据农业作业需求不同,挂载可见光相机+多光谱相机。利用无人机低空飞行的特点,获取地面农作物的高分辨率图像及光谱数据,将采集到的影像数据上传到云端平台上进行AI分析,辅助农田信息数据库及专家诊断系统,提供以下三种农业服务:1、作物长势预测和施肥计算;2、病虫害状况诊断与预测;3、 作物种类识别和数量计算,自动化科学诊断,实时获取作物长势、病虫害、作物种类数量等多维度监测信息,为精准、智能化的农业管理提供决策依据,大大提高了农业植保作业的效率,降低了人工作业的工作量及人力成本。

在光伏巡检应用场景下,可挂载可见光+热红外相机, 根据事先规划的航线,在指定区域内自动飞行,通过热红外相机自动识别温度异常区域,可见光相机拍照取证,巡检光伏面板,进行全覆盖无遗漏扫描拍摄,检测并发现面板各类故障和污迹、遮挡,分析故障原因,提出消缺整改方案,出具检测报告。支持多次巡检数据对比分析;巡检报告包含每个故障点的参考位置信息、故障类型、热红外/可见光原始拍摄照片,拍摄时间等,可作为外场检修的依据。

具体功能模块如下:

  • (1)小地图可显示无人机实时位置及返航点位置,无人机机头朝向,方便飞手判断飞行姿态,安全飞行。
  • (2)AI测绘模式(含矩形区域测绘,航带测绘):匹配APP端实时视频流AI识别功能,实现区域内自动拍照采集数据,web端自动分析数据,自动出具巡检报告。传统测绘模式(多边形区域测绘):用于正射影像拼接及倾斜摄影三维建模的数据采集。
  • (3)拍照功能、录制视频、航拍图片及视频文件轨迹分类管理。
  • (4)PSDK、OSDK通讯模块,可定制接入第三方负载硬件。预留多光谱相机数据源接口、热红外相机数据源接口。
  • (5)飞行姿态数据实时更新显示功能,包括飞行状态、GPS卫星信号状态、遥控器及图传状态、电量、可飞行时间、飞行高度、飞行相对距离、飞行速度等。
  • (6)核心模块:通过无人机控制端APP,无人机可以实现区域内全自主飞行+实时视频流AI识别+自动化采集数据三合一功能,APP兼容市面上所有ARM架构手机平台,并针对AI芯片优化加速。

"WEB端+3D大屏可视化"空地一体综合管理平台

APP端采集的航拍数据上传到云服务端后,云端对含有目标(如违建建筑等)的航拍数据进行自动分析,飞完即可出具飞行区域的违建巡检报告。巡检报告可统计每次无人机飞行的航线名称、无人机飞控序列号、航线类型、飞行高度、航向重叠率、旁向重叠率、主航向角度、规划时间以及无人机的起飞降落时间、起飞地点、飞行时长等,并通过航拍对比分析,将多次飞行在相同区域中AI识别的目标进行比对。

1)、对比上一次飞行,区域中目标数量减少多少(已处理多少目标)

2)、对比上一次飞行,区域中目标数量增加多少(新增多少目标)

3)、对比上一次飞行,区域中目标数量未增加(未处理目标)

AI目标识别模型是由前期无人机采集的100-200张目标照片,进行人工标注,由AI云系统进行训练得到。如果出现识别错误的情况,可以继续增加无人机采集照片标注用于训练样本,在多次训练后,识别精度会大大提高和完善,目前可达到90%以上识别精度。

相对于传统的历史照片比对方法,实现的识别精度更高,且不受时间限制。如针对违建建筑,传统的是采用两期影像比对的方法,即将现在无人机拍摄的照片和历史照片(如一个月前拍摄的)进行图像帧差比对,找出两幅同一地点拍的照片之间的差别。这种方法存在如下缺点:1.需要历史照片,若没有,则该方法不可用,在时间上受限制。2.准确度较低,一般在50-60%。由于是找图像差别的地方,通俗比喻,若某家在屋顶晾晒了一大片衣服,而对应的历史照片里并没有,则该一大片衣服也会被识别为违建。

本系统采用AI目标识别的方法来替代传统的影像比对方法,虽然前期需要采集100-200张违建照片进行训练,但是没有需要历史照片的限制,随时可以使用,且识别准确度较高,可以达到90%甚至更高。且训练成的AI违建识别模型可以复用,不需要像传统影像比对那样,需要不停地去采集数据,比对数据,可以复用于具备相同违建特征的不同城市中,比如都有蓝色或红色彩钢瓦搭建的违建工棚等,大大节约人力成本。

另外,目前传统的影像比对方法大部分是基于单机软件平台,只能将无人机sd卡里航拍照片拷贝到电脑上使用,操作步骤繁琐,且容易数据混乱丢失。单机软件方式采用授权码方式提供给客户使用,注册使用不便于多用户管理。并且,云平台相比单机软件方式,具有可快速定制化开发,易于对接政府、企业现有信息管理平台数据等优势。

特色功能:

基于空中无人机AI三维巡检系统,辅助地面端AI监控系统,通过多传感器(可见光、热红外、负载IOT传感器等)融合,通过地物AI目标识别(违建屋顶、垃圾堆、河道漂浮物、排污口、车辆、行人等),热红外监测(排污口、烟火,行人等),空中污染气体监测、空中水质光谱监测等第三方IOT负载技术赋能,无人机可以从自动机场起飞,实现无人值守全自主巡检,飞完即自动生成巡检报告,返航机库。最终以三维无人机实景模型构建“3D GIS一张图”大屏可视化空地一体立体综合管理平台,可直观高效地管理城市的人、地、事务、组织等情况,直观地展示空地一体化数据,从而赋能智慧城市智能化、无人化、精细化、立体化管理,,以“空中天眼”实时保障城市运行安全,以新质生产力赋能低空经济。特色功能如下:

1. 云端无人机设备、地图相册、视频管理。

2. 云端多路视频直播。

3. 云端实时三维飞行轨迹监控、高精度倾斜摄影模型建模、Web GIS定制分析。

4. 无人机控制端APP实现区域内全自主飞行、实时视频流AI识别、自动化采集数据、AI芯片加速。

5. 云端二次AI识别,自动管理分析数据,自动出具巡检报告。

6. 云端跨平台多浏览器支持、电脑端、大屏幕端、手机端无缝兼容。

7. 云端IOT接入、匹配无人机PSDK/OSDK负载硬件。

8. 端云一体、兼容大疆全系列机型。

9. 多数据源接口:可见光、热红外、多光谱、雷达、自动机场。

10. 三维GIS“一图式”大屏可视化系统,可将整个云平台的云端设备管理模块、云端图片AI识别分析模块、云端视频直播模块、云端2D飞行轨迹模块、云端3D飞行轨迹模块、云端视频管理模块、云端信息管理模块的数据在大屏幕上一体化显示,并提供开放数据接口无缝对接其他WEB管理平台,如智慧城管地面信息系统。

11. 平台支持基于三维激光点云或实景三维模型对桥梁、电塔、通信塔、建筑、矿山、港口工地塔吊、厂房等立面目标进行三维航线规划,生成三维航线和航拍点,由无人机从自动机场远程自主起飞执行巡检作业。平台可对多条三维航线进行管理及查询,包括航线名称,创建时间,修改时间,飞行速度等,还可对三维航线进行可视化模拟飞行预览。

12. 平台已实现从三维实景或点云模型外部导入或快速建模>工单任务>三维航线规划>无人机接受任务工单自主巡检拍照上传自动>映射三维地图拍照点>照片AI识别及人工辅助>自动化出具巡检报告的整个巡检数据流的闭环运转。

13. 平台可提供管理者“无人机低空巡查助手”微信小程序,配套无人机AI三维巡检云平台,对无人机低空飞行巡检识别到的各类信息进行地图相册式数据统计和报告展示,方便管理者实时掌握整个动态巡查数据,统筹顶层决策。

14. 平台支持多类型应用场景,包括针对广域目标监测的室外应用场景(如城管、社区、园区、河湖、农田等),针对立面精细目标检测的室内外应用场景(风机、电塔、通信塔、工业塔、客机、地下矿等)等。

具体功能模块如下:

(1)云端设备管理模块

包括多台无人机的产品序列号,飞控序列号,民航局民用无人机登记号,设备名称,品牌,型号,无人机类型,注册时间等的管理及查询。

(2)云端地图相册模块

将采集的航拍图片(AI识别结果图)按照拍摄地点在地图上分布式显示。

(3)云端图片管理模块

将采集的航拍图片集中管理,包括图片预览、查询、复制链接、下载原图(含批量下载)、下载AI识别结果图(含批量下载)、删除、图片位置、清除AI识别缓存、AI识别、AI分析统计等功能。具备定制化的AI目标识别功能,可以自动标注目标,进行统计分析。点击模块下内置的AI识别按钮后,可以显示AI识别结果图,且可以显示每一个识别结果的种类及置信度(AI识别判断结果的参考概率),并可手动删除识别错误的结果。

(4)云端视频管理模块

将采集的航拍视频集中管理,包括滑动快速预览,播放,下载等功能。

(5)云端视频直播模块

将无人机飞行过程中云台相机的视频流实时在云端同步播放。

(6)云端2D飞行轨迹模块(含实时轨迹监控)

可实时监控多台无人机的实时2D飞行轨迹,地图包括卫星图层、路网图层、交通图层。且每一次起降飞行记录可以在飞行历史中保存,包括飞控序列号、起始时间、结束时间、飞行时长、2D飞行轨迹等记录。

(7)云端3D飞行轨迹模块(含实时轨迹监控)

可实时监控多台无人机的实时3D飞行轨迹,功能包括卫星底图、多种三维飞行视角(跟踪视角、上方视角、侧方视角)等。且每一次起降飞行记录可以在飞行历史中保存,包括飞控序列号、起始时间、结束时间、飞行时长、3D飞行轨迹记录、倾斜摄影模型加载等功能。

(8)云端倾斜摄影模型定制模块

用于加载无人机倾斜摄影模型,格式可以为3d titles,osgb(需转换)等。

(9)云端Web GIS分析定制模块

测量功能包含长度量算,面积量算。可以按需定制淹没分析,日照分析,视频墙等功能。

(10)云端图片AI识别分析模块(含图片管理模块、地图相册模块)

除上述图片管理模块、地图相册模块的功能外,增加定制化的AI目标识别功能,可以自动标注目标,进行统计分析。

(11)云端IOT分析模块

主要用在无人机取水检测装置,空气检测采集装置等第三方负载硬件方面,远程控制装置及收发装置传感器数据。用于匹配无人机负载硬件,可将硬件多项传感器数据上传云端,并做数据统计分析。

(12)云端自动出具报告模块

可统计每次无人机飞行的航线名称、无人机飞控序列号、航线类型、飞行高度、航向重叠率、旁向重叠率、主航向角度、规划时间以及无人机的起飞降落时间、起飞地点、飞行时长等,并通过航拍对比分析,将本次飞行和上一次飞行在相同非重叠区域中心点上拍摄照片(无人机摄像头垂直向下,拍摄的正射影像)中AI识别的目标进行比对。对比每一个非重叠区域中心点位置上不同次重复飞行中目标AI识别结果,判断方式如下: (1)、对比上一次飞行,每一个非重叠区域中目标数量减少多少(已处理多少目标)(2)、对比上一次飞行,每一个非重叠区域中目标数量增加多少(新增多少目标)(3)、对比上一次飞行,每一个非重叠区域中目标数量未增加(未处理目标)

(13) 云端信息管理模块

以报表及图表形式统计AI识别的目标数量、状态、查处时间,支持按照时间、状态筛选报表信息。

(14)云端大屏及开放接口模块

“一图式”大屏可视化系统,可将整个云平台的云端设备管理模块、云端图片AI识别分析模块(含图片管理模块、地图相册模块)、云端视频直播模块、云端2D飞行轨迹模块、云端3D飞行轨迹模块、云端视频管理模块、云端信息管理模块的数据在大屏幕上一体化显示,并提供开放数据接口无缝对接其他WEB管理平台。

(15)反无人机雷达-综合指控模块

反无人机相控阵雷达接入无人机云平台,无人机实时飞行轨迹和雷达实时监测轨迹可在2D/3D地图中对比显示,并保存为历史记录查看。同时,可在数据库中分析对比两者轨迹,优化反无人机相控阵雷达的监测精度。两者有机结合,构成一套大型安保综合指挥控制系统,监测已方安保无人机的同时,可防范未知入侵无人机。

(16)自动机场远程航线规划模块

可实现WEB端远程规划AI航线,远程控制无人机,完成无人机无人值守全自主AI巡检。

(17)自动机场后台及大屏模块

适配自动机场,在后台及大屏端同时展示自动机场第一视角视频流、无人机云台相机视频流和自动机场工作状态参数。

(18)"自动机场+无人机"三维AI APP端模块

"自动机场+无人机"三维AI APP端可调用云端规划航线,远程控制无人机从自动机场起飞,执行巡检任务,完成后自动返航。可根据客户定制化需求,选择内嵌集成实时视频流AI识别模块,区域内自主飞行航线模块,PSDK第三方负载模块(气体传感器、光谱相机、频谱侦测设备、喊话器、探照灯等),三维模型模块(电塔、基站塔、广播塔、高层建筑等),精准三维巡检航线模块等,以满足不同行业应用的精准化需求。

"自动机场+无人机"三维AI巡检系统APP端

"自动机场+无人机"三维AI巡检系统APP端可调用可调用云端规划航线,远程控制无人机从自动机场起飞,执行巡检任务,完成后自动返航。可根据客户定制化需求,选择内嵌集成实时视频流AI识别模块,区域内自主飞行航线模块,PSDK第三方负载模块(气体传感器、光谱相机、频谱侦测设备、喊话器、探照灯等),三维模型模块(电塔、基站塔、广播塔、高层建筑等),精准三维巡检航线模块等,以满足不同行业应用的精准化需求。

人工智能、物联网、云计算技术赋能无人机产业,提供无人机软硬件端云空地一体化解决方案