李新
开通时间：..
最后更新时间：..
该系统基于大疆无人机开发，可以分为控制无人机飞行的移动端、对各种数据进行综合管理与分析的后台管理系统、机器学习服务集群以及接口服务器。该系统是一个无人机、飞手、任务等进行综合管理并对无人机回传数据进行管理分析的综合平台。
该系统架构如下图所示：
系统内部结构图：
2.1无人机自动执行飞行任务
用户运行App，使用手机号和密码登录系统后，进入任务列表界面：
在任务列表页面点击“查看”进入飞行任务详情界面，可对后台设定的无人机航线进行增删改查，并可将任务数据加载到无人机上，任务详情界面如下：
在任务列表界面点击“执行”进入系统主界面，点击左侧的“开始”图标可控制无人机执行设定好的飞行任务。无人机在执行任务过程中App会绘制无人机的飞行路线并记录无人机的轨迹数据和飞行状态数据，同时将这些数据实时上传到后台服务器。执行任务界面如下：
2.2实时识别无人机回传图像
在App的图像回传界面，用户可点击左侧识别按钮，选择想要识别的目标物体，开启识别线程，对回传图像进行实时识别。目前已实现了对基本物体的识别和对车牌的识别，识别效果图如下：
车牌识别
2.3精准降落
在App的图像回传界面，用户可点击左侧的“ 自动降落”按钮，在弹出的对话框中根据停机坪的位置选择降落点，界面如下：
用户选择好降落点后，点击确定，App会自动飞往降落点然后将镜头摆至垂直向下方向，开启停机坪识别线程，开启虚拟摇杆功能，在每次识别过程中计算停机坪偏离图像中心的距离，根据回传图像中停机坪的位置通过虚拟摇杆控制无人机水平移动和下降，调整无人机与停机坪的相对位置，使无人机不断接近停机坪并最终精确降落到停机坪上，降落过程效果图如下：
2.4 直播功能
用户在App的图像回传界面点击右侧的“直播”按钮，填写想要推送直播视频的RTMP服务器地址，界面如下：
点击右侧的“开始”按钮，App会将当前App界面中的运行画面进行实时推送，使用支持网络视频播放的播放器可实时查看直播内容。
无人机综合管理与智能分析平台包括无人机数据可视化概览、基本信息（部门、飞手、无人机、配件、电子围栏）管理、任务管理、现场直播、识别结果、图片视频库、消息管理、统计报表等功能。
3.1 基本信息管理
对于无人机相关的基本信息，该管理系统提供基本的查看、添加、编辑、删除、搜索功能，界面如下图所示：
3.2 任务规划
管理人员可以通过后台管理系统规划飞行任务，任务规划界面如下图所示，管理者可以在地图上选择位置点作为飞行点，并为其添加相关信息，各个位置点相连形成飞行轨迹，并将飞行任务同步到服务器以供移动端执行。
对于无人机的实际飞行轨迹会通过移动端传到服务器，同步到管理系统的实际轨迹列表中，查看实际飞行轨迹的效果如下图所示：
3.3 现场直播
点击现场直播按钮，用户可以查看指定RTMP地址的直播，如下图所示：
四、关键技术
4.1 Mobile SDK
大疆Mobile SDK是一个软件开发包，为开发者提供了控制大疆无人机的接口，该开发包封装了无人机飞行控制的基础功能（如稳定飞行、电池管理、信号传输和通信），从而简化了应用程序的开发。Mobile SDK主要包括以下内容：
1.可以导入Android或IOS应用的程序库或框架
2.飞行模拟器和可视化工具
3.示例代码和教程
4.2 图像识别相关技术
App实时识别图像的功能使用的模型和权重文件，是由Yolov2_Tiny网络模型对含有目标物体图像的数据集进行训练生成的；使用NCNN加速前向计算框架实现移动端的识别模型和权重文件的加载以及图像识别；使用Android NDK编译JNI编写的图像识别函数生成.so动态链接库供App调用，实现图像识别。
4.3 web管理网站相关技术
web管理网站开发采用vue框架，界面使用element-ui，后台接口采用spring boot框架，此外直播采用RTMP协议，地图显示与操作采用高德地图SDK。
数据库设计和原型设计：李新老师
Android App：张浩、董思远
后台接口：刘吉发
旧版后台管理网站：李新老师、邓淑芳
新版后台管理网站：邓淑芳
机器学习模型训练：刘洁、张钰
界面设计、美化（App、网站界面）：邓淑芳
开发者：刘洁、张钰、李新 (QQ:1348513)
太赫兹显像是目前可用的X光替代方案，且无辐射，对人体无伤害。本项目功能即是通过太赫兹放射源与接收设备获得反馈信号，对信号处理后形成RGB格式的图像，并对图像中的枪支、刀具、可燃油等危险物品进行自动实时识别与图像保存。
图0 软件主界面
以项目需求为依据，本系统共分解为三部分进行设计与开发：图像采集子系统、图像显示子系统与图像识别子系统，整体结构图如图1所示。
图1 系统结构图
图像采集子系统完成对太赫兹设备所接收信号的采集与处理，最终实现太赫兹信号到RGB格式的图像的转换，其功能结构图如图2所示。
图2 图像采集子系统功能结构图
图像识别子系统完成对图像中危险物品的位置和类别的识别并返回识别结果字符串，其功能结构图如图3所示。
图像显示子系统接收以上两个子系统所提供的图像和识别结果，完成显示原图像及在图像上绘制识别结果的任务，并可将疑似图像保存至本地，将识别结果保存至数据库，同时它也为其它两个子系统提供了操作参数配置，如背景提取中的背景设置，识别过程中的阈值参数等，其功能结构图如图4所示。
图3 图像识别子系统功能结构图
图4 图像显示子系统功能结构图
本系统界面可分为三部分：图像显示面板、功能配置面板以及历史图像面板。图像显示面板对应图像显示子系统的功能；功能配置面板则是对图像采集子系统中背景提取、正则化等操作规定操作参数，为图像识别子系统提供阈值、模型名称等参数设置，并提供基本的操作控制按钮；历史图像面板则是显示识别过程中保存的疑似危险物品的图像。软件整体界面如图5所示。
图5 系统界面
本系统开发语言使用了Python 2.7，UI的开发主要使用了wxPython。对THz信号的处理多涉及到线性计算，如正则化操作等，主要使用了Numpy作矩阵操作。此外在形成图像的过程中也使用了OpenCV。作为核心模块的图像识别子系统，则移植了Linux平台下的Darknet框架，使用的深度学习网络模型则采用了改善过的YoloV2以平衡准确率和识别速度。
本系统基本满足了预期项目需求，能够实时采集太赫兹信号形成图像，并对图像中的危险物品进行自动检测，历史图像的存在也提供了查阅凭借，方便实际应用中的查找和确认。在视频1中我们可以看到一段危险物品实时检测的过程，而视频2中则展示了软件的部分操作与危险品检测效果。
一、介绍
全自动水表检测系统是由山东大学软件学院智能硬件实验室和山东厚德测控技术股份有限公司联合开发。为了提高水表生产、计量领域用户的检表效率，降低人工成本，由此研发了称重式自动化水表检定系统，用于对冷水表进行批量测量、检定、校准以及其他试验工作。该系统由高速摄像机、气动阀门、精度传感器、自动化控制组件以及上位机软件组成。其通过高速相机识别梅花齿轮，下位机收集数据，上位机从下位机读取数据并进行计算，将结果显示并存储。用户可以查看历史记录，导出数据，打印数据等。
二、整体说明
2.1工作原理图
图1：设备工作原理示意图
2.2上位机主界面
图2：上位机主界面图
上位机软件与下位机控制箱采用MODBUS通讯协议，通过串口连接，实现上位机与下位机的数据的交互。可利用上位机软件对台体进行下达指令操作，实时显示每个相机、传感器读数、阀门状态，根据读取数据通过软件内部算法，计算出该表是否合格。从而让数据得以显示、存储、查询，并根据用户需求，可以导出、打印相应日期或相应表号的数据。
智能控制箱可实时采集检测台体上多路高速摄像识别信息，对上位机的指令进行响应，对检测台体的各种电子阀体、电磁泵等组件进行管控。
三、功能说明
1、模式选择设置
点击模式选择菜单按键，输入密码，可以选择管理员或普通用户模式、单排相机数量、单双排模式、是否有始动模式等进行更改，更改完成后，点击-确认，主界面点击刷新即可。
2、相机校准
在第一次检定水表过程中，可使用自动识别梅花轮功能减少准备时间，提高效率。调节好相机位置，使每一台相机屏幕区域都能够显示到梅花轮。调整完毕后，点击主界面采样按钮，在下一批水表检定时，点击校准按钮。
梅花轮在屏幕可视范围内，即可启动梅花轮自动识别。梅花轮自动识别是根据现有图像识别技术实现，如出现表盘环境复杂，图像识别失败时，请手动调节云台。
3、测试模式
第一次安装台体后，通常对系统进行测试。在停止状态下，点击测试模式按钮，进入测试模式，可以对每个阀门节点进行测试。
4、检表参数设定
管理员模式下点击参数设置按钮，弹出参数设置界面。可实现对水表脉冲当量、检表用水量、相机齿轮数等参数进行更改，更改完成后，点击确认即可。
5、表号输入
将鼠标移动到输入表号的条形框内，可以使用键盘、扫码枪等进行表号输入。
6、检定操作
同一种类型的水表可进行同一批次计量检定。
水表放入检测位后，点击自动按钮，实现水表的自动检测。依据国标计量检定规程，需进行Q3、Q2、Q1检定啊（也可以分别点击Q3、Q2、Q1进行检定）。
7、数据管理
主界面数据管理，弹出数据管理界面。根据需要可以选择按照时间段查询，可以根据表号区间查询，可以查询不同字段，查询结果可以导出到excel表格，也可以打印。
四、附图
图3 高速摄像机正视图
图4 检测控制箱正视图
图5 检测控制台图
图6 检测实际应用场景图
系统设计图
山东某公司是目前山东省本土最大的家居连锁企业，自2003年开业至今，已在济南、淄博、威海、东营、临沂、滨州、菏泽、莱芜等多地开设门店，经营面积60万平方米，年销售收入22亿元。公司经营范围涉及建材、家具、家装、家饰、家电、灯具等家居商品和服务。
公司内部使用ERP系统、仓储管理系统、物流管理系统等业务系统相对独立，没有实现互联互通，而且缺少统一数据访问接口，无法为集团内部应用和公司未来业务应用提供统一数据支持。
该公司拟发挥多元化优势，统一分散在各业务系统的数据资源，建设银座家居内部相关系统的统一数据平台，打造“统一、稳定、安全”的数据访问接口，将整个集团的各项业务数据进行有效集成，实现各个系统的互联互通及信息数据的共享使用。 四类接口服务： 基础数据接口服务、统计数据接口服务、预测数据接口服务、综合数据接口服务。本系统通过建设“一个数据平台、两大基础保障、四类接口服务”，实现银座家居内部及鲁商集团应用的统一数据接口服务平台。具体内容包括：
（1）一个数据平台：银座家居公司内部所有业务数据统一保存到数据平台；
（2）两大基础保障：通过标准规范体系和信息安全机制维护所有接口的统一、安全、可控。
（3）四类接口服务： 基础数据接口服务、统计数据接口服务、预测数据接口服务、综合数据接口服务。
整个集成平台包括：云数据库、ERP备份数据库、数据集成测试服务器、代理服务器、接口服务器、防火墙等部分。
（1）云数据库：采用浪潮云MySql5.7数据库，保存1.2 WMS+家哇帮业务数据、1.4TMS物流数据、1.5网上商城业务数据、1.6签单评价晒单业务系统(签单宝系统)等非ERP业务数据。业务系统通过定期备份或接口调用方式将数据同步到云数据库。
（2） ERP备份数据库：由于ERP业务系统在鲁商集团内部网络，外网无法直接访问。为此，我们建立ERP备份数据库供数据交换区5.3和5.4接口服务器访问。
（3） Web服务器：该服务器对云数据库、ERP备份数据库（通过5.3-5.4接口服务器）和其他业务备份数据库进行管理，统计数据库记录数，并对数据库运行状态、访问情况进行监控。我们还可以在数据集成服务器上建立云数据库的副本，提高整个数据库的可靠性。
（4）代理服务器：通过Nginx反向代理服务器实现多台接口服务器的负载均衡，并可根据业务量大小动态扩展接口服务器数量。
（5）接口服务器组：该服务器组有一台或多台接口服务器构成，负责对外提供数据访问接口，并对授权用户的访问情况进行管理。接口服务器通过浪潮云内部网络访问云数据库，通过数据交换区的接口服务器访问ERP备份数据库。接口服务器组通过IP过滤方式或用户私钥+动态密码方式，只对授权用户提供服务。
（6-7）防火墙：浪潮云数据中心和鲁商集团数据中心均建有内部防火墙。只有符合IP地址和端口要求的访问才能进入系统内部，因此数据和系统的基础安全性可以满足。
（1）MySQL数据库、Oracle数据库存储过程：其中Oracle的存储过程主要是针对ERP系统的主要数据表的历史数据量做记录，MySQL的存储过程主要是针对WMS等5个其他业务系统中的数据表的历史数据量做记录。
（2）MySQL数据库、Oracle数据库定时任务：主要是用来定时（每天02:00）执行一次上述的存储过程，用来将每天的记录数记录下来。
（3）ERP的Oracle数据库主要数据表通过创建同义词的方式来实现从库与主库的同步，接口只能在同义词上进行查询操作，无法影响主库。
（4）Springboot做6个独立接口开发、jfinal做网站整体开发。
（5）Mybatis做为mysql和oracle数据库的ORM映射框架。
（6）Ehcache做为系统缓存支持。
（7）Tomcat做为接口和网站部署的容器支持。
（8）Nginx做为负载均衡服务器支持。
系统主界面
系统总体可分为九大模块：
（1）登录、退出模块：包括系统的登录、退出功能。
（2）ERP数据库模块：包括ERP数据库的整体情况、核心数据表和历史数据量情况的监控功能。
（3）仓储数据库模块：包括仓储数据库的整体情况、所有数据表和历史数据量情况的监控功能。
（4）物流数据库模块：包括物流数据库的整体情况、所有数据表和历史数据量情况的监控功能。
（5）家哇帮数据库模块：包括家哇帮数据库的整体情况、所有数据表和历史数据量情况的监控功能。
（6）签单宝数据库模块：包括签单宝数据库的整体情况、所有数据表和历史数据量情况的监控功能。
（7）网上商城数据库模块：包括网上商城数据库的整体情况、所有数据表和历史数据量情况的监控功能。
（8）统一访问接口模块：包括查询指定手机号的消费记录(含会员卡)、查询指定手机号的会员卡号及消费记录、查询指定订单号的详情等接口的测试功能。
（9）系统设置模块：包括角色管理、权限管理、后台登录人员管理、管理员管理、日志管理、后台访问IP控制管理等功能。
山东大学：李新、刘吉发、邓淑芳
某公司项目组
