(12)发明专利申请
(10)申请公布号 CN 111554088 A(43)申请公布日 2020.08.18
(21)申请号 202010285651.5(22)申请日 2020.04.13
(71)申请人 重庆邮电大学
地址 400065 重庆市南岸区南山街道崇文
路2号(72)发明人 蒋建春 奚川龙 岑明 贾敬森
杨谊 胡浪 林家瑞 (74)专利代理机构 重庆市恒信知识产权代理有
限公司 50102
代理人 陈栋梁(51)Int.Cl.
G08G 1/01(2006.01)G08G 1/07(2006.01)G06K 9/62(2006.01)G06K 9/32(2006.01)
权利要求书3页 说明书14页 附图4页
G06K 9/00(2006.01)G01S 17/58(2006.01)H04W 4/02(2018.01)H04W 4/40(2018.01)H04W 4/44(2018.01)H04W 4/46(2018.01)H04W /00(2009.01)
CN 111554088 A(54)发明名称
一种多功能V2X智能路侧基站系统(57)摘要
本发明请求保护一种多功能V2X智能路侧基站系统，包括：路侧感知设备、MEC服务器、高精度定位服务、多源智能路侧感知信息融合及5G/LTE-V通信模块。设计了一种集成C-V2X通信、环境感知与目标识别、高精度定位等一体的智能路侧设备，解决智能交通中多设备信息融合和集成不便的问题。在该系统中，我们设计了一种C-V2X智能路侧系统架构和目标层多源信息融合的方法，结合路侧多源环境协同感知，利用MEC服务器中的交通调度模块实现交叉路口的实时交通调度，并且为驾驶车辆提供通信和高精度定位服务，最后通过融合处理后的目标信息按照应用层标准数据格式通过C-V2X RSU(LTE-V2X/5G V2X等)广播给其他车辆或者行人，提高驾乘与交通安全。
CN 111554088 A
权 利 要 求 书
1/3页
1.一种C-V2X多功能智能路侧基站系统，其特征在于，包括：路侧智能感知模块、MEC服务器模块、C-V2X通信模块以及高精度定位服务模块，所述路侧智能设施模块，包括摄像头、雷达和C-V2X，摄像头用于对象识别，包括行人、动物识别、车道线识别、非规则对象识别以及机动车识别；雷达用于目标识别和定位，雷达和摄像头分别对采集的目标数据进行处理，将雷达和摄像头目标层信息进行融合，包括时间融合、空间融合及观测值匹配；C-V2X通过包括5G或LTE-V在内的实时通信获取部分车辆或/和行人的运动参数；所述MEC多接入边缘计算服务器包括目标对象模式识别算法模块、信息融合算法处理模块和交通调度模块，其中目标对象模式识别算法模块用于对多源交通对象的识别和运动参数的获取；信息融合是将多元的交通对象识别结果按照信息融合算法进行处理，获得更加准确的对象参数(加速度、距离、速度、角度)；交通调度模块根据交通调度模型和算法实时控制路口交通灯。
2.根据权利1所述的一种C-V2X多功能智能路侧基站系统，其特征在于，视觉模块摄像头采用视觉来探测交通道路环境中近距离的交通对象信息，雷达模块获取近距离目标的运动状态，对近距离对象进行感知与定位，C-V2X模块可以进行远距离的对象识别与定位，弥补摄像头在遮挡情况下无法探测到对象的缺点，且发送预警消息。通过C-V2X通信，获取路侧基站覆盖范围的交通对象(如车辆、行人等)信息，通过MEC计算和统计，识别出不同的交通对象参数，如速度、位置、加速度、角度等信息，通过C-V2X通信实现对象之间的动态参数协同感知，这些协同感知信息可以为辅助安全和交通效率提供支撑服务。
3.根据权利1所述的一种C-V2X多功能智能路侧基站系统，其特征在于目标层信息融合，将视觉和雷达检测识别的目标序列与C-V2X通信获取的交通对象信息进行融合，所述雷达和摄像头空间融合具体包括：将三维世界坐标系即真实环境的信息转换到图像显示的坐标系下，统一毫米波雷达坐标系、图像坐标系、和三维世界坐标系和摄像头坐标系及图像像素坐标系，若毫米波雷达坐标系与三维世界坐标系之间，两原点之间距离为H；若目标P经过毫米波雷达探测得到的距离为R，相对角度为α，那么转换到三维世界坐标中，距离为R，相对角度为α，那么转换到三维世界坐标中，目标P距离三维世界坐标系原点的位置为：
将车辆目标假设为刚性点P，T为三维平移向量，则目标的三维世界坐标XwYwZw与摄像头位置坐标XcYcZc关系：
雷达坐标系(Xcw,Ycw,Zcw)和相机像素坐标的关系为：
2
CN 111554088 A
权 利 要 求 书
2/3页
公式中(u0,v0)为图像中心像素点，f为相机成像焦距，T为相机相对于世界坐标系的平移向量，通过Matlap工具箱对相机进行标定获得内部参数，更加精确地获取到更大范围的交通对象参数，使获得的目标信息更有效、更具可靠性，实现低时延与高可靠的融合检测，再利用MEC的处理能力，结合模式识别、聚类分析等算法，实现多源感知信息的交通对象的识别。
4.根据权利1所述的一种C-V2X多功能智能路侧基站系统，其特征在于，在摄像头和雷达信息融合中设计了一种数据关联方法，设计三角形关联门减少出现多目标时关联门之间的重叠影响，结合联合概率数据关联算法，实现量测数据与预测数据关联，解决传统关联方法的噪声影响大，不能有效对目标数据进行关联的缺点。
5.根据权利1所述的一种C-V2X多功能智能路侧基站系统，其特征在于利用路侧系统高精度定位信息和智能感知获取的交通对象位置信息，将感知的交通对象相对位置转换为基于GNSS/BD/GPS等定位系统的绝对位置信息，然后通过C-V2X进行信息传递给其他交通对象；同时，路侧基站系统也可以通过C-V2X通信获取其他车辆的GPS位置信息，通过C-V2X通信向其他交通对象广播，解决路口障碍物遮挡引起的车车位置共享通信不畅问题，从而到达协同定位。
6.根据权利1所述的一种C-V2X多功能智能路侧基站系统，其特征在于采用路侧设备作为定位基站，路侧系统将接收和计算的定位差分信号，根据定位基准站已知精密坐标，计算出基准站到卫星的距离改正数，并由基准站实时将这一数据发送出去，车辆GNSS/BD/GPS定位系统在获取到位置信息的同时，也接收到基准站发出的改正数，并对其定位结果进行改正，最后通过5G通信发送给路侧设备(RSU)，交通环境中车辆通过特定的指令发送请求获得数据，然后通过C-V2X通信共享探测定位信息，最后在地图上显示车辆分布情况，提供实时监视车辆分布情况地图服务，该方法结合C-V2X通信特性，不需要公网传递定位辅助差分信号，减少高精度定位服务成本，降低时延。
7.根据权利1所述的一种多功能C-V2X智能路侧基站系统，其特征在于在交通路口，MEC服务器获取道路交通交通对象信息，对车辆、行人等进行实时统计和聚类分析，通过MEC上的交通调度算法和模型处理后，输出交通灯控制信号和车辆诱导信息对交叉路口进行实时交通调度，对于交通灯调度，根据交通流密度进行车辆通行时间实时分配，首先路侧系统检测车辆当前位置，判断车辆是否已进入车辆统计区域，然后对限定区域的车辆进行统计，若交通密度大于设定阈值，路侧系统根据车辆速度、位置信息做出通行时间调整，限定区内各交通流的车辆通过交通灯所需要的时间：
其中，a是一个常数表示车辆的启动延时，di是进程离十字路口交通灯最远的车辆与该
3
CN 111554088 A
权 利 要 求 书
3/3页
交通灯之间的距离，vi交通流的交通速率；并且路侧向交通环境中的交通对象广播按照应用层标准设计的预警消息，车载ADAS智能系统结合V2X通信获取的目标信息做出态势估计以及路径规划，提高协同驾驶安全。
4
CN 111554088 A
说 明 书
一种多功能V2X智能路侧基站系统
1/14页
技术领域
[0001]本发明属于车联网技术领域，尤其涉及V2X智能路侧基站系统。
背景技术
[0002]随着社会的发展，智能汽车技术得到越来越广泛的运用。为了解决交通安全、拥挤堵塞问题，人们开始运用各种新技术，如信息技术、计算机技术、通信技术、控制技术等，将人、车、路紧密联系起来，由此智能交通系统(Intelligent Transportation System，ITS)应运而生，其目的就是使人、车、路三者和谐统一，提高交通效率、保障交通安全。[0003]智能交通系统(ITS)包括了环境协同感知、数据信息融合处理、传输与存储、交通控制和管理等功能。其中环境感知部分，随着互联网技术的发展、普及和成熟，进入了物联网阶段。互联网技术与传感器技术、图像处理技术、信息技术等相结合，将路侧端传感器的感知结果，通过互联网进行传输、存储和融合，然后通过5G通信技术和网络技术等，将路侧传感器感知融合结果进行实时共享，实现“人-车-路-云”的真正协同智能。[0004]当前，在自动驾驶领域，主要是通过机器视觉、雷达对车辆检测、识别以及定位，同时还可以对识别车辆的距离、位置、速度等进行检测。为了满足数据信息的可靠与有效性，将数据进行融合处理，如将路侧摄像头信息与雷达的信息融合处理，其融合方法有数据级信息融合、特征级信息融合以及目标级信息融合。[0005]如今随着智能汽车技术不断的发展，高精度定位的需求也日益迫切。车辆对环境车辆的定位从传统的基于车载传感器的形式向基于车辆自组网的协同式定位形式发展。车辆自组网网络频繁，网络拓扑结构变化快，因此要求车辆自组织网络必须满足实时性、快速性，要应复杂交通环境的变化。基适于这些要求，很多学者提出了适应于车辆自组网络领域的诸多协同定位方案。K.Ansari等运用载波相位差分技术(RTK,Real-time Kinematic)对GNSS信号进行修正，通过路侧单元与车载单元、车载单元之间的通信实现车车实时相对定位(RRP,Real-time Relative Positioning)，精度相比原GNSS信号有大幅度提升。但该方案的RTK技术需要广泛推广连续运行参考站系统(Continuously Operating Reference Stations)以及安装大量路侧单元(Road-side Unit,RSU)，对设施要求较高。[0006]除此之外，如今对网络通信要求的是实现超低时延、超高带宽和超高可靠性。5G网络对uRLLC场景下V2X的远程车检与控制时延要求为20ms，对自动驾驶时延要求为5ms。在网络中引入多接入边缘计算平台(MEC)，融合计算、存储、算法、加速以及大数据，以此降低时延。由于多接入边缘计算平台靠近道路设施、人、车以及数据源头，提供和这样的边缘智能服务平台，能够满足行业对业务实时性、数据优化处理、响应快等方面的需求。发明内容
[0007]本发明旨在解决以上现有技术的问题。提出了一种多功能V2X智能路侧基站系统。本发明的技术方案如下：
[0008]一种多功能V2X智能路侧基站系统，其包括：路侧智能感知模块、MEC服务器模块、
5
CN 111554088 A
说 明 书
2/14页
C-V2X通信模块以及高精度定位服务模块，所述路侧智能设施模块，包括摄像头、雷达和C-V2X，摄像头用于对象识别，包括行人、动物识别、车道线识别、非规则对象识别以及机动车识别；雷达用于目标识别和定位，雷达和摄像头分别对采集的目标数据进行处理，将雷达和摄像头目标层信息进行融合，包括时间融合、空间融合及观测值匹配；C-V2X通过包括5G或LTE-V在内的实时通信获取部分车辆或/和行人的运动参数；所述MEC(多接入边缘计算)服务器包括目标对象模式识别算法模块、信息融合算法处理模块和交通调度模块，其中目标对象模式识别算法模块用于对多源交通对象的识别和运动参数的获取；信息融合是将多元的交通对象识别结果按照信息融合算法进行处理，获得更加准确的对象参数(加速度、距离、速度、角度)；交通调度模块根据交通调度模型和算法实时控制路口交通灯。[0009]进一步的，对于多源的交通对象感知模块，包括视觉模块、雷达模块、C-V2X模块，视觉模块采用视觉来探测交通道路环境中近距离的交通对象信息；雷达模块获取近距离目标的运动状态，对近距离对象进行感知与定位；C-V2X模块进行远距离的对象识别与定位，弥补摄像头在遮挡情况下无法探测到对象的缺点，且发送预警消息。[0010]进一步的，一种C-V2X多功能智能路侧基站系统在基于C-V2X通信的协同感知方面，合理的分配多个传感器去识别多个未知目标，生成传感器组合对未知目标进行感知，采用贝叶斯网络推理技术对目标进行综合识别，设传感器网络中出现的目标种类为S，在某一个管控周期k，采用A部不同类型的传感器探测B个未识别目标，其观测特征向量值为Zk＝(z1,z2.....zn)，则根据贝叶斯理论对目标的判决概率P为：
[0011]
式中，p(Zk|xi)为目标探测的先验概率，p(xi)是目标类型xi出现的概率，p(Zk)是测量值Zk出现的先验概率；进一步，通过信息熵来描述目标环境的“不确定性”，在多目标协同感知过程中，假设有A部传感器，未识别目标有B个，各传感器对目标的探测是互相的，则在k时刻系统感知信息熵为:
[0013]
[0012]
式中Z1:K表示传感器在第1个周期到第k个周期目标特征组合，pi(x|Z1:k)表示已知
目标特征组合Z1:k的前提下，对第i个目标识别的贝叶斯判决概率，在实时探测过程中整个网络共享传感器的信息，因此传感器网络的信息熵是动态变化的则传感器网络每次探测目标的信息增量I定义为:[0015]Ik＝Hk(p)-Hk-1(p)[0016]Ik越大，说明传感器网络的分类不确定性越大，进一步多传感器对目标进行协同感知；然后通过C-V2X通信，可以将车与车之间的速度、位置、加速度、角度等信息相互共享，行人从移动设备获取道路车辆的速度、位置、加速度等信息，车车之间通过自身速度和车车之间距离做出建议操作，如：刹车、加速、加速；行人在通过交通路口时，MEC服务结合当前车辆的速度、位置信息，做出判断，推送预警消息给行人所持移动终端设备；5G/LTE-V通信主要负责数据通信，包括路侧道路交通信息的接收，周围车辆数据的获取以及车消息的广播发送，5G/LTE-V通信的低时延、高速率满足智能基站系统实时性，保障路侧设施模块、多源
6
[0014]
CN 111554088 A
说 明 书
3/14页
信息融合模块、车载终端以及MEC服务器之间的有效运作。[0017]进一步的，对于一种多源对象感知信息融合方法，本发明设计目标层信息融合方法，将视觉和雷达检测识别的目标序列与C-V2X通信获取的交通对象信息进行融合，更加精确地获取到更大范围的交通对象参数，使获得的目标信息更有效、更具可靠性，实现低时延与高可靠的融合检测；在进行摄像头和雷达信息融合过程中，首先固定雷达坐标A(X0Y0Z0)和摄像头坐标B(X1Y1Z1)，对雷达坐标和摄像头坐标进行时空校准，然后对一段交通路口进行标定，选择固定间距连续标定点a0(X2Y2Z2)、a1(X3Y3Z3)、a2(X4Y4Z4)......an(XnYnZn)，建立一个交通路口坐标系网络，进一步对标定点、摄像头和雷达坐标进行转换，通过高精度定位获取到某一范围内目标位置信息，确定某一点位置信息，然后将其坐标转换到标定的世界坐标系，接着再对所获取的位置坐标附近某一范围进行匹配检测，最后将路侧雷达与摄像头所检测的目标序列信息实时融合处理；进一步的，对于基于MEC对交通对象识别过程主要包括数据采集、数据预处理、特征提取、分类、识别，按照应用层标准将采集到的数据进行储存，采用去噪、滤波、数据清洗等方法先对数据进行预处理，然后利用Haar矩形特征对数据进行特征提取，进一步对数据特征进行分类，再通过聚类模型得到识别结果。[0018]进一步的，所述雷达对采集的目标数据进行处理，具体包括：[0019]对毫米波雷达数据进行处理：毫米波雷达开始工作后，系统的数据接收模块对雷达数据进行接收，毫米波雷达在工作的每个周期内将检测到的目标信息以ID列表的方式通过USB-CAN接口传送给MEC服务器，CAN总线的一帧数据就是毫米波雷达检测到一个目标的信号，这一帧数据包括了这个目标的完整的检测信息，接着对获取的信息进行解析，解析的信息有目标的直线距离、角度、相对速度、宽度信息以及目标的状态，还包括对雷达信号进行滤波。
[0020]进一步的，所述对雷达信号进行滤波具体包括：以连续五帧数据为一个数据窗，第一帧为当前时刻输入，最后两帧的数据为留用数据，中间第三帧数据作为当前时刻输出队列数据，每帧数据包含相对距离、航向角度、相对速度，即[dkiα基于数据窗内数据，对kivki]，输出队列数据进行判定，检查数据窗内第三帧数据与前后两帧数据的差值大小是否小于阈值，计算公式：
[0021]
[0022]式中，j∈(±4,±3,±2,±1)，分别为相对车距、相对角度、相
对车速的阈值，当第三帧数据与前后两帧数据的差值满足小于阈值时，判定输出队列中的目标为有效目标。[0023]进一步的，对摄像头图像数据处理具体包括：接收摄像头检测到的原始图像信息，对摄像头输入的图像进行预处理，即过滤掉无用的背景区域，缩减目标的像素，得到感兴趣的区域，对有效目标的图像进行处理，采用水平SOBEL算子对图像进行滤波处理，得到图像的水平梯度信息，采用的水平算子为：
7
CN 111554088 A
说 明 书
4/14页
[0024]
然后选择恰当的阈值，对含有车辆目标的视屏图像施加二值化处理，使图像灰度
化，基于Haar-like矩形特征训练出多级弱分类器。[0026]进一步的，所述基于Haar-like矩形特征训练出多级弱分类器具体包括：[0027]Haar-like矩形特征提取：选取尺寸H*S的图片，H表示图片长度，S表示图片宽度，特征矩阵大小h*s，h表示选择矩阵的长度，s表示选择矩阵的宽度，采用水平矩阵特征积分计算Haar-like特征值，像素点(x,y)其左上方所有像素点之和为：
[0028][0029]
[0025]
其中I(x,y)为点(x,y)处的像素值，(x′，y′)表示待处理点像素值，采用增量积分计算像素点(x,y)左上方所有像素点之和：
[0030]SAT(x,y)＝SAT(x,y-1)+SAT(s-1,y)+I(x,y)-SAT(x-1,y-1)[0031]其中SAT(-1,y)＝SAT(x,-1)＝SAT(-1,-1)＝0，对于w*h大小的矩形内像素和的Haar特征值FHaar计算方式为：
[0032]FHaar＝SAT(x-1,y-1)+SAT(x+w-1,y+h-1)-SAT(x-1,y+h-1)-SAT(x6w-1,y-1)计算Haar特征数量n：
[0033]
[0034]
式中X＝H/w，Y＝S/h，将灰度化的图片按照所选用的Haar特征进行积分图处理后，
输入至Adaboost算法中进行机器学习训练，在每一轮训练过程中，给训练集中的数据一个不同的权重，并用一个向量来存储每个样本的权重参数，从各个弱分类器得到最后的强分类器，对每个分类器分配一个权重系数α：
[0035]
式中，ε为分类器错误率，最后根据多个弱分类器的加权平均得到最终的强分类器，将采集的正负样本图片统一归一化尺寸，然后使用OpenCV_createsamples.exe生成正样本描述文件并转换为vec向量文件，通过Opencv haartraining程序得到目标分类器，训练好车辆检测分类器cardetection.xml文件后，使用OpenCV中cvHaar DetectO bjects类结合分类器文件实现目标检测。[0037]进一步的，所述雷达和摄像头空间融合具体包括：
[0038]将三维世界坐标系即真实环境的信息转换到图像显示的坐标系下，统一毫米波雷达坐标系、图像坐标系、和三维世界坐标系和摄像头坐标系及图像像素坐标系，若毫米波雷达坐标系与三维世界坐标系之间，两原点之间距离为H；若目标P经过毫米波雷达探测得到的距离为R，相对角度为α，那么转换到三维世界坐标中，距离为R，相对角度为α，那么转换到三维世界坐标中，目标P距离三维世界坐标系原点的位置为：
[0036]
8
CN 111554088 A[0039][0040]
说 明 书
5/14页
将车辆目标假设为刚性点P，T为三维平移向量，则目标的三维世界坐标XwYwZw与摄
像头位置坐标XcYcZc关系：
[0041]
[0042]
雷达坐标系(Xcw,Ycw,Zcw)和相机像素坐标的关系为：
[0043]
公式中(u0,v0)为图像中心像素点，f为相机成像焦距，T为相机相对于世界坐标系
的平移向量，通过Matlap工具箱对相机进行标定获得内部参数。[0045]进一步的，所述雷达和摄像头时间融合具体为：时间上的融合指的是将雷达传感器的数据和摄像头的数据在时间上进行同步，采用多线程分别处理毫米波雷达数据、摄像头图像数据和融合两者数据，以此达到时间上的同步，因为摄像头的频率高于毫米波雷达的频率，所以每次先接收毫米波雷达的数据，同时通过触发操作指令接收毫米波雷达数据相应时刻的图像数据，雷达采集数据的线程返回信息时，摄像头立即采集当前时刻的图像。[0046]进一步的，在摄像头和雷达完成了时间空间融合后，各自输出目标序列，采用基于马氏距离的方法对观测值进行匹配，首先将两个数据进行判断，若两个数据相差超过一个设定值Y，就不进行马氏距离匹配计算，若满足条件则进行计算马氏距离：
[0047][0048]
[0044]
式中，wi为本周期第i个目标观测值，wk|k-1基于前k-1时刻的本周期的目标预测值，Sk向量是两个样本间的协方差矩阵，当观测值满足：
[0049][0050]
则认定此观测值有效，式中a为设定的一个阈值。[0051]进一步的，设计了一种数据关联方法，解决传统关联方法的噪声影响大，不能有效对目标进行关联的缺点。本发明设计三角形关联门减少出现多目标时关联门之间的重叠影响，结合历史观测数据间关联概率来进行状态估计的次最优算法，对多传感器多目标数据进行关联组合，通过三角形关联门选取有效量测数据。[0052]进一步的，基于C-V2X通信的高精度协同定位是利用路侧系统高精度定位信息和智能感知获取的交通对象位置信息，将感知的交通对象相对位置转换为基于GNSS/BD/GPS等定位系统的绝对位置信息，然后通过C-V2X进行信息传递给其他交通对象，使网联车辆通
9
CN 111554088 A
说 明 书
6/14页
过车车通信对本车和环境车辆位置进行协同估计，GNSS/BD/GPS等定位系统获得车辆的绝对位置信息，雷达获取环境车辆对本车的相对位置信息和周围车辆对本车的相对距离与角度，车辆通过C-V2X进行信息传递，向附近车辆发送本车状态信息，同时接收环境车辆的状态信息，从而到达协同定位。[0053]进一步的，基于C-V2X通信的路侧高精度辅助定位与地图服务，将路侧设备作为定位基站，采用载波相位差分技术进行高精度辅助定位。首先路侧系统将接收和计算的定位差分信号，根据定位基准站已知精密坐标，计算出基准站到卫星的距离改正数，并由基准站实时将这一数据发送出去，车辆GNSS/BD/GPS定位系统在获取到位置信息的同时，也接收到基准站发出的改正数，并对其定位结果进行改正，从而提高定位精度，最后通过5G通信发送给路侧设备(RSU)，交通环境中车辆通过特定的指令发送请求获得数据，然后通过C-V2X通信共享探测定位信息，最后在地图上显示车辆分布情况，提供实时监视车辆分布情况地图服务。
[0054]进一步的，对于基于MEC服务器的交通调度和交通信息服务，MEC服务模块包含了多源智能路侧感知对象识别、信息融合处理、目标聚类分析、目标运动参数处理、交通调度等，各部分数据处理后按照应用层标准数据格式通过C-V2X RSU(LTE-V2X/5G V2X等)广播给其他车辆或者行人。MEC服务器获取道路交通交通对象信息，对车辆、行人等进行实时统计和聚类分析，通过MEC上的交通调度算法和模型处理后，输出交通灯控制信号和车辆诱导信息对交叉路口进行实时交通调度，对于交通灯调度，根据交通流密度进行车辆通行时间实时分配，首先路侧系统检测车辆当前位置，判断车辆是否已进入车辆统计区域，然后对限定区域的车辆进行统计，若交通密度大于设定阈值，路侧系统根据车辆速度、位置信息做出通行时间调整，限定区内各交通流的车辆通过交通灯所需要的时间：
[0055]
其中，a是一个常数表示车辆的启动延时，di是进程离十字路口交通灯最远的车辆与该交通灯之间的距离，vi交通流的交通速率。[0057]进一步，MEC服务器向交通环境中的交通对象广播按照应用层标准设计的目标信息，行人在通过交通路口时，MEC服务结合当前车辆的速度、位置信息，做出判断决策，推送预警消息给行人所持移动终端设备，车载ADAS智能系统结合V2X通信获取的目标信息做出态势估计以及路径规划，提高协同驾驶安全。本发明的优点及有益效果如下：[0058]本发明通过数据融合技术提高目标检测准确度，为车辆防撞预警、交通路口实时调度等提供更加低成本、高实时性、高准确性的数据，利用5G边缘云计算提高时效性，通过C-V2X实现协同感知定位，让“人-车-路-云”协同智能，提高交通效率，保障交通安全。[0059]本发明为一种多功能智能基站系统，其中包括路侧智能设施(摄像头、雷达)模块、MEC服务器模块(多源智能路侧感知对象识别、信息融合、目标运动参数处理、交通调度等)、多源智能路侧(RSU)感知信息融合模块、5G/LTE-V通信模块以及高精度定位服务模块。本发明设计了一种集成C-V2X通信、多源环境感知与目标识别、高精度辅助定位与协同定位、MEC、智能交通调度等一体的智能路侧设备，解决了未来基于C-V2X通信的智能交通协同感知、信息交互、高精度定位和智能交通中多设备信息融合和集成不便的问题。
[0056]
10
CN 111554088 A[0060]
说 明 书
7/14页
本发明结合多源智能感知信息融合技术、5G边缘计算技术和高精度定位技术，提
高交通对象检测速度和精度，提高车辆定位精度，降低通信时延，能够为车辆防撞预警、交通路口实时调度等提供更加低成本、高实时性、高准确性的数据，同时通过5G差分基站实现高精度定位，降低成本，提高交通安全性，进一步提高了“人-车-路-云”智能协同可靠性。[0061]本发明中，MEC服务器进行路侧雷达、摄像头及C-V2X获取的信息融合处理，提高了检测准确度和协同驾驶安全，信息融合算法在5G MEC服务器中执行，能够做到计算服务下沉，降低时延，提高实时性。除此之外，本发明中结合了差分定位技术实现高精度定位，解决了用户付费的问题，降低了运用成本。附图说明
[0062]图1是本发明提供优选实施例多功能智能路侧基站系统图；[0063]图2是多源交通感知模块图；
[00]图3是摄像头和雷达融合系统架构示意图；[0065]图4是摄像头和雷达信息融合流程图；[0066]图5是多源信息数据关联流程图；
[0067]图6是基于C-V2X通信的高精度协同定位示意图；[0068]图7是路侧高精度辅助定位示意图；
[0069]图8是交通信息服务与交通调度功能模块示意图。
具体实施方式
[0070]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。[0071]本发明解决上述技术问题的技术方案是：[0072]参见图1所示，本发明包括路侧感知设备(雷达、摄像头、C-v2x)、MEC服务器(多源智能路侧感知对象识别、信息融合、目标运动参数处理、交通调度等)、高精度定位服务、多源智能路侧(RSU)感知信息融合及5G/LTE-V通信模块，设计了一种集成C-V2X通信、环境感知与目标识别、高精度定位等一体的智能路侧设备。其中，智能路侧感知设备(雷达、摄像头、C-v2x)通过目标检测识别算法和模型进行目标定位、行人与动物识别、车道线识别、非规则对象识别以及机动车识别，交通对象识别过程主要包括摄像头和雷达传感器信息采集、数据处理、特征提取、分类。
[0073]摄像头和雷达传感器信息采集：在交通环境中对目标进行实时监控，当发现目标时，摄像头和雷达传感器开始工作。[0074]进一步的，对于多源的交通对象感知模块，包括视觉模块、雷达模块、C-V2X模块。视觉模块采用视觉来探测交通道路环境中近距离的交通对象信息，摄像头在识别图形方面的效率高、检测范围广、数据多，但其实时性差、使用坏境严格，探查精度及对环境的应变能力会受到不良天气(雨雾、强光、漆黑夜间等)影响。雷达模块获取近距离目标的运动状态，对近距离对象进行感知与定位，受雨雾天气影响较小，但其分辨率低、易受电磁波干扰。C-V2X模块进行远距离的对象识别与定位，弥补摄像头在遮挡情况下无法探测到对象的缺点，且发送预警消息。
11
CN 111554088 A[0075]
说 明 书
8/14页
进一步的，一种C-V2X多功能智能路侧基站系统在基于C-V2X通信的协同感知方
面，通过C-V2X通信，可以将车与车之间的速度、位置、加速度、角度等信息相互共享，行人从移动设备获取道路车辆的速度、位置、加速度等信息，车车之间通过自身速度和车车之间距离做出建议操作，如：刹车、加速、加速。行人在通过交通路口时，MEC服务结合当前车辆的速度、位置信息，做出判断，推送预警消息给行人所持移动终端设备。5G/LTE-V通信主要负责数据通信，包括路侧道路交通信息的接收，周围车辆数据的获取以及车消息的广播发送，5G/LTE-V通信的低时延、高速率满足智能基站系统实时性，保障路侧设施模块、多源信息融合模块、车载终端以及MEC服务器之间的有效运作。[0076]进一步的，对于一种多源对象感知信息融合方法，本发明设计目标层信息融合方法，将视觉和雷达检测识别的目标序列与C-V2X通信获取的交通对象信息进行融合，更加精确地获取到更大范围的交通对象参数，使获得的目标信息更有效、更具可靠性，实现低时延与高可靠的融合检测。在进行摄像头和雷达信息融合过程中，首先固定雷达坐标A(X0Y0Z0)和摄像头坐标B(X1Y1Z1)，对雷达坐标和摄像头坐标进行时空校准，然后对一段交通路口进行标定，选择固定间距连续标定点a0(X2Y2Z2)、a1(X3Y3Z3)、a2(X4Y4Z4)......an(XnYnZn)，建立一个交通路口坐标系网络，进一步对标定点、摄像头和雷达坐标进行转换，通过高精度定位获取到某一范围内目标位置信息，确定某一点位置信息，然后将其坐标转换到标定的世界坐标系，接着再对所获取的位置坐标附近某一范围进行匹配检测，最后将路侧雷达与摄像头所检测的目标序列信息实时融合处理。进一步的，对于基于MEC对交通对象识别过程主要包括数据采集、数据预处理、特征提取、分类、识别，按照应用层标准将采集到的数据进行储存，采用去噪、滤波、数据清洗等方法先对数据进行预处理，然后利用Haar矩形特征对数据进行特征提取，进一步对数据特征进行分类，再通过聚类模型得到识别结果。[0077]进一步的，设计了一种数据关联方法，解决传统关联方法的噪声影响大，不能有效对目标进行关联的缺点。本发明设计三角形关联门减少出现多目标时关联门之间的重叠影响，结合历史观测数据间关联概率来进行状态估计的次最优算法，对多传感器多目标数据进行关联组合，通过三角形关联门选取有效量测数据。[0078]进一步的，基于C-V2X通信的高精度协同定位是利用路侧系统高精度定位信息和智能感知获取的交通对象位置信息，将感知的交通对象相对位置转换为基于GNSS/BD/GPS等定位系统的绝对位置信息，然后通过C-V2X进行信息传递给其他交通对象，使网联车辆通过车车通信对本车和环境车辆位置进行协同估计，GNSS/BD/GPS等定位系统获得车辆的绝对位置信息，雷达获取环境车辆对本车的相对位置信息和周围车辆对本车的相对距离与角度，车辆通过C-V2X进行信息传递，向附近车辆发送本车状态信息，同时接收环境车辆的状态信息，从而到达协同定位。[0079]进一步的，基于C-V2X通信的路侧高精度辅助定位与地图服务，将路侧设备作为定位基站，采用载波相位差分技术进行高精度辅助定位。首先路侧系统将接收和计算的定位差分信号，根据定位基准站已知精密坐标，计算出基准站到卫星的距离改正数，并由基准站实时将这一数据发送出去，车辆GNSS/BD/GPS定位系统在获取到位置信息的同时，也接收到基准站发出的改正数，并对其定位结果进行改正，从而提高定位精度，最后通过5G通信发送给路侧设备(RSU)，交通环境中车辆通过特定的指令发送请求获得数据，然后通过C-V2X通信共享探测定位信息，最后在地图上显示车辆分布情况，提供实时监视车辆分布情况地图
12
CN 111554088 A
说 明 书
9/14页
服务。该方法结合C-V2X通信特性，不需要公网传递定位辅助差分信号，减少高精度定位服务成本，降低时延。[0080]进一步的，对于基于MEC服务器的交通调度和交通信息服务，MEC服务模块包含了多源智能路侧感知对象识别、信息融合处理、目标聚类分析、目标运动参数处理、交通调度等，各部分数据处理后按照应用层标准数据格式通过C-V2X RSU(LTE-V2X/5G V2X等)广播给其他车辆或者行人。MEC服务器获取道路交通交通对象信息，对车辆、行人等进行实时统计和聚类分析，通过MEC上的交通调度算法和模型处理后，输出交通灯控制信号和车辆诱导信息对交叉路口进行实时交通调度。进一步，MEC服务器向交通环境中的交通对象广播按照应用层标准设计的目标信息，行人在通过交通路口时，MEC服务结合当前车辆的速度、位置信息，做出判断决策，推送预警消息给行人所持移动终端设备，车载ADAS智能系统结合V2X通信获取的目标信息做出态势估计以及路径规划，提高协同驾驶安全。[0081]数据处理：分为毫米波雷达信号处理和摄像头图像数据处理。对毫米波雷达数据进行处理：毫米波雷达开始工作后，系统的数据接收模块对雷达数据进行接收，毫米波雷达在工作的每个周期内将检测到的目标信息以ID列表的方式通过USB-CAN接口传送给MEC服务器，CAN总线的一帧数据就是毫米波雷达检测到一个目标的信号，这一帧数据包括了这个目标的完整的检测信息，接着对获取的信息进行解析，主要解析的信息有目标的直线距离、角度、相对速度、宽度信息以及目标的状态等。由于毫米波雷达检测结果容易受到外界环境的干扰，实际探测时，雷达回波信号会出现数据跳跃、随机的噪声和干扰信号，因此对雷达信号进行滤波，以排除无效目标的影响，滤波方式：以连续五帧数据为一个数据窗，第一帧为当前时刻输入，最后两帧的数据为留用数据，中间第三帧数据作为当前时刻输出队列数据，每帧数据包含相对距离、航向角度、相对速度，即[dkiα进一步，基于数据窗内数kivki]，据，对输出队列数据进行判定，检查数据窗内第三帧数据与前后两帧数据的差值大小是否小于阈值，计算公式：
[0082]
[0083]式中，j∈(±4,±3,±2,±1)，分别为相对车距、相对角度、相
对车速的阈值，当第三帧数据与前后两帧数据的差值满足小于阈值时，判定输出队列中的目标为有效目标。
[0084]进一步对摄像头图像数据处理，接收摄像头检测到的原始图像信息，对摄像头输入的图像进行预处理，过滤掉无用的背景区域，缩减目标的像素，得到感兴趣的区域，对有效目标的图像进行处理，采用水平SOBEL算子对图像进行滤波处理，可以得到图像的水平梯度信息，这里采用的水平算子为：
然后选择恰当的阈值，对含有车辆目标的视屏
图像施加二值化处理，使图像灰度化，进一步，基于Haar-like矩形特征训练出多级弱分类
13
CN 111554088 A
说 明 书
10/14页
器。
[0085]
Haar-like矩形特征提取：选取尺寸H*S的图片，H为图片长度，S为图片宽度，特征
矩阵大小h*s，h为特征矩阵长度，s为特征矩阵宽度，采用水平矩阵特征积分计算Haar-like特征值，像素点(x,y)其左上方所有像素点之和为：
[0086]
其中I(x,y)为点(x,y)处的像素值，(x′,y′)表示待处理点像素值，进一步采用增量积分计算像素点(x,y)左上方所有像素点之和：
[0088]SAT(x,y)＝SAT(x,y-1)+SAT(s-1,y)+I(x,y)-SAT(x-1,y-1)[00]其中SAT(-1,y)＝SAT(x,-1)＝SAT(-1,-1)＝0，对于w*h大小的矩形内像素和的Haar特征值计算方式为：
[0090]FHaar＝SAT(x-1,y-1)+SAT(x+w-1,y+h-1)-SAT(x-1,y+h-1)-SAT(x+w-1,y-1)进一步计算Haar特征数量n：
[0091]
[0087]
式中X＝H/w，Y＝S/h，进一步，将灰度化的图片按照所选用的Haar特征进行积分图
处理后，输入至Adaboost算法中进行机器学习训练，在每一轮训练过程中，给训练集中的数据一个不同的权重，并用一个向量来存储每个样本的权重参数，从各个弱分类器得到最后的强分类器，对每个分类器我们基于它的错误率分配一个权重系数α：
[0093][0094]
[0092]
式中，ε为分类器错误率，最后根据多个弱分类器的加权平均得到最终的强分类器。进一步的，将采集的正负样本图片统一归一化尺寸，然后使用OpenCV_createsamples.exe生成正样本描述文件并转换为vec向量文件，进一步通过Opencv haartraining程序得到目标分类器，训练好车辆检测分类器cardetection.xml文件后，使用OpenCV中cvHaar DetectO bjects类结合分类器文件实现目标检测。[0095]参见图2所示，多源的交通对象感知模块包括视觉模块、雷达模块、C-V2X模块。视觉模块摄像头采用视觉来探测交通道路环境中近距离的交通对象，雷达模块对近距离对象进行感知与定位，C-V2X模块可以进行远距离的对象识别与定位，弥补摄像头在遮挡情况下无法探测到对象的缺点。进一步的，基于C-V2X通信的协同感知方面，合理的分配多个传感器去识别多个未知目标，生成传感器组合对未知目标进行感知，采用贝叶斯网络推理技术对目标进行综合识别，设传感器网络中出现的目标种类为S，在某一个管控周期k，采用A部不同类型的传感器探测B个未识别目标，其观测特征向量值为Zk＝(z1,z2.....zn)，则根据贝叶斯理论对目标的判决概率P为：
[0096]
[0097]
式中，p(Zk|xi)为目标探测的先验概率，p(xi)是目标类型xi出现的概率，p(Zk)是测
量值Zk出现的先验概率，在贝叶斯准则下，目标类型判定的依据为取最大的p(si|Zk)，进一
14
CN 111554088 A
说 明 书
11/14页
步，通过信息熵来描述目标环境的“不确定性”，在多目标协同感知过程中，假设有A部传感器，未识别目标有B个，各传感器对目标的探测是互相的,则在k时刻系统感知信息熵为:
[0098]
式中Z1:K表示传感器在第1个周期到第k个周期目标特征组合，pi(x|Z1:k)表示已知
目标特征组合Z1:k的前提下，对第i个目标识别的贝叶斯判决概率，在实时探测过程中整个网络共享传感器的信息，因此传感器网络的信息熵是动态变化的则传感器网络每次探测目标的信息增量I定义为:[0100]Ik＝Hk(p)-Hk-1(p)[0101]Ik越大，说明传感器网络的分类不确定性越大，进一步多传感器对目标进行协同感知，然后将感知的交通对象信息通过C-V2X通信将车与车之间的速度、位置、加速度、角度等信息相互共享，行人从移动设备获取道路车辆的速度、位置、加速度等信息，车车之间通过自身速度和车车之间距离做出建议操作，如：刹车、加速、加速，行人在通过交通路口时，MEC服务结合当前车辆的速度、位置信息，做出判断，推送预警消息给行人所持移动终端设备，从而实现多传感器对目标的协同感知。[0102]参见图3所示，在摄像头和雷达信息融合之前，首先确定信息融合系统的构架，融合系统架构分为视觉模块与雷达模块，视觉模块在感知过程中，具备机动车识别、行人与动物识别、非规则对象识别以及车道线识别功能，视觉模块检测识别对象后向雷达模块发送目标检测识别结果，雷达模块通过解析得到目标的位置和速度等信息，然后结合视觉模块提供的位置与速度等信息进行匹配与观测值的融合，最后将融合的结果发送到CAN总线上。参见图4所示，一种基于MEC的多源对象感知信息融合方法，将视觉和雷达检测识别的目标序列与C-V2X通信获取的交通对象信息进行匹配融合，首先对雷达和摄像头进行时间和空间融合，将三维世界坐标系即真实环境的信息转换到图像显示的坐标系下，统一毫米波雷达坐标系、图像坐标系、和三维世界坐标系和摄像头坐标系及图像像素坐标系。若毫米波雷达坐标系与三维世界坐标系之间，两原点之间距离为H；若目标P经过毫米波雷达探测得到的距离为R，相对角度为α，那么转换到三维世界坐标中，距离为R，相对角度为α，那么转换到三维世界坐标中，目标P距离三维世界坐标系原点的位置为：
[0103][0104]
[0099]
将车辆目标假设为刚性点P，T为三维平移向量，则目标的三维世界坐标XwYwZw与摄像头位置坐标XcYcZc关系：
[0105]
[0106]
进一步的，雷达坐标系(Xcw,Ycw,Zcw)和相机像素坐标的关系为：
15
CN 111554088 A
说 明 书
12/14页
[0107]
公式中(u0,v0)为图像中心像素点，f为相机成像焦距，T为相机相对于世界坐标系
的平移向量，进一步通过Matlap工具箱对相机进行标定获得内部参数。[0109]进一步对摄像头和雷达时间融合，时间上的融合指的是将雷达传感器的数据和摄像头的数据在时间上进行同步，使目标显示能够准确，一般情况摄像头的工作频率大于毫米波雷达的频率(20Hz)。因此，采用多线程分别处理毫米波雷达数据、摄像头图像数据和融合两者数据，以此达到时间上的同步。因为摄像头的频率高于毫米波雷达的频率，所以每次先接收毫米波雷达的数据，同时通过触发操作指令接收毫米波雷达数据相应时刻的图像数据，雷达采集数据的线程返回信息时，摄像头立即采集当前时刻的图像。[0110]进一步，在摄像头和雷达完成了时间空间融合后，各自输出目标序列，采用基于马氏距离的方法对观测值进行匹配，为了提高计算的效率，做了优化处理，首先将两个数据进行判断，若两个数据相差超过一个设定值Y，就不进行马氏距离匹配计算，若满足条件则进行计算马氏距离：
[0111][0112]
[0108]
式中，wi为本周期第i个目标观测值，wk|k-1基于前k-1时刻的本周期的目标预测值，
Sk向量是两个样本间的协方差矩阵。当观测值满足：
[0113]
则认定此观测值有效，式中a为设定的一个阈值。进一步，参见图5所示，在数据融合处理过程，对目标数据进行数据关联，保障同一数据来源于同一目标，对多传感器多目标数据关联组合，首先通过三角形关联门选取有效量测数据，然后利用历史观测数据间关联概率来进行状态估计的次最优算法，对各有效观测值按发生概率加权平均，从而对系统真实状态进行估计，更加精确地获取到更大范围的交通对象参数，使获得的目标信息更有效、更具可靠性，实现低时延与高可靠的融合检测。[0115]参见图6所示，基于C-V2X通信的高精度协同定位主要是利用路侧系统高精度定位信息和智能感知获取的交通对象位置信息，将感知的交通对象相对位置转换为基于GNSS/BD/GPS等定位系统的绝对位置信息，然后通过C-V2X进行信息传递给其他交通对象，使网联车辆通过车车通信对本车及环境车辆的位置进行协同估计，从而到达协同定位。基于C-V2X通信的高精度协同定位主要由GNSS/BD/GPS定位系统、毫米波雷达、C-V2X通信三大模块组成，GNSS/BD/GPS定位系统通过全球卫星定位系统获取车辆的绝对位置信息，然后将GNSS接收机获得地球经纬度坐标信息转换为局部区域的平面坐标，GNSS获得的位置信息含有噪声，进一步通过毫米波雷达获取附近环境车辆对本车的相对位置信息，毫米波雷达可获得环境车辆相对于本车的距离与角度，即环境车辆在本车局部坐标系中的位置，对于车车相对定位的方法：对GNSS/BD/GPS定位信号进行滤波，将预估车位置结果通过车车通信发送给
16
[0114]
CN 111554088 A
说 明 书
13/14页
附近车辆，同时车辆通过毫米波雷达可以探知附近环境车辆相对于本车的位置，根据雷达目标与车车通信感知的环境车辆之间的对应关系，通过他车绝对位置减去两车间的相对距离计算出本车位置：即记t时刻环境车辆i通信发送的本车位置估计为时刻本车雷达探测到车辆i的相对位置为
其中
为i车到本车的距离，
t
换算到直角坐标系位置为
为i车与本车连
线和水平x轴交的夹角，根据车辆i与本车相对定位得到的本车位置估计为：
[0116]
进一步，车辆通过C-V2X进行信息传递，向附近车辆发送本车状态信息，同时接收环境车辆的状态信息，从而到达协同定位。[0118]参见图7所示，基于C-V2X通信的路侧高精度辅助定位与地图服务，将路侧设备作为定位基站，采用载波相位差分技术进行高精度辅助定位。首先路侧系统将接收和计算的定位差分信号，根据定位基准站已知精密坐标，计算出基准站到卫星的距离改正数，并由基准站实时将这一数据发送出去，车辆GNSS/BD/GPS定位系统在获取到位置信息的同时，也接收到基准站发出的改正数，并对其定位结果进行改正，从而提高定位精度，最后通过5G通信发送给路侧设备(RSU)，交通环境中车辆通过特定的指令发送请求获得数据，然后通过C-V2X通信共享探测定位信息，最后在地图上显示车辆分布情况，提供实时监视车辆分布情况地图服务。该方法结合C-V2X通信特性，不需要公网传递定位辅助差分信号，减少高精度定位服务成本，降低时延。[0119]参见图8所示，基于MEC服务器的交通调度和交通信息服务，MEC服务模块包含了多源智能路侧感知对象识别、信息融合处理、目标聚类分析、目标运动参数处理、交通调度等，各部分数据处理后按照应用层标准数据格式通过C-V2X RSU(LTE-V2X/5G V2X等)广播给其他车辆或者行人。MEC服务器获取道路交通交通对象信息，对车辆、行人等进行实时统计和聚类分析，通过MEC上的交通调度算法和模型处理后，输出交通灯控制信号和车辆诱导信息对交叉路口进行实时交通调度。对于交通灯调度，根据交通流密度进行车辆通行时间实时分配，首先路侧系统检测车辆当前位置，判断车辆是否已进入车辆统计区域，然后对限定区域的车辆进行统计，若交通密度大于设定阈值，路侧系统根据车辆速度、位置等信息做出通行时间调整，限定区内各交通流的车辆通过交通灯所需要的时间：
[0120]
[0117]
其中，a是一个常数表示车辆的启动延时，di是进程离十字路口交通灯最远的车辆与该交通灯之间的距离，vi交通流的交通速率。[0122]进一步，MEC服务器获取道路交通交通对象信息，向交通环境中的交通对象广播按照应用层标准设计的目标信息，行人在通过交通路口时，MEC服务结合当前车辆的速度、位置信息，做出判断决策，推送预警消息给行人所持移动终端设备，车载ADAS智能系统结合V2X通信获取的目标信息做出态势估计以及路径规划，提高协同驾驶安全。
[0123]以上这些实施例应理解为仅用于说明本发明而不用于本发明的保护范围。在
17
[0121]
CN 111554088 A
说 明 书
14/14页
阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
18
CN 111554088 A
说 明 书 附 图
1/4页
图1
图2
19
CN 111554088 A
说 明 书 附 图
2/4页
图3
图4
20
CN 111554088 A
说 明 书 附 图
3/4页
图5
图6
21
CN 111554088 A
说 明 书 附 图
4/4页
图7
图8
22
因篇幅问题不能全部显示，请点此查看更多更全内容