一种视频数据和地理位置信息的融合方法和装置[发明专利]

(12)发明专利申请

(10)申请公布号 CN 105635616 A (43)申请公布日 2016.06.01

(21)申请号 201610055522.0(22)申请日 2016.01.27

(71)申请人中测新图（北京）遥感技术有限责任

公司

地址100039 北京市海淀区北太平路16号(72)发明人李英成 王凤 刘沛 孙新博

刘飞(74)专利代理机构北京超凡志成知识产权代理

事务所(普通合伙) 11371

代理人王术兰(51)Int.Cl.

H04N 5/76(2006.01)H04N 5/92(2006.01)

权利要求书3页 说明书11页 附图4页

()发明名称

一种视频数据和地理位置信息的融合方法和装置(57)摘要

本发明提供了一种视频数据和地理位置信息的融合方法和装置，包括：利用无人机实时获取目标区域的视频数据和视频数据的地理位置信息；对地理位置信息进行插值处理，得到与视频数据在时间和数量上均匹配的多个地理位置信息；将视频数据和地理位置信息进行压缩编码；计算获取的第一帧视频数据和第一包GPS/IMU数据之间的时间差值Δt；使用AVI对压缩编码得到的带有地理位置信息的视频数据和时间差值Δt进行封装处理，得到带有地理编码的视频数据，其通过对获取的地理位置信息中的IMU/GPS数据进行实时插值处理，使得每一帧视频数据均有对应的地理位置信息，保证了视频帧影像的地理精度，且得到的带有地理编码的视频数据具有通用性。

C N 1 0 5 6 3 5 6 1 6 ACN 105635616 A

权　利　要　求　书

1/3页

1.一种视频数据和地理位置信息的融合方法，其特征在于，包括：

利用无人机实时获取目标区域的视频数据和所述视频数据的地理位置信息；所述地理位置信息包括：全球定位系统GPS/惯性测量单元IMU数据；

对获取的所述地理位置信息进行插值处理，得到在时间和数量上均与所述视频数据的数量相匹配的多个地理位置信息；

将所述视频数据和所述地理位置信息进行压缩编码，得到带有地理位置信息的视频数据；

计算获取的第一帧视频数据和第一包GPS/IMU数据之间的时间差值Δt；

使用音频视频交错格式AVI对所述带有地理位置信息的视频数据和所述时间差值Δt进行封装处理，得到带有地理编码的视频数据。

2.根据权利要求1所述的方法，其特征在于，所述对获取的所述地理位置信息进行插值处理，得到在时间和数量上均与所述视频数据的数量相匹配的多个地理位置信息包括：

按照获取所述地理位置信息的先后顺序，依次获取连续的两个地理位置信息和所述地理位置信息对应的时间；其中，所述地理位置信息包括：Xs、Ys、Zs、ω、φ和κ六个元素；Xs、Ys、Zs分别表示三维空间中的三个坐标；ω、φ和κ分别表示物体在三维空间中三个旋转角度；

通过以下插值方程对获取的连续的两个地理位置信息中的Xs、Ys、Zs、φ、ω、κ进行插值运算

得到插值方程的斜率数据

其中，k表示斜率，b表示截距，t表示时间；和截距数据；

将计算的所述插值方程的斜率数据、截距数据以及对应的时间数据代入所述插值方程中进行计算处理，得到与所述视频数据的数量相同的多个地理位置信息。

3.根据权利要求2所述的方法，其特征在于，所述计算获取的第一帧视频数据和第一包GPS/IMU数据之间的时间差值Δt包括：

在获取到第一包GPS/IMU数据时，记录所述第一包GPS/IMU数据对应的第一时间点TGPS；在获取到第一帧视频数据时，记录所述第一帧视频数据对应的第二时间点Tvideo；计算所述第一时间点TGPS与所述第二时间点Tvideo之间的时间差值Δt。4.根据权利要求3所述的方法，其特征在于，所述使用音频视频交错格式AVI对所述带有地理位置信息的视频数据和所述时间差值Δt进行封装处理，得到带有地理编码的视频数据包括：

在AVI的文件头中添加所述地理位置信息的标识信息；其中，所述标识信息包括所述IMU/GPS数据的一下信息中的一种或多种：标识符、长度、类型、与所述视频数据之间时间差值Δt；

在AVI的数据块中依次存储插值处理得到的多个斜率数据和截距数据以及所述斜率数据和截距数据对应的时间；其中，所述数据块中还存储有获取的视频数据，所述视频数据中

2

CN 105635616 A

权　利　要　求　书

2/3页

携带有第一帧视频数据对应的第二时间点Tvideo。

5.根据权利要求4所述的方法，其特征在于，所述在AVI的数据块中依次存储插值处理得到的多个斜率数据和截距数据以及所述斜率数据和截距数据对应的时间包括：

将所述AVI的数据块的存储区域划分为视频存储区域和地理位置信息存储区域；其中，所述视频存储区域存储有获取的视频数据；

将计算得到的所述多个斜率数据和截距数据以及所述斜率数据和截距数据对应的时间依次存储在所述地理位置信息存储区域中。

6.根据权利要求5所述的方法，其特征在于，所述视频存储区域和所述地理位置信息存储区域均为一个或多个。

7.一种视频数据和地理位置信息的融合装置，其特征在于，包括：获取模块，用于利用无人机实时获取目标区域的视频数据和所述视频数据的地理位置信息；所述地理位置信息包括：全球定位系统GPS/惯性测量单元IMU数据；

插值处理模块，用于对获取的所述地理位置信息进行插值处理，得到在时间和数量上均与所述视频数据的数量相匹配的多个地理位置信息；

压缩编码模块，用于将所述视频数据和所述地理位置信息进行压缩编码，得到带有地理位置信息的视频数据；

计算模块，用于计算获取的第一帧视频数据和第一包GPS/IMU数据之间的时间差值Δt；

封装处理模块，用于使用音频视频交错格式AVI对所述带有地理位置信息的视频数据和所述时间差值Δt进行封装处理，得到带有地理编码的视频数据。

8.根据权利要求7所述的装置，其特征在于，所述插值处理模块包括：获取单元，用于按照获取所述地理位置信息的先后顺序，依次获取连续的两个地理位置信息和所述地理位置信息对应的时间；其中，所述地理位置信息包括：Xs、Ys、Zs、ω、φ和κ六个元素；Xs、Ys、Zs分别表示三维空间中的三个坐标；ω、φ和κ分别表示物体在三维空间中三个旋转角度；

插值运算单元，用于通过以下插值方程对获取的连续的两个地理位置信息中的Xs、Ys、Zs、φ、ω、κ进行插值运算

得到插值方程的斜率数据

和截距数据；其中，k表示斜率，b表示截距，t表示时间；

计算处理单元，用于将计算的所述插值方程的斜率数据、截距数据以及对应的时间数据代入所述插值方程中进行计算处理，得到与所述视频数据的数量相同的多个地理位置信息。

9.根据权利要求8所述的装置，其特征在于，所述计算模块包括：第一记录单元，用于在获取到第一包GPS/IMU数据时，记录所述第一包GPS/IMU数据对应的第一时间点TGPS；

3

CN 105635616 A

权　利　要　求　书

3/3页

第二记录单元，用于在获取到第一帧视频数据时，记录所述第一帧视频数据对应的第二时间点Tvideo；

计算单元，用于计算所述第一时间点TGPS与所述第二时间点Tvideo之间的时间差值Δt。10.根据权利要求9所述的装置，其特征在于，所述封装处理模块包括：添加单元，用于在AVI的文件头中添加所述地理位置信息的标识信息；其中，所述标识信息包括所述IMU/GPS数据的一下信息中的一种或多种：标识符、长度、类型、与所述视频数据之间时间差值Δt；

存储单元，用于在AVI的数据块中依次存储插值处理得到的多个斜率数据和截距数据以及所述斜率数据和截距数据对应的时间；其中，所述数据块中还存储有获取的视频数据，所述视频数据中携带有第一帧视频数据对应的第二时间点Tvideo。

4

CN 105635616 A

说　明　书

一种视频数据和地理位置信息的融合方法和装置

1/11页

技术领域

[0001]本发明涉及航空摄影测量领域，具体而言，涉及一种视频数据和地理位置信息的融合方法和装置。

背景技术

[0002]无人机低空遥感系统因其结构简单、成本低、风险小、机动灵活等特点，在抢险救灾、三维实景、智慧城市、地理国情监测等应用中保持强势增长与快速拓展。[0003]无人机低空遥感系统可以搭载多种轻型传感器，例如在无人机上搭载高清摄影机进行电力巡检，较传统的人工电力巡检方法的工作量大和条件艰苦等特点相比，其可以自动对传输线路的导线及绝缘子串进行摄像，并携带录像返回以便查看；再例如，在无人机上搭载的高清摄影机进行野生动物的保护，即在野生动物保护区使用无人机监测偷猎活动，既能发现和识别破坏自然的活动，又能避免自然保护者与偷猎者的直接正面冲突。然而目前无人机获取的实时视频数据并不带有地理坐标，使用者还不能迅速精确地定位到发生故障的电力线和偷猎者的位置。[0004]针对上述问题，相关技术提供了一种具有定位信息的移动视频采集系统，能够为电力巡检、移动侦测、交通实景导航等领域的异常地点的快速定位、准确量测等提供了可能。具体的，上述系统集视频信息、音频信息、GPS(Global Positioning System，全球定位系统)定位信息于一体，针对上述信息，上述系统使用ASF(Advanced Streaming Format，高

在每接收一级串流格式)作为容器，通过在ASF文件头对象中存储由GPS接收到的空间信息，

条GPS信息，就在编码中添加一条空间信息记录，然后将视频信息、音频信息按照MPGE-4方式进行压缩编码，最终把空间信息、视频和音频信息在ASF容器内部组织起来。然后，利用ASF内部时间轴，以及视频、音频和空间信息之间的时域约束关系，在ASF内部时间轴上选取参考点，完成视频、音频和空间信息的同步，以实现视频信息、音频信息和空间定位信息的实时自动融合，形成真正具有定位信息的视频流。[0005]但是，发明人在研究中发现，上述地理位置数据的接收时间间隔大于视频数据的接收间隔，这使得某些帧的视频数据并没有GPS信息，并且上述系统进行地理信息和视频数据的融合方法是基于ASF流媒体的，使得画面质量清晰度较差。发明内容

[0006]本发明的目的在于提供一种视频数据和地理位置信息的融合方法和装置，以保证了视频帧影像的地理精度，能够实现IMU/GPS数据与视频数据的同步，具有通用性。[0007]第一方面，本发明实施例提供了一种视频数据和地理位置信息的融合方法，包括：[0008]利用无人机实时获取目标区域的视频数据和所述视频数据的地理位置信息；所述地理位置信息包括：全球定位系统GPS/惯性测量单元IMU数据；[0009]对获取的所述地理位置信息进行插值处理，得到在时间和数量上均与所述视频数据的数量相匹配的多个地理位置信息；

5

CN 105635616 A[0010]

说　明　书

2/11页

将所述视频数据和所述地理位置信息进行压缩编码，得到带有地理位置信息的视

频数据；

[0011]计算获取的第一帧视频数据和第一包GPS/IMU数据之间的时间差值Δt；

[0012]使用音频视频交错格式AVI对所述带有地理位置信息的视频数据和所述时间差值Δt进行封装处理，得到带有地理编码的视频数据。[0013]结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述对获取的所述地理位置信息进行插值处理，得到在时间和数量上均与所述视频数据的数量相匹配的多个地理位置信息包括：

[0014]按照获取所述地理位置信息的先后顺序，依次获取连续的两个地理位置信息和所述地理位置信息对应的时间；其中，所述地理位置信息包括：Xs、Ys、Zs、ω、φ和κ六个元素；Xs、Ys、Zs分别表示三维空间中的三个坐标；ω、φ和κ分别表示物体在三维空间中三个旋转角度；

[0015]通过以下插值方程对获取的连续的两个地理位置信息中的Xs、Ys、Zs、φ、ω、κ进行插值运算

[0016]得到插值方程的斜

率数据和截距数据；其中，k表示斜率，b表示截距，t表示时间；[0017]将计算的所述插值方程的斜率数据、截距数据以及对应的时间数据代入所述插值方程中进行计算处理，得到与所述视频数据的数量相同的多个地理位置信息。[0018]结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述计算获取的第一帧视频数据和第一包GPS/IMU数据之间的时间差值Δt包括：

[0019]在获取到第一包GPS/IMU数据时，记录所述第一包GPS/IMU数据对应的第一时间点TGPS；

[0020]在获取到第一帧视频数据时，记录所述第一帧视频数据对应的第二时间点Tvideo；[0021]计算所述第一时间点TGPS与所述第二时间点Tvideo之间的时间差值Δt。[0022]结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述使用音频视频交错格式AVI对所述带有地理位置信息的视频数据和所述时间差值Δt进行封装处理，得到带有地理编码的视频数据包括：[0023]在AVI的文件头中添加所述地理位置信息的标识信息；其中，所述标识信息包括所述IMU/GPS数据的一下信息中的一种或多种：标识符、长度、类型、与所述视频数据之间时间差值Δt；

[0024]在AVI的数据块中依次存储插值处理得到的多个斜率数据和截距数据以及所述斜率数据和截距数据对应的时间；其中，所述数据块中还存储有获取的视频数据，所述视频数据中携带有第一帧视频数据对应的第二时间点Tvideo。[0025]结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述在AVI的数据块中依次存储插值处理得到的多个斜率数据和截

6

CN 105635616 A

说　明　书

3/11页

距数据以及所述斜率数据和截距数据对应的时间包括：

[0026]将所述AVI的数据块的存储区域划分为视频存储区域和地理位置信息存储区域；其中，所述视频存储区域存储有获取的视频数据；

[0027]将计算得到的所述多个斜率数据和截距数据以及所述斜率数据和截距数据对应的时间依次存储在所述地理位置信息存储区域中。[0028]结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述视频存储区域和所述地理位置信息存储区域均为一个或多个。[0029]第二方面，本发明实施例还提供了一种视频数据和地理位置信息的融合装置，包括：

[0030]获取模块，用于利用无人机实时获取目标区域的视频数据和所述视频数据的地理位置信息；所述地理位置信息包括：全球定位系统GPS/惯性测量单元IMU数据；[0031]插值处理模块，用于对获取的所述地理位置信息进行插值处理，得到在时间和数量上均与所述视频数据的数量相匹配的多个地理位置信息；[0032]压缩编码模块，用于将所述视频数据和所述地理位置信息进行压缩编码，得到带有地理位置信息的视频数据；[0033]计算模块，用于计算获取的第一帧视频数据和第一包GPS/IMU数据之间的时间差值Δt；

[0034]封装处理模块，用于使用音频视频交错格式AVI对所述带有地理位置信息的视频数据和所述时间差值Δt进行封装处理，得到带有地理编码的视频数据。[0035]结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述插值处理模块包括：[0036]获取单元，用于按照获取所述地理位置信息的先后顺序，依次获取连续的两个地理位置信息和所述地理位置信息对应的时间；其中，所述地理位置信息包括：Xs、Ys、Zs、ω、φ和κ六个元素；Xs、Ys、Zs分别表示三维空间中的三个坐标；ω、φ和κ分别表示物体在三维空间中三个旋转角度；[0037]插值运算单元，用于通过以下插值方程对获取的连续的两个地理位置信息中的Xs、Ys、Zs、φ、ω、κ进行插值运算

[0038]得到插值方程的斜

率数据和截距数据；其中，k表示斜率，b表示截距，t表示时间；[0039]计算处理单元，用于将计算的所述插值方程的斜率数据、截距数据以及对应的时间数据代入所述插值方程中进行计算处理，得到与所述视频数据的数量相同的多个地理位置信息。

[0040]结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述计算模块包括：[0041]第一记录单元，用于在获取到第一包GPS/IMU数据时，记录所述第一包GPS/IMU数据对应的第一时间点TGPS；

7

CN 105635616 A[0042]

说　明　书

4/11页

第二记录单元，用于在获取到第一帧视频数据时，记录所述第一帧视频数据对应

的第二时间点Tvideo；[0043]计算单元，用于计算所述第一时间点TGPS与所述第二时间点Tvideo之间的时间差值Δt。

[0044]结合第二方面的第二种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述封装处理模块包括：[0045]添加单元，用于在AVI的文件头中添加所述地理位置信息的标识信息；其中，所述标识信息包括所述IMU/GPS数据的一下信息中的一种或多种：标识符、长度、类型、与所述视频数据之间时间差值Δt；[0046]存储单元，用于在AVI的数据块中依次存储插值处理得到的多个斜率数据和截距数据以及所述斜率数据和截距数据对应的时间；其中，所述数据块中还存储有获取的视频数据，所述视频数据中携带有第一帧视频数据对应的第二时间点Tvideo。

[0047]本发明实施例提供的一种视频数据和地理位置信息的融合方法和装置，利用无人机实时获取目标区域的视频数据和视频数据的地理位置信息；对地理位置信息进行插值处理，得到与视频数据在时间和数量上均匹配的多个地理位置信息；将视频数据和地理位置信息进行压缩编码；计算获取的第一帧视频数据和第一包GPS/IMU数据之间的时间差值Δt；使用AVI对压缩编码得到的带有地理位置信息的视频数据和时间差值Δt进行封装处理，得到带有地理编码的视频数据，与现有技术中的某些帧的视频数据并没有GPS信息且画面质量清晰度较差相比，

[0048]其通过对获取的地理位置信息中的IMU/GPS数据进行实时插值处理，并存储插值得到的插值方程的斜率数据和截距数据，从而使得每一帧视频数据均有对应的地理位置信息，保证了视频帧影像的地理精度，并且将上述带有地理位置信息的视频数据和时间差值进行封装形成带有地理编码的视频数据，具有通用性；并且通过计算第一帧视频数据和第一包IMU/GPS数据的时间差值问题，能够实现IMU/GPS数据与视频数据的同步。[0049]为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明

[0050]为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

[0051]图1示出了本发明实施例所提供的一种视频数据和地理位置信息的融合方法的流程图；

[0052]图2示出了本发明实施例所应用到的将IMU/GPS数据进行插值处理，得到任一视频帧对应的地理坐标的理论示意图；

[0053]图3示出了本发明实施例所提供的另一种视频数据和地理位置信息的融合方法的流程图；

[00]图4示出了本发明实施例所提供的视频数据和地理位置信息同步的原理示意图；

8

CN 105635616 A[0055]

说　明　书

5/11页

图5示出了本发明实施例所提供的一种视频数据和地理位置信息的融合方法的整

体流程图；

[0056]图6示出了本发明实施例所提供的一种视频数据和地理位置信息的融合装置的结构示意图；

[0057]图7示出了本发明实施例所提供的一种视频数据和地理位置信息的融合装置中插值处理模块的结构示意图；

[0058]图8示出了本发明实施例所提供的一种视频数据和地理位置信息的融合装置中计算模块的结构示意图；

[0059]图9示出了本发明实施例所提供的一种视频数据和地理位置信息的融合装置中封装处理模块的结构示意图；

[0060]图10示出了本发明实施例所提供的一种视频数据和地理位置信息的融合装置中存储单元的结构示意图。

具体实施方式

[0061]下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。[0062]现有技术中无人机搭载的移动视频采集系统具有以下三方面的问题：(1)采集的视频数据不具备地理坐标属性，不能实现视频数据的快速定位与准确测量；(2)采用的地理信息和视频融合技术是基于ASF流媒体的，使得画面质量不是高清，并且由于视频帧传输间隔和地理信息的传输间隔相差较大，而使得只有部分帧的视频数据具有GPS信息；(3)其通过建立视频片段与地理位置间建立对应关系使得地理信息和视频进行融合，但是视频片段与地理位置间建立对应关系不满足融合地理信息的视频实时传输的要求。[0063]基于上述无人机搭载的移动视频采集系统的上述三方面的问题，本发明实施例提供了一种视频数据和地理位置信息的融合方法和装置，与现有技术中的某些帧的视频数据并没有GPS(Global Positioning System，全球定位系统)信息且画面质量清晰度较差相比，其通过对获取的地理位置信息中的IMU(Inertial measurement unit，惯性测量单元)/GPS数据进行实时插值处理，并存储插值处理得到的插值方程的斜率数据和截距数据，从而使得每一帧视频数据均有对应的地理位置信息，保证了视频帧影像的地理精度，并且将上述带有地理位置信息的视频数据和时间差值进行封装形成带有地理编码的视频数据，具有通用性；并且通过计算第一帧视频数据和第一包IMU/GPS数据的时间差值问题，能够实现IMU/GPS数据与视频数据的同步。[00]同样的，本发明实施例中的一种视频数据和地理位置信息的融合方法和装置主要应用在搭载在无人机的视频采集装置(如高清摄像机)中，可以用于进行野外电力巡检和野生动物的保护等。

[0065]下面结合图1所示的一种视频数据和地理位置信息的融合方法的流程图进行说

9

CN 105635616 A

说　明　书

6/11页

明，所述方法包括：[0066]S101、利用无人机实时获取目标区域的视频数据和所述视频数据的地理位置信息；所述地理位置信息包括：全球定位系统GPS/惯性测量单元IMU数据。[0067]具体的，目标区域可以是预先为无人机设置的其待监测区域，用于进行野外电力巡检和监测野生动物保护区的偷猎活动等。具体的，无人机上搭载有视频采集装置，该视频采集装置包括视频采集卡和IMU/GPS接收机。视频采集装置通过视频采集卡采集当前目标区域的视频数据，通过IMU/GPS接收机接收上述视频数据对应的地理位置信息，该地理位置信息包括IMU/GPS数据，其具体为视频采集装置的外方位元素，其中，上述外方位元素包括：Xs、Ys、Zs、ω、φ和κ六个元素；Xs、Ys、Zs为直线元素，用于描述摄影中心的空间坐标轴值，分别表示三维空间中的三个坐标；ω、φ和κ是角元素，用来描述影像的空间姿态，分别表示物体在三维空间中三个旋转角度。[0068]具体的，在整个视频采集装置工作时，视频采集卡和IMU/GPS接收机可能不会同时接收对应的第一帧视频数据与第一帧地理位置信息，即第一帧视频数据与第一帧地理位置信息会存在接收时间差；若第一帧视频数据与第一帧地理位置信息的接收时间存在时间差，则抛弃在先接收的数据，例如，若首先接收到第一帧视频数据，此时，还未有第一帧地理位置信息，此时，则将未有地理位置信息对应的该第一帧视频数据抛弃，保留有第一帧地理位置信息匹配的视频数据以及之后采集的视频数据，然后在根据保留的视频数据，对从第一帧开始的地理位置信息进行后续的插值处理。[0069]同理，若首先接收到第一帧地理位置信息，此时，还未有第一帧视频数据，此时，则将未有视频数据对应的该第一帧地理位置信息抛弃，保留有第一帧视频数据匹配的地理位

然后在根据视频数据，对保留的地理位置信息进行置信息以及之后接收的地理位置信息，

后续的插值处理。[0070]S102、对获取的所述地理位置信息进行插值处理，得到在时间和数量上均与所述视频数据的数量相匹配的多个地理位置信息。[0071]具体的，接收的地理位置信息是有多个的，然后按照接收地理位置信息的顺序，依次获取连续的两个地理位置信息以及获取该两个地理位置信息对应的时间，然后分别对接收多个连续的两个地理位置信息进行插值处理；具体的插值处理过程包括首先建立插值方程，根据建立的插值方程对每个连续的两个地理位置信息进行求解，得到对应于每两个连续的地理位置信息的多个斜率和截距。[0072]最后，将最终求解得到的斜率和截距以及相应的时间均代入上述建立的插值方程中，即可计算得到在时间和数量上均与所述视频数据的数量相匹配的多个地理位置信息。[0073]S103、将所述视频数据和所述地理位置信息进行压缩编码，得到带有地理位置信息的视频数据。

[0074]本实施例中，需要将该视频数据和对应的地理位置信息进行压缩编码处理，得到带有地理位置信息的视频数据。[0075]S104、计算获取的第一帧视频数据和第一包GPS/IMU数据之间的时间差值Δt。[0076]具体的，如上所述，在整个视频采集装置工作时，视频采集卡和IMU/GPS接收机可能不会同时接收对应的第一帧视频数据与第一帧地理位置信息，即第一帧视频数据与第一帧地理位置信息会存在接收时间差，此时抛弃在先接收的数据，但此时，对应的在先接收的

10

CN 105635616 A

说　明　书

7/11页

数据的时间与保留的后续应用的数据的时间即不同，故为了保证视频数据与地理信息的同步，需要计算第一帧视频数据和第一包GPS/IMU数据之间的时间差值Δt，以实现视频数据与地理信息的同步。[0077]S105、使用音频视频交错格式AVI对所述带有地理位置信息的视频数据和所述时间差值Δt进行封装处理，得到带有地理编码的视频数据。[0078]具体的，使用AVI对上述带有地理位置信息的视频数据和所述时间差值Δt进行封装处理，即能够使得画面质量清晰，还能够保证视频数据与地理信息的同步。

[0079]本发明实施例提供的一种视频数据和地理位置信息的融合方法和装置，与现有技术中的某些帧的视频数据并没有GPS信息且画面质量清晰度较差相比，其通过对获取的地理位置信息中的IMU/GPS数据进行实时插值处理，并存储插值得到的插值方程的斜率数据和截距数据，从而使得每一帧视频数据均有对应的地理位置信息，保证了视频帧影像的地理精度，并且将上述带有地理位置信息的视频数据和时间差值进行封装形成带有地理编码的视频数据，具有通用性；并且通过计算第一帧视频数据和第一包IMU/GPS数据的时间差值问题，能够实现IMU/GPS数据与视频数据的同步。

[0080]由于地理位置信息的接收时间间隔大于视频数据的接收间隔，这使得某些帧的视频数据并没有地理位置信息，对此，本发明实施例中对获取的所述地理位置信息进行插值

得到每一帧视频数据对应的地理位置信息的具体插值处理方法包括：处理，

[0081]按照获取所述地理位置信息的先后顺序，依次获取连续的两个地理位置信息和所述地理位置信息对应的时间；其中，所述地理位置信息包括：Xs、Ys、Zs、ω、φ和κ六个元素；Xs、Ys、Zs分别表示三维空间中的三个坐标；ω、φ和κ分别表示物体在三维空间中三个旋转角度；

[0082]通过以下插值方程对获取的连续的两个地理位置信息中的Xs、Ys、Zs、φ、ω、κ进行插值运算

[0083]得到插值方程的斜

率数据和截距数据；其中，k表示斜率，b表示截距，t表示时间；[0084]将计算的所述插值方程的斜率数据、截距数据以及对应的时间数据代入所述插值

得到与所述视频数据的数量相同的多个地理位置信息。方程中进行计算处理，

[0085]具体的，通过上述插值方程对获取的两个连续的地理位置信息数据进行运算处理，即可得到插值方程的斜率数据和截距数据，插值处理原理示意图如图2所示。[0086]实际中，在启动系统时，视频采集卡采集原始视频数据和IMU/GPS接收机接收地理位置信息时的时间并不一致，为了保证上述原始视频数据与地理位置信息的同步，需要计算原始视频数据与地理位置信息之间的接收时差，参考图3和图4，具体方法包括：[0087]S201、在获取到第一包GPS/IMU数据时，记录所述第一包GPS/IMU数据对应的第一时间点TGPS。

[0088]具体的，在接收IMU/GPS数据的同时记录接收的第一包IMU/GPS数据的电脑时刻，即第一时间点TGPS。

11

CN 105635616 A[00]

说　明　书

8/11页

S202、在获取到第一帧视频数据时，记录所述第一帧视频数据对应的第二时间点

Tvideo。

具体的，通过视频采集卡接收原始视频数据的同时，记录第一帧视频数据的电脑

时刻，即第二时间点Tvideo。[0091]S203、计算所述第一时间点TGPS与所述第二时间点Tvideo之间的时间差值Δt。[0092]具体的，将第一时间点TGPS与第二时间点Tvideo进行减法运算，得到时间差值Δt；即Δt＝Tvideo-TGPS或者Δt＝Tvideo-TGPS。

[0093]考虑到现有技术中进行地理信息和视频数据的融合方法是基于ASF流媒体的，而通过ASF流媒体的方式使得画面质量清晰度较差，本发明实施例中使用音频视频交错格式AVI对所述带有地理位置信息的视频数据和所述时间差值Δt进行封装处理，得到带有地理

具体实现方式包括：编码的视频数据，

[0094]在AVI的文件头中添加所述地理位置信息的标识信息；其中，所述标识信息包括所述IMU/GPS数据的一下信息中的一种或多种：标识符、长度、类型、与所述视频数据之间时间差值Δt；

[0095]在AVI的数据块中依次存储插值处理得到的多个斜率数据和截距数据以及所述斜率数据和截距数据对应的时间；其中，所述数据块中还存储有获取的视频数据，所述视频数据中携带有第一帧视频数据对应的第二时间点Tvideo；[0096]具体的，AVI的数据块中既存储有视频数据，又存储有地理位置信息(具体为计算的插值方程的斜率和截距)，为了使这些不同类型的数据分开，本发明实施例中，首先，将所述AVI的数据块的存储区域划分为视频存储区域和地理位置信息存储区域；其中，所述视频存储区域存储有获取的视频数据；然后，将计算得到的所述地理位置信息依次存储在所述地理位置信息存储区域中。[0097]具体的，将视频数据、斜率和截距数据进行压缩编码，在AVI的数据块中按以下结构实时存储采集卡接收的数据：[0098]数据块1(视频数据)[0099]数据块2(GPS时间T1，T2，斜率k11、k12、k13、k14、k15、k16，截距b11、b12、b13、b14、b15、b16；GPS时间T3，斜率k21、k22、k23、k24、k25、k26，截距b21、b22、b23、b24、b25、b26…GPS时间Tn+1，斜率kn1、kn2、kn3、kn4、kn5、kn6，截距bn1、bn2、bn3、bn4、bn5、bn6)。[0100]其中，上述视频存储区域可以为一个，也可以为多个；同样的，上述地理位置信息存储区域可以为一个，也可以为多个。

[0101]下面结合图5对一种视频数据和地理位置信息的融合方法进行整体说明：[0102]本发明实施例中，选取无人机上搭载的视频采集装置的视频采集卡获取原始视频数据；通过视频采集装置上的IMU/GPS接收机接收视频影像的外方位元素数据(即地理位置信息或者IMU/GPS数据)，并实时计算的IMU/GPS插值方程的斜率、截距；将视频数据以及插值计算的斜率数据、截距数据进行压缩编码；同时，在接收视频数据和IMU/GPS数据时，记录获取第一帧视频影像的时刻Tvideo和第一包IMU/GPS数据的时刻TGPS，并计算第一帧视频影像和第一包IMU/GPS数据之间的时间插值Δt；利用高清摄像机常用视频格式AVI对压缩编码结果和时间插值Δt进行封装处理，得到带有地理编码的视频数据。

[0103]本发明实施例还提供了一种视频数据和地理位置信息的融合装置，参考图6，包

12

[0090]

CN 105635616 A

说　明　书

9/11页

括：

获取模块11，用于利用无人机实时获取目标区域的视频数据和视频数据的地理位

置信息；地理位置信息包括：全球定位系统GPS/惯性测量单元IMU数据；[0105]插值处理模块12，用于对获取的地理位置信息进行插值处理，得到在时间和数量上均与视频数据的数量相匹配的多个地理位置信息；[0106]压缩编码模块13，用于将视频数据和地理位置信息进行压缩编码，得到带有地理位置信息的视频数据；[0107]计算模块14，用于计算获取的第一帧视频数据和第一包GPS/IMU数据之间的时间差值Δt；

[0108]封装处理模块15，用于使用音频视频交错格式AVI对带有地理位置信息的视频数据和时间差值Δt进行封装处理，得到带有地理编码的视频数据。

[0109]由于地理位置信息的接收时间间隔大于视频数据的接收间隔，这使得某些帧的视频数据并没有地理位置信息，对此，本发明实施例中，参考图7，插值处理模块12包括：[0110]获取单元121，用于按照获取地理位置信息的先后顺序，依次获取连续的两个地理位置信息和地理位置信息对应的时间；其中，地理位置信息包括：Xs、Ys、Zs、ω、φ和κ六个元素；Xs、Ys、Zs分别表示三维空间中的三个坐标；ω、φ和κ分别表示物体在三维空间中三个旋转角度；

[0111]插值运算单元122，用于通过以下插值方程对获取的连续的两个地理位置信息中的Xs、Ys、Zs、φ、ω、κ进行插值运算

[0104]

[0112]得到插值方程的斜

其中，k表示斜率，b表示截距，t表示时间；率数据和截距数据；

[0113]计算处理单元123，用于将计算的插值方程的斜率数据、截距数据以及对应的时间数据代入插值方程中进行计算处理，得到与视频数据的数量相同的多个地理位置信息。[0114]实际中，在启动系统时，视频采集卡采集原始视频数据和IMU/GPS接收机接收地理位置信息时的时间并不一致，为了保证上述原始视频数据与地理位置信息的同步，需要计算原始视频数据与地理位置信息之间的接收时差，参考图8，计算模块14包括：[0115]第一记录单元141，用于在获取到第一包GPS/IMU数据时，记录第一包GPS/IMU数据对应的第一时间点TGPS；

[0116]第二记录单元142，用于在获取到第一帧视频数据时，记录第一帧视频数据对应的第二时间点Tvideo；

[0117]计算单元143，用于计算第一时间点TGPS与第二时间点Tvideo之间的时间差值Δt。[0118]考虑到现有技术中进行地理信息和视频数据的融合方法是基于ASF流媒体的，而通过ASF流媒体的方式使得画面质量清晰度较差，本发明实施例中使用音频视频交错格式AVI对所述带有地理位置信息的视频数据和所述时间差值Δt进行封装处理，得到带有地理编码的视频数据，参考图9，进一步的，封装处理模块15包括：[0119]添加单元151，用于在AVI的文件头中添加地理位置信息的标识信息；其中，标识信

13

CN 105635616 A

说　明　书

10/11页

息包括IMU/GPS数据的一下信息中的一种或多种：标识符、长度、类型、与视频数据之间时间差值Δt；

[0120]存储单元152，用于在AVI的数据块中依次存储插值处理得到的多个斜率数据和截距数据以及斜率数据和截距数据对应的时间；其中，数据块中还存储有获取的视频数据，视频数据中携带有第一帧视频数据对应的第二时间点Tvideo。[0121]进一步的，参考图10，存储单元152包括：[0122]划分子单元1521，用于将AVI的数据块的存储区域划分为视频存储区域和地理位置信息存储区域；其中，视频存储区域存储有获取的视频数据；[0123]存储子单元1522，用于将计算得到的多个斜率数据和截距数据以及斜率数据和截距数据对应的时间依次存储在地理位置信息存储区域中。

[0124]本发明实施例提供的一种视频数据和地理位置信息的融合装置，与现有技术中的某些帧的视频数据并没有GPS信息且画面质量清晰度较差相比，其通过对获取的地理位置信息中的IMU/GPS数据进行实时插值处理，并存储插值得到的插值方程的斜率数据和截距数据，从而使得每一帧视频数据均有对应的地理位置信息，保证了视频帧影像的地理精度，并且将上述带有地理位置信息的视频数据和时间差值进行封装形成带有地理编码的视频数据，具有通用性；并且通过计算第一帧视频数据和第一包IMU/GPS数据的时间差值问题，能够实现IMU/GPS数据与视频数据的同步。

[0125]本发明实施例所提供的进行视频数据和地理位置信息的融合方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。[0126]所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。[0127]在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0128]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0129]另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

[0130]所述功能如果以软件功能单元的形式实现并作为的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

14

CN 105635616 A

说　明　书

11/11页

而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。[0131]以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

15

CN 105635616 A

说　明　书　附　图

1/4页

图1

图2

16

CN 105635616 A

说　明　书　附　图

2/4页

图3

图4

17

CN 105635616 A

说　明　书　附　图

图5

图7

图6

18

3/4页

CN 105635616 A

说　明　书　附　图

4/4页

图9

图8

图10

19