GBT 40768-2021 视频流与时空信息融合编码规范

视频流与时空信息融合编码规范2021-10-11发布2021-10-11实施I前言 2术语和定义 3基本规定 13.1时间系统 3.2空间基准 4融合编码 24.1融合编码内容 24.2融合编码要求 34.3融合编码方式 34.4融合编码成果 3附录A(资料性附录)融合编码外部映射文件样例 附录B(资料性附录)视频流与时空信息融合编码样例 5附录C(资料性附录)视频流与时空信息封装融合编码样例 参考文献 8Ⅲ本标准按照GB/T1.1—2009给出的规则起草。请注意本文件的某些内容可涉及专利。本文件的发布机构不承担识别这些专利的责任。本标准由中华人民共和国自然资源部提出。本标准由全国地理信息标准化技术委员会(SAC/TC230)归口。本标准起草单位：中测新图(北京)遥感技术有限责任公司、浙江中测新图地理信息技术有限公司、中测新图(北京)低空数码测绘技术有限公司、自然资源部测绘标准化研究所、南京师范大学、杭州海康威视数字技术股份有限公司。视频在军事侦查、公共场所监视、交通违章监控等方面的应用相对成熟，但受空间定位、时间同步、远程传输等技术的限制，视频数据多用于目标的动态监视，无法实现基于视频数据的目标空间定位与量测。随着导航定位、智能识别以及高速通信技术的发展，视频数据获取的时效性、准确性都得到了空前发展，人们逐渐由基于视频图像的侦查、监视应用，向基于视频的空间量测方向发展。将空间信息与视频数据通过时间关联对应，实现视频空间量测的方法较为普遍，但存在视频与时空信息编码内容不确1视频流与时空信息融合编码规范1范围本标准规定了视频流与时空信息融合编码的数据内容、融合编码要求、融合编码方式以及融合编码产品分级。本标准适用于机载、地面移动与静止状态下获取的视频流与时空信息融合编码。2术语和定义下列术语和定义适用于本文件。视频流videostream由时间序列的静态图像形成的连续数据流。视频时空信息spatiotemporalinformationofvideo视频帧获取时刻的时间、位置、姿态信息和传感器参数。时间戳timestamp量测和记录某一对象状态时的时间值。[GB/T27918—2011,定义4.53]融合编码fusionencoding输入的图像样本流与时空信息合并成一个数据实体，并产生压缩位流的过程。从未受保护的帧构造为受保护的帧。注1:本文件特指将已经编码后的视频流与时空信息按照一定的格式要求形成一个文件的过程。注2:改写ISO/IEC/IEEE8802-11:2018,定义3.1.68。3基本规定3.1时间系统在机载、地面移动状态下获取的视频流宜选择协调世界时(CoordinatedUniversalTime,UTC)时间系统；在地面静止状态下获取的视频流可选择协调世界时，亦可选择北京时间。3.2空间基准空间基准包括坐标系统、高程基准和姿态信息，并应符合下列要求：a)坐标系统宜采用2000国家大地坐标系；b)高程基准宜采用1985国家高程基准。24融合编码4.1融合编码内容融合编码内容应包括视频流和时空信息，其中视频流是由时间序列的静态图像组成，时空信息包括基本要素信息和变化信息，具体构成如下：a)基本要素信息：包含时间系统、空间基准、视频传感器参数等内容，可根据应用需求选择基本要素信息种类，具体见表1;表1基本要素表序号基本要素说明1时间系统CHAR型，用于描述采用的时间系统，样例如协调世界时，表示为UTC2空间基准CHAR型，用于描述采用的空间基准，样例如2000国家大地坐标系，1985国家高程基准，表示为CGCS2000,HVD19853INT型，图像宽度，单位像素，样例如1920像素，表示为19204INT型，图像高度，单位像素，样例如1080像素，表示为10805DOUBLE型，水平方向单个像素的物理尺寸，单位微米，样例如2.59μm,表示为2.596DOUBLE型，垂直方向单个像素的物理尺寸，单位微米，样例如2.59μm,表示为2.597CXDOUBLE型，像主点X坐标，单位毫米，样例如0.0523mm,表示为0.05238DOUBLE型，像主点Y坐标，单位毫米，样例如一0.00518mm,表示为一0.005189DOUBLE型，水平方向焦距，单位毫米，样例如34.8248mm,表示为34.8248DOUBLE型，垂直方向焦距，单位毫米，样例如34.8248mm,表示为34.8248畸变参数DOUBLE型，用于表示视频传感器径向畸变、切向畸变、水平和垂直平移畸变、水平和垂直其他预留信息，用于添加其他基本要素表2变化信息表序号变化信息说明1帧号INT型，该帧数据所处视频的帧序：帧号大小从1至视频的最后一帧，该项为可选项2日期CHAR型，表示视频起始拍摄日期，表达方式为YYYYMMDD,样例如2019年7月24日，表示为201907243时间CHAR型，表示视频帧获取时刻的时间，表达方式为hhmmsssss,样例如5点15分24.556秒，表示为0515245564纬度DOUBLE型，表达方式为dd.ddddd,单位度(前导位数不足则补0),样例如39.98214°,表示为39.982145经度DOUBLE型，表达方式为ddd.ddddd,单位度(前导位数不足则补0),样例如116.32541°,表示为116.325413序号变化信息说明6高度DOUBLE型，海拔高度，单位米，样例如430.5m,表示为430.57横滚角FLOAT型，单位度，样例如一1.2°,表示为一1.28俯仰角FLOAT型，单位度，样例如一5.3°,表示为一5.39旋偏角FLOAT型，单位度，样例如一179.7°,表示为一179.74.2融合编码要求视频流与时空信息融合编码应符合下列要求：a)在融合编码过程中视频流关键帧与空间信息应保持同步；b)在保持原有编码标准(如MPEG-4、H.264、H.265等)或封装格式(如AVI、MP4等)基础上开展融合编码；c)应最大限度地保持时空信息原始观测精度；d)每一帧图像或一定间隔图像都应融合编码时空信息；e)视频流中应融合编码一个基本要素信息和一系列变化信息。4.3融合编码方式视频流与时空信息的融合编码宜采用下列方式：a)松耦合融合编码：视频流与时空信息分别存储，通过时间戳建立视频流与时空信息的外部映射关系，实现视频流数据逐帧或分段时空信息映射的融合编码方式，成果样例参见附录A。b)紧耦合融合编码：紧耦合融合编码方式有下列两种：1)参照视频编码标准(如MPEG-4、H.264、H.265等)进行，在编码过程中将获取的时空信息实时写入视频流，形成带有时空信息的视频流码流。成果样例参见附录B。2)参照视频封装格式(如AVI、MP4等)进行，在封装过程中将获取的时空信息实时写入视频流，形成带有时空信息的视频流文件。成果样例参见附录C。4.4融合编码成果4.4.1融合编码成果包含基本要素和融合了时空信息的视频流两类信息。4.4.2按选用的融合编码方式，以及视频流中融合编码的定位定姿数据精度，将视频流时空信息融合编码成果分为一级、二级以及通用型三个等级，见表3。表3融合编码成果分级表级别融合编码方式描述一级紧耦合融合编码视频流融合有高精度的空间位置、姿态信息和畸变差参数，空间信息的定位精二级紧耦合融合编码视频流融合有较高精度的空间位置、姿态信息和畸变差参数，空间信息的定位精度优于10m通用型松耦合融合编码紧耦合融合编码视频流融合有较低精度的空间位置、姿态信息，空间信息的定位精度低于10m4(资料性附录)融合编码外部映射文件样例据逐帧或分段时空信息映射的融合编码方式。A.2外部映射文件主要包括基本要素信息和变化信息，用于描述视频帧所对应的时空信息。格式描述第一行：基本要素信息第二行：基本要素信息ID,之间采用逗号隔开第三行：基本要素信息具体数值第五行：变化信息名称第六行：变化信息具体数值A.3外部映射文件具体样例如下：a)基本要素信息：1,2,3,4,5,6,7,8,9,10,11,12,13,14,15UTC,CGCS2000HVD1985,1920,1080,2.59,2.59,0.0523,-0.00518,34.8248,34.8248,1,20190724,051524556,116.32541,39.98214,43.5,-1.2,-5.3,-179.72,20190724,051524556,116.32541,39.98214,43.5,-1.0,-6.0,-179.9·5(资料性附录)视频流与时空信息融合编码样例B.1常用的视频编码标准主要包括MPEG-4、H.264、H.265、AVS等。以H.264编码标准为例进行说明。H.264的功能分为两层：视频编码层(VCL,VideoAbstractionLayer),H.264码流结构示意图见图B.1。CodingLayer)和网络提取层(NAL,NetworkSlartSlartcodeNal[JnitRTPPacketNALUIeaderNALI=主体SliceHeader*1SliceDada图B.1H.264码流结构示意图B.2网络提取层单元又包括多种类型，类型标签存储在网络提取层单元头文件中，用于识别网络提取层单元不同类型，网络提取层单元类型描述见表B.1。表B.1网络提取层单元类型描述网络提取层类型标签网络提取层类型C0未使用1不分区，非首帧关键帧图像的片22334片分区C45首帧关键帧图像中的片补充增强信息单元(SEI)57序列参数集08图像参数集19分界符61……注：6*,网络提取层类型ID为6,表示网络提取层类型为补充增强信息单元(Supplemenmation,SEI),H.26x中SEI结构允许用户添加自定义信息。6结构中只写入视频帧对应的时空信息。a)第一个SEI结构信息样例如下：1UTC,2CGCS2000HVD1985,31920,41080,52.59,62.5934.8248,1034.8248,11—4.60584e-006,121.000548e-007,136.151le-010,141.50119e-005,b)其余SEI结构写入时空信息：20190724,051524556,116.32541,39.98214,43.5,-1.2,-5.3,-179.7;20190724,051524558,116.32541,39.98214,43.5,-1.0,-6.0,179.9;………………7(资料性附录)视频流与时空信息封装融合编码样例C.1常见的视频封装格式有AVI、MP4、MKV、ASF、RMVB等，以AVI视频封装格式为例。C.2AVI数据格式包括三部分，信息块、数据块和索引块。C.3AVI文件采用RIFF(ResourceInterchangeFileFormat,资源互换文件格式),RIFF块包含一系列子块，其中常用的子块ID为“LIST”。AVI三个子块的表述如下：a)信息块：ID为“hdrl”的“LIST”块，主要用来定义AVI文件的格式信息；b)数据块：ID为“movi”的“LIST”块，主要用于存储音视频流数据；c)索引块：ID为“idxl”的子块，主要用于定义“LIST_movi”块的索引数据，是可选块。C.4在LIST_hdrl信息块中扩展LIST_strl子块，其中strh结构主要用于描述时空数据流属性信息，用于表示与视频流的对应关系，其结构定义见图C.1。—sirh—strf—strf基本要素信息1.1STmryi数据块扩展信息及定义一00st时窄数据流idxl索引块图C.1AVI视频融合编码文件格式示意图C.5LIST_strl子块下的结构包含基本要素信息，示例如下：1UTC,2CGCS2000HVD1985,31920,41080,52.59,62.59,70.0523,8—0.00518,934.8248,C.6在LIST_movi数据块中扩展时空数据，融合编码时空数据样例为：201907