虚拟演播室的定位与校准 - 技术视点 - 安徽天虹数码科技股份有限公司

view point 技术视点

虚拟演播室的定位与校准

发布时间:2015-09-23 03:41:23     阅读次数:1649

        摘要:本文主要介绍虚拟演播室的定位与校准的重要性,并从摄像机的定位及校准、摄像机镜头的校准、机电跟踪系统的校准和摄像机跟踪系统运动参数的获取四个方面介绍和阐述了虚拟演播室的定位与校准的方法。

        关键词:虚拟演播室;定位;校准;机电跟踪系统

Abstract: This article mainly introduces the importance and its method of the positioning and calibration of the virtual studio from four aspects—the positioning and calibration of the camera, the 

calibration of the camera lens, the calibration of the mechatronic tracking system and getting the

 motion parameters of the camera tracking system.

Key words: virtual studio ;positioning;calibration;the mechatronic tracking system

        虚拟演播室(Virtual  Studio)是近年发展起来的一种独特的电视节目制作技术,是在高速图形计算机和视频色键基础上发展起来的演播室技术,是虚拟现实技术(Virtua1 Rea1ity)在广播影视制作领域中的一项崭新应用。在虚拟演播室系统中,现场视频可以实时地与计算机产生的三维图形完美无缺地集成在一起。虚拟演播室的场景是计算机生成的三维图形,称为虚拟场景。它的运动受计算机中虚拟摄像机的控制,为保证真实摄像机的前景画面与虚拟场景“联动”,必须使虚拟摄像机与真实摄像机的位置、拍摄角度及运动状态相一致。因此,需要对真实摄像机进行实时跟踪,获取摄像机准确的位置信息和运动数据。

一、摄像机的定位及校准

        为保证虚拟场景与真实摄像机的景物之间“联动”,这就需要知道虚拟摄像机精确的位置信息,在实际中所要做的工作有:摄像机的定位。虚拟演播室系统的定位和校准可分为两种:首次校定和日常校定。

1、摄像机的首次校定。首次定位首次校定是指安装完之后,首次使用前的定位和校准。其主要目的是让计算机感知真实演播室的大小和位置,并将其坐标和虚拟场景坐标进行锁定,使他们的工作达到一致。首次校定可采用以下几步:

1.1 摄像机的四点定位

        用螺钉在演播室的蓝箱背面上定四个点,必须订成一个矩形平面,并将其长,宽及位于下方的两点距离蓝幕地板的垂直高度值输入到图形发生器的校准软件中;经过软件和摄像机校准小盒的设置,将真实摄像机的运动坐标与计算机虚拟摄像机的运动锁定。

本文在蓝箱的坐标系中(如图1所示),定义几个参数:

左上角A(xa,ya,za);                       

右上角B(xb,yb,zb);                   

左下角C(xc,yc,zc);

右下角D(xd,yd,zd);

摄像机的成像原点0(x。,y。,zo)



 其中ABCD四点的坐标均已知,点O的坐标未知,也即是本文所要得到的参数。在实际中通过测量;在初次开拍前,固定摄像机的位置后,将摄像机的中心点分别对准蓝幕上的四个点,通过摄像机校准小盒记录这四次的摄像机的相对位置关系(包括水平和垂直的夹角);

1.2  摄像机位置测定

        用水平仪及卡尺测量镜头光轴俯仰底座中心轴之间的垂直距离,及该中心轴与镜头后平面之间的垂直距离,并将测出的数值输入校准软件中。测量这些数值的目的是:让计算机感知摄像机及其镜头的所在位置和相对关系。

2日常校订

        日常校定是指系统每次开启后必须做的校准和定位,其目的是让计算机感知摄像机所在的位置。日常校订比较简单,利用摄像机跟踪系统小盒上的几个按钮,在进行演播时由计算机通过坐标变换进行校准即可。

二、摄像机镜头的校准。

        摄像机镜头的校准主要用于真实摄像机与虚拟摄像机视域的匹配,在机电传感定位中,真实摄像机镜头的焦点在变焦和聚焦时的移动是非线性函数,虚拟摄像机不能处理这种非线性问题,在首次适用前进行镜头校准。为简单起见,我们假定光心就是像素设备帧缓存的中心,校准算法的总体思路是:首先根据摄像机成像的径向约束条件近似估计摄像机的参数,然后用非线性迭代算法优化初始的摄像机参数。这种算法的优点是计算速度快,结果准确。

三、机电跟踪系统的校准

        虚拟演播室的参数跟踪采用机电跟踪设备完成,我台选用的TOP3D-SET采用最新的光栅旋转编码器的高精度参数采集系统,采用8M频响的采集电路,自适应初始化定位技术。其主要设备包括变焦镜头传感器、固定在三脚架上的机电摇摆和俯仰的码盘,主要用于在拍摄过程中摄像机的俯仰、摇摆、推拉等动作时进行校准。通过将机械运动转变为电信号,然后利用串口把电信号传送到用于绘制三维虚拟场景的计算机;计算机根据接收到的信号,转换为虚拟摄像机(virtual  camera)的参数,实时渲染生成三维虚拟背景;最后在视频合成系统中将前景、背景进行抠像合成。

        在机电传感定位中,真实摄像机镜头的焦点在变焦和聚焦时的移动是非线性函数,虚拟摄像机不能处理这种非线性问题,需要在首次适用前进行镜头校准。镜头校准首次较准中最为复杂的一步。通过一个特制的标尺框(校准板:500×500毫米,由100×l00毫米的黑白方格交替排列组成)和PC机的镜头校准软件,在镜头取景范围的最大值和最小值之间测取100个样值点,为计算机中的虚拟摄像机建立一条镜头变焦与取景角度之间的曲线。当真实像机的镜头推拉和变焦时,虚拟场景就能同步运动了。

        在虚拟演播室的3D或2D场景建模中,要准确跟踪真实摄像机的运动,通常应用较多的是摄像机的俯仰和水平摇移,以及摄像机的焦距变化。在虚拟演播室首次启用之前,对摄象机焦距进行校准,从而对真实摄像机准确建模。真实摄像机的位置是固定的,只需要使用摇摆和俯仰的角度旋转虚拟摄像机,用变焦测量值推算出虚拟摄像机视域的大小。目前,图形硬件都用一个简单的小孔相机模型(未考虑视域深度、光线扭曲等因素)作为虚拟摄像机,带有机电跟踪系统的真实摄像机的光心的空间坐标作为小孔相机焦点的空间坐标。将这两种运转情况进行简单的建模,如图2所示。

四、摄像机跟踪系统运动参数的获取

        摄像机的运动参数包括镜头运动参数(变焦zoom;聚焦focus;光圈试iris),机头运动参数(摇移pan;俯仰tilt),及空间位置参数(地面位置x、Y和高度z)等。这些参数的获取对虚拟演播室系统来说非常重要,它可直接影响到虚拟背景的生成。目前,可采用机械跟踪方式和图像分析识别方式获得摄像机的这些运动参数,结合我台的实际,我们采用机械跟踪方式。

        摄像机跟踪系统中将带有变焦镜头传感器的摄像机安装在固定的三脚架上,三脚架上带有机电摇摆和俯仰的码盘。传感器跟踪系统对于每个视频场(对应摇摆、俯仰、变焦、聚焦)产生一组测量值(mPan、mtilt‘、tzoom、mfocus),由于接受的是码盘的相对变化值,必须推算出用于渲染虚拟场景的虚拟摄像机的参数:在世界坐标系中的坐标(xvirtual,yvirtual,,zvirtual),摇摆角(apan)、俯仰角(atilt)、视域角(aview)。

        首先,由于机电跟踪系统安装在固定的三脚架上,以蓝箱的地面与背面交线的中心点为世界坐标系的原点,可以通过精确的测量得到俯仰轴与摇摆轴交叉点的空间坐标(xreal,yreal,zreal)

        其次,如图2所示,要得到带有一机电跟踪系统的摄像机模型的高度增量(dheigh)和前后增量(ddepth),其中高度增量可以通过精确测量得到,前后增量为两个量相加得到,其中成像平面与摇摆轴的距离(dpan)可以通过精确测量得到,光心与成像平面的距离dzoom可以由变焦和聚焦参数变换得到,由于镜头要进行推拉,即变焦参数在发生变化,所以该增量也在发生变化,在实际的应用中采用实际测量加估计的方法,因为该增量的变化不是很大,随着焦距的变化而进行相应的变化。

        然后,选取俯仰轴与摇摆轴的交叉点作为坐标原点,如图3所示,以俯仰轴为X轴,以摇摆轴为Y轴,以从原点出发垂直于X轴和Y轴的直线为Z轴,建立空间坐标系,经计算得到六个有用的参数位:光心在世界坐标系中的坐标(xvirtual,yvirtual,zvirtual,),摇摆角(apan)、俯仰角(atilt)、视域角(aview)。将这六个参数直接赋给虚拟摄像机,用于渲染三维虚拟场景即可。

        总之,为了丰富节目的制作效果,在虚拟演播室的一些实际应用中,将摄像机的镜头可以与虚拟摄像机的镜头结合使用,这些参数的任何错误都会造成演播室前景与虚拟场景的错位、或是前景的漂移与背景的扭曲等,所以,在整个拍摄与播出过程中必须保持良好的定位和校准,使真实前景与虚拟背景之间建立高度精确的定位和校准。
                                  (作者单位:安徽宣城市广播电视总台)

上一篇: 县级台室外大型直播心得体会

下一篇: 微信课堂第一讲:高标清同播的两种方式

分享到: