摘 要：随着全景图技术的快速发展及广泛应用，古建筑文物全景图生成方法备受关注并得到研究和发展。本文从全景图照相设备、全景图生成工具和全景图拼接算法三方面来对目前古建筑文物全景图生成方法进行概述、比较和分析，最后得出相关结论并给出展望，希望为从事古建筑文物全景图生成、图像处理方面的设计人员和研究人员提供一定的参考。
关键词：全景图；古建筑文物；工具软件；图像配准；图像融合
中图分类号：TP391.9；TP393.09 文献标识码：A 文章编号：2096-4706（2018）12-0090-03
Study on the Method of Making Panoramas of Ancient Architectural Relics
LIANG Bi，PU Guolin，LIAO Ting
（School of Intelligent Manufacturing，Sichuan University of Arts and Science，Dazhou 635000，China）
Abstract：With the rapid development and wide application of panorama technology，the method of making panoramas of ancient architectural relics has attracted much attention and has been studied and developed. This paper summarizes，compares and analyzes the current methods of making panoramas of ancient architectural relics from three aspects：panorama camera installation，panorama generation tool and panorama stitching algorithm. Finally，the related conclusions are draws and the some prospects are given. It hopes that this paper can provide some references for designers and researchers engaged in panorama generation and image processing of ancient architectural relics.
Keywords：panoramas；ancient architecture relics；tool software；image registration；image fusion
0 引 言
古建筑文物是指建国之前的民用建筑和公共建筑，历经岁月长河却依然完整或局部完整地保留着原貌。由于它们代表了那个时代的建筑技术水平、建筑材料水平以及建筑美术水平，因此古建筑文物本身是一种综合性艺术，能在有限的空间里给人以美的享受，目前在一些古镇还能欣赏到它们。同时，古建筑文物作为中华民族五千年历史的见证者，它们不仅仅是历史，同时也是文化。伴随社会的进步以及人类文明程度的提高，古建筑文物越来越受到人们关注和重视，越来越多的学者和古建筑爱好者从事这方面研究，并取得了一些成果[1]。
近年来，全景图生成方法作为一种具有代表性的虚拟现实技术正备受关注，其因通过广角的表现手段，加上其它形式（如视频、绘图等）尽可能多地表现出真实环境而广泛应用在虚拟场景展示、医学图像处理及博物馆漫游等，其同样应用于古建筑文物。据查阅最新文献，我们发现目前生成古建筑文物全景图的方法主要有三种：第一种是使用全景图照相设备直接拍摄得到，第二种是将普通相机拍摄的多张图像通过工具软件合成一副全景图，第三种是使用图像拼接相关算法将多张图像融合为一张全景图。以下从这三方面来展开综述。
1 使用全景图照相设备
目前市场上的全景照相设备越来越多，不仅有专业的全景相机，而且还有支持全景图拍摄的数码相机，即使相机没有广角镜头，也可以拍摄出视野比较开阔的照片，而且大多智能手机也具有全景拍摄的功能。一般来讲，使用专业全景相机来拍摄古建筑文物全景图比较方便，生成速度快，而且效果较好。但专业全景相机价格较贵，拍摄技术要求高，所以只有少数专业摄影师使用该方法。利用普通相机或手机拍摄古建筑文物全景图则比较简单、经济，大多数非专业人员都能使用，但其生成的古建筑文物全景图质量不佳，譬如画面不够清晰、色彩表现不好等。通过比较可见，使用全景照相设备可以快速生成所需要的古建筑文物全景图，其生成过程不需要复杂的建模，速度快，能及时满足用户需求，但专用相机昂贵，不宜普遍采用，普通相机便宜，但效果较差。
综上，目前的全景图照相设备各有其优缺点，用户可以根据自己的需要进行选择。一般情况是先使用普通数码相机拍摄一系列约40%重叠的古建筑文物图片，然后使用全景图制作工具软件或图像拼接相关技术将这些相邻间有一定重叠的图片生成一张质量较高的全景图[2]。下面将重点介绍这两种全景图生成方法。
2 使用全景图制作工具
目前，常用的古建筑文物全景图制作工具有PTGui、Hugin、ArcSoft Panorama Maker、Panorama Studio、造景师、Kolor Panotour Pro、Teorex PhotoStitcher以及Adobe Photoshop等。以下主要介绍PTGui、ArcSoft Pan-orama Maker和造景师这三种常用的工具软件。
2.1 PTGui
PTGui（即Panorama Tools Graphical User Inter-face）是全景拼接工具Panorama Tools的一个用户界面软件，它为全景图制作工具提供友好的可视化界面来实现对多张图像的自动拼接，从而制作出质量较高的全景图。PTGui基本工作过程为图片载入、特征点定位、图片配准、图片融合和全景图生成。其工作流程有三步，即首先通过单击加载图像按钮自动导入一组原始图片；然后单击对准图像按钮自动对齐图片的控制点，并以控制点的形式自动缝合和优化融合图片；最后单击创建全景图按钮便生成所需要的全景图[3]。该全景图制作软件不仅功能丰富，而且用户可以自行修改和添加控制点来提高拼接的精度。拼接后的全景图明暗度均一，且没有明显的拼接痕迹，其简便性已使其成为目前古建筑文物全景图制作的首选工具。
2.2 ArcSoft Panorama Maker
ArcSoft Panorama Maker是一个目前流行的全景图制作软件，它能快捷地将一组有一定重叠度的图片自动拼接成一副高质量的全景图[4]。ArcSoft Panorama Maker为专业摄影人员提供了贴心的手动微调选项，能够调整和编辑最后生成的图像，譬如修改拼接点、拼接位置以及图像的亮度、对比度等等。其最大特色是支持自动、横向、360°、平铺、纵向五种专业的全景图拼接方式，而且每种方式都可以手动调整匹配点和融合区域，进而制作出让人满意的全景图。同时，它还支持3D预览，主要包括PageFlip、Line Interleave、Checkerboard、Anaglyph等3D预览效果，并且可以保存为*.MPO 3D图片格式。因此，该软件是制作精美古建筑文物全景图的最佳选择。
2.3 造景师
造景师企业版是一款行业领先的三维全景拼接软件，制作人员仅需花费3-5分钟即可轻松拼接出一幅完美的360°球型Flash全景图，同时支持全屏模式、右键批量拼接、HDR图像合成等功能，深受设计人员的喜爱。造景师能输出水平和垂直视角都可以达到360°的球形全景图，120°-180°的单鱼眼全景图，六个面组成的立方体全景图，水平一圈360°柱形全景图等。它不仅可以拼接全景图，还可以发布Flash全景和HTML5全景，用户可以在电脑上或者手机上360°观看全景。它还具有批量处理功能，即一次导入多组鱼眼图，软件便自动分组拼接，在工作之余、无人看管的情况下自动批量拼接、批量发布、批量图片转换。而且可以使用移除三角架功能去除全景图中的三角架，无需使用PS处理，大大提高了全景图生成效率[5]。因此，它是国内古建筑文物全景图制作人员经常使用的工具。
综上，使用全景图制作工具来生成古建筑文物全景图简便快捷，制作过程容易，操作简单、工作量较小，用时较短，实现成本和技术门槛较低，只需熟悉计算机工具使用的人员都能采用此方法来快速生成全景图。但由于全景图是将球面映射到平面，其本身具有一定的变形，特别是天空和地面变形较大，所以通过这些工具软件来自动生成的古建筑文物全景图有一定的扭曲和不协调，还需要通过其它工具（如Photoshop）来进行修改和完善，但该方法的简便快捷性已使其成为非专业人员制作古建筑文物常使用的方法。
3 使用全景图拼接相关算法
由于采用普通相机获取宽视野的全景图分辨率较低，而全景相机、广角镜头等不仅价格昂贵，而且所得到的全景图失真较严重，并且使用全景图制作工具所生成的全景图存在一定的畸变，还需要其他软件来修复完成，因此为了在不降低图像分辨率的条件下得到高质量的全景图，利用数字图像处理相关算法来实现全景图拼接被提出并快速地发展起来[6]。依据全景图生成的基本过程，可以得出图像配准和图像融合是全景图拼接的两个关键技术，下面主要对这两方面所涉及的常用算法进行综述。
3.1 图像配准
图像配准是全景图拼接的核心技术，它在一定程度上决定了全景图拼接的质量。图像配准的基本思路是采用一定的匹配策略找出待拼接图像中的特征点或模板在参考图像中的对应位置，进而确定两幅图像之间的变换关系。先前的图像配准方法主要采用点匹配法，这类方法速度慢、精度低、质量差，甚至还需要人工选择初始匹配点，自然不适应大量古建筑文物图片的配准。据查阅，目前的图像配准方法有基于灰度信息的图像配准、基于特征的图像配准和基于相位相关的图像配准这三种类型[7]。
其中，基于灰度信息的图像配准基本过程是首先提取图像中的目标区域作为模板，然后以相似性定量的规则在待拼接图像中搜索其最佳区域，其具体方法有互信息法、区域和局部信息结合法等[8]。该类配准方法很难解决图像之间非刚性变换。基于特征的图像配准基本原理是利用图像的特征来估计图像之间的变换，这些特征主要包括图像的形状、边缘、区域、轮廓、纹理、角等，其具体算法有控制点配准算法、自动角点检测配准算法、基于轮廓特征的配准算法、SIFT算法、SURF算法及Harris-SIFT算法等[9]。该类配准方法对前期的图像特征提取要求较高。基于相位相关的图像配准基本思路是先把图像从空间域转换到频率域，接着以特定的模板计算图像之间的相对位移然后再进行图像配准，其具体方法有基于多尺度分析法、基于快速傅里叶变换法等[10]。该类配准方法计算量较大，耗时较长，当图像之间存在非刚体变换时，效果较差。目前，古建筑文物常用的配准方法是基于特征的图像配准。
3.2 图像融合
图像融合是全景图拼接最后的关键步骤，其作用是将拼接图像的重合区域进行融合处理，并生成平滑无缝的高质量的全景图。它通过消除图像的亮度差异、拼接缝隙和鬼影等，来保证所拼接的全景图质量，提高全景图的视觉效果。早期的图像融合技术主要有加权平均法、渐入渐出法等，由于这类方法仅仅对图像进行简单融合，所以融合质量较差。据查阅，目前在全景图拼接中的图像融合有像素级图像融合、特征级图像融合和决策级图像融合三种层次。
其中，像素级图像融合是指在严格配准条件下对各种传感器输出的原始信号进行综合处理的过程，它是目前全景图拼接常采用的图像融合方式。其主要的算法有加权平均融合算法、多分辨率融合算法以及泊松融合算法等[11]。该类融合保留图像原始信息较多，生成的全景图精度较高，但所需时间较长。特征级图像融合是指对不同传感器的多源信息先进行特征提取，然后对来源于多个传感器的多个特征信息进行综合处理的过程。其目前常用的方法有神经网络算法、贝叶斯估计法、聚类分析法等[12，13]。该类融合实时性有所提高，但丢掉较多图像细节信息，所生成的全景图精度较弱。决策级图像融合是指对每个源图像进行特征提取、识别和分类后，再根据某种特定的决策把不同的待融合图像进行融合，最后将以上所得的决策类型联合起来进行最终判决。其当前流行的方法有基于Bayes推理、神经网络、证据推理以及支持向量机等[14，15]。该类融合计算量最小，但图像原始信息损失较多，导致融合所得到的全景图不很清晰。一般来讲，对古建筑文物图像融合通常采用加权平均融合法。
综上，使用全景图相关的拼接算法来生成的古建筑文物全景图质量较好，图像分辨率较高，但其生成过程较复杂，不仅涉及到许多图像处理的相关理论知识和技术，而且所涉及的算法复杂度大，计算量也大，实时性较差。采用该方法将大量的古建筑文物图片生成全景图不仅对计算机硬件要求高，而且生成过程用时较长，速度较慢，自然不能及时满足用户需求。由于该方法投资的人力、物力、财力以及精力较多，因此只有从事全景图像处理研究的科研人员才会使用。
4 总结与展望
近年来，全景图像的应用越来越广泛，对古建筑文物全景图生成方法的研究越来越多。本文从全景图照相设备、全景图生成工具和全景图拼接算法三方面综述了全景图生成的主要方法，并分析了它们的优缺点。总地来讲，使用全景相机来拍摄古建筑文物全景图速度快，全景图质量好，但专业技术要求高，而且全景相机昂贵，所以日常用较少；使用全景图工具来制作古建筑文物全景图方便快捷，技术要求低，全景图质量较好，虽然采集图片耗时较多，所生成的全景图有一定畸变，但由于其简单容易性所以比较常用；使用全景图相关拼接算法来生成的古建筑文物全景图精度高，质量好，但算法过程复杂，计算量大，耗时长，目前只有从事这方面研究的科研人员才会使用。
由此可见，目前生成古建筑文物全景图的方法各有其优缺点。一般情况下，专业摄影人员采用全景相机来拍摄古建筑文物全景图，而大多数人员则先使用普通相机拍摄多张古建筑文物图片，然后通过全景图制作工具将它们合成为全景图，科研人员则使用全景图相关的拼接算法来生成古建筑文物全景图。但是，现有的这些方法还未实现古建筑文物全景图生成的实时性、准确性和全自动性，因此对实时全景图生成、全自动全景图制作以及彩色全景图拼接研究是未来的研究方向。而且由于古建筑文物全景图涉及到的原始图片数量大，其拼接技术应该重点放在提高算法的运算速度、拼接精度和鲁棒性等方面。
参考文献：
[1] 冯美珍.古建筑的保护和修缮研究 [J].遗产与保护研究，2018，3（7）：138-140.
[2] 江铁，朱桂斌，孙奥.全景图像拼接技术研究现状综述 [J].重庆工商大学学报（自然科学版），2012，29（12）：60-65.
[3] 王佩雯，张紫桂，杨成，等.基于PTGui与Pano2VR的交互式古建筑文物三维全景漫游设计 [J].新媒体研究，2018，4（4）：42-44.
[4] 刘明，王广平，王兵，等.Panorama Maker拼接软件在CR全脊柱成像中的临床应用 [J].长江大学学报（自科版），2013，10（3）：28-29+31.
[5] 马嘉琳，张锦明，段帅，等.全景图生成软件对比与分析研究 [J].测绘与空间地理信息，2016，39（2）：50-52+56.
[6] 王娟，师军，吴宪祥.图像拼接技术综述 [J].计算机应用研究，2008（7）：1940-1943+1947.
[7] 马宗方，张少坤，宋琳，等.一种基于颜色尺度不变和FANN搜索的图像匹配算法 [J].红外技术，2018，40（5）：468-472.
[8] 郑莹，李光耀.区域和局部信息结合的双向医学图像配准 [J].中国图象图形学报，2011，16（1）：90-96.
[9] 许佳佳，张叶，张赫.基于改进Harris-SIFT算子的快速图像配准算法 [J].电子测量与仪器学报，2015，29（1）：48-54.
[10] Keller Y，Averbuch A，Israeli M. Pseudopolar-based estimation of large translations，rotations，and scalings in images [J].Image Processing，IEEE Transactions on，2005，1（1）：12-22.
[11] 汪丹，刘辉，李可，等.一种三角函数权重的图像拼接算法 [J].红外技术，2017，39（1）：53-57.
[12] Wang R，Bu F，Jin H，et al. A Feature-Level Image Fusion Algorithm Based on Neural Networks [C]// The International Conference on Bioinformatics and Biomedical Engineering. ICBBE 2007. The 1st International Conference on. S.l.：s.n.，2007：821-824.
[13] Du C，Gao S . Multi-focus image fusion algorithm based on pulse coupled neural networks and modified decision map. [J] Optik-International Journal for Light and Electron Optics，2018，157（4）：1003-1015.
[14] Huan R，Pan Y. Decision fusion strategies for SAR image target recognition [J].Iet Radar Sonar Navigation，2011，5（7）：747-755.
[15] Li JY，Peng ZM. Multi-source image fusion algorithm based on cellular neural networks with genetic algorithm [J].Optik - International Journal for Light and Electron Optics，2015，126（24）：5230-5236.
作者简介：梁弼（1982-），男，汉族，四川南充人，副教授，博士生。研究方向：智能信息处理、Web服务、推荐系统；蒲国林（1971-），男，汉族，四川达州人，教授，博士。研究方向：智能计算、大数据；廖婷（1978-），女，汉族，四川达州人，讲师，硕士。研究方向：图像处理。
