手机动态影像系统技术的发展与应用

程 樯 赵 傲

北京电影学院视听传媒学院,北京 100088

在网络媒体全球化的时代,随着媒介技术与手机影像功能的发展完善,网络上涌现的大量以专业用户生产内容 (Professional User Generated Content,PUGC)为主要内容的手机动态影像成为一种热门的文化消费产品。大部分网络创作者并非影视专业出身,但他们却凭借着对于手机动态影像技术发展的追随与钻研、巧妙的内容创意、对生活细致的观察和表现以及对网络用户使用心理精准的捕捉等优势,在网络媒体上掀起了不输专业内容的流行趋势。巴赞曾经指出,复制、记录和保存现实的世界是人类与生俱来的心理本能。人类诞生伊始,就有一种“完整电影”神话的情结。手机动态影像系统的出现与发展赋予了普通大众通过视听记录生活以及进行艺术创作的空间与权利,其具备的自由、经济、高效、智能等特点将被困在专业设备鸿沟中的平民创作者解放了出来,几乎每一个拥有智能手机的用户都参与到了这一场民间影像爆发的狂欢之中。因此,本研究将对手机动态影像系统技术的发展与实际应用及其在摄制和传播的过程中带来的新型创作观念进行概述与分析。

1.1 初尝试:硬件拼合时代

2000年9月,日本移动运营商与夏普合作推出的夏普J-SH04手机首次内置了影像技术,虽然只配备了11万像素的CCD 摄像头,在当时也没有引起较大的关注,但是J-SH04的诞生标志着手机影像系统的第一次面世。自此,手机影像的概念进入了各大厂家与用户的视野中,市场对于手机拍照功能的热情开始爆发。在手机影像技术的发展初期,各大手机厂商只是在硬件配置上把作为通讯工具的手机和影像记录工具的卡片相机在一个有限的空间里缝合在了一起。虽然如此,手机影像技术在2000到2010 年这段时间内的发展速度依然是惊人的。2005年,索尼爱立信K750i带来了自动对焦和家用DV 功能;2006年,三星B600将CCD 像素提高到了1000万且自带三倍光学变焦和五倍数字变焦,以颠覆的外观降临,第一次真正意义上将手机影像提高到了可以和相机相提并论的地位;2006年9月,诺基亚N95将蔡司镜头 “请”进了手机,带来的诸多拍摄功能成为了一代人的情怀;2008年,iPhone 3G 与App Store面世,整体提高了手机影像系统硬件与软件的配合度与执行力。可以说,在手机影像系统发展的第一个十年,大部分手机厂商努力的方向还仅仅停留在如何把更高级的相机镜头与传感器内置到手机里,给予用户前所未有的手机拍摄体验和伴随着技术参数升级的新鲜感。但在2010年,iPhone 4的发布打开了手机影像系统的新思路。

图1 三星B600

1.2 深度研发:效果为王时代

2010年,iPhone 4的像素还只有500万,在数据上甚至低于2006年的三星B600。但在那个时候,iPhone 4 却成为了全球影像质量最好的手机之一,这其中的技术核心是什么? 针对这一问题,苹果前总裁Steve Jobs在发布会上给出了答案。Steve Jobs说:“很多厂商热衷于那些很表象的指标,涉及到摄像的时候则是多少百万的像素。但我们 (Apple公司)则更倾向于问这样的问题——‘如何才能呈现出更好的影像?’”Steve Jobs意识到,对于手机影像系统来说,如何更充分地捕获光线给最终成像带来的影响远超于像素指数的提高。受制于手机内部空间的限制,手机影像传感器的感光面积很难做出较大的跨越。因此,iPhone 4抛弃了传统的像素堆叠设计思路,在一众厂商通过减少像素大小来提高像素的时候,做到了将300万像素提高到500万像素的同时保留1.75μm 的像素大小,以保证每个像素的进光量保持不变。其次,苹果引入了高端相机的背面照明传感器技术 (Backside illuminated sensor)来继续增加传感器的进光量,实现了在中低照度下依然可以呈现不错质量的影像效果。更重要的是,iPhone 4首次引入了720P、30FPS的高清视频录制功能,并且搭配了视频点击对焦、内置视频编辑以及一键分享等整合化的动态影像技术,真正地开启了手机高质量动态影像系统摄制与传播的时代。

自此,各大手机厂商不再一味追求纯粹的镜头与传感器升级,而是将研发重心投向了如何针对手机影像系统独有的特点进行优化。以三星和索尼为代表的传统相机厂商将相机的核心图像处理技术应用到了手机上,并带来了更大的传感器。LG Optimums 3D 手机带来的双摄系统为后来的多摄技术打开了局面。双焦段甚至更多摄像头的配合不仅拓宽了手机摄影的空间,而且为日后更强大的图像处理算法打下了基础。手机影像不断通过软硬件的结合实现了更无损的变焦、更加准确的测光、更加精细的景深、更加拟真的色彩以及更多的进光量等高新技术。在动态影像范畴,光学防抖到传感器防抖甚至内置云台的技术进化进一步解放了用户的双手,延时摄影、240FPS 慢动作等模式极大地丰富了手机摄影的可玩性,专业创作者也可以借助第三方软件的开发来实现手动调整色温、光圈、快门等技术参数,得以保持传统影像拍摄流程的操作习惯。可以说,在各大手机厂商以及软件公司真正开始针对手机影像的独特性进行因地制宜的努力之时,手机动态影像终于在一定程度上拉近了与专业摄影机之间的距离。

1.3 颠覆突破:计算摄影时代

在科技飞速发展的今天,信息学与光学的革命式爆发带来了一门颠覆手机影像系统的新兴学科——计算摄影学。计算摄影是基于传统数码摄影而衍生发展出来的一种新型数字成像技术,它能够经过一系列的软件处理,通过光学成像、传感器捕捉、智能化选择和数字计算等技术,将计算机视觉、数字信号处理、图形与图像学等内容进行深层次的交叉融合,从数码相机的成像原理上彻底改变传统相机的拍摄方式。追溯到1930年一个夏天的夜晚,美国天文学家Earl Slipher在一台24英寸的克拉克望远镜下发明了高动态范围 (HDR)技术的前身——多帧合成技术,自此打开了人类探索计算摄影技术的大门。2013年,Google发布的Nexus5首次在影像系统中加入了HDR+模式。HDR+是对传统HDR 技术的一次拓展,通过直接拍摄一连串短曝光的照片,并在其中智能选择质量最高的一张作为基准,在抛弃掉几张低质量的图像后,用其他的图像来进行合成,解决了传统HDR 在拍摄中长曝光帧的时候由于画面元素的不稳定造成的照片难以对齐以及伪像等问题。同时经过算法的降噪处理改善了手机传感器由于体积太小造成的信噪比不足的问题。纵览图2的两条图像处理管线。两个管线的输入都是全传感器分辨率 (例如1200万像素)、每秒最多30帧的拜耳原始图像流。当相机应用程序启动时,只有取景器管线 (图2 第一行)是运行的。这条管线将原始图像转换为低分辨率图像,以便于在移动设备的屏幕上显示,可能帧率较低。我们目前的取景器能够实现160万像素,每秒15-30帧的更新频率。当按下快门时,这条处理管线会短暂地暂停,在恒定曝光时捕捉到大量帧,并暂时储存,然后激活软件处理管道(图2第二行)。这条管道将连续拍摄的大量帧对齐合并,生成一个高位深的中间图像,然后应用颜色与色调映射,生成一个全分辨率的8位输出图像,并压缩和储存。在实现处理后,这张照片能够达到1200万像素,在移动设备上的处理大概需要4秒。

图2 Google HDR+完整管线

前Google传奇工程师Mark Levoy打破了手机厂商沿用传统做相机技术研发手机影像系统的思路,赋予了困在硬件鸿沟里的手机影像系统重焕新生甚至不断突破的生命力。Google公司通过对堆栈技术和深度学习的刻苦研发,一直到2016年依然凭借着只有一颗摄像头的Google Pixel在成像质量上击败了一众拥有更高级传感器以及更多镜头的手机,冲上了手机影像系统排行网站Dxomark 的第一名。2019年,iPhone 11的发布第一次将计算影像的概念带入了大众视野之中,彼时的计算摄影已经可以做到在低照度的条件下对已经使用了HDR 堆栈技术的合成影像进行二次计算,通过AI算法对拍摄场景以及画面元素进行分析后使用智能补色的方式为用户提供超越传感器本身能力上限的高质量影像。同年,苹果公司带来的深度融合 (Deep F usion)技术在计算摄影深度学习领域再次取得了突破,全景分割、语义渲染技术的出现让手机影像系统开始像人类的大脑一样对拍摄的画面进行分析,天空、静物、头发、眼睛等人类世界的概念走进了手机影像系统之中,手机针对于不同区域进行的智能优化让影像变得更加自然细腻,似乎已经不仅仅局限于记录,而是尝试去理解人类的创作意图并努力地实现,呈现了一种从技术出发到富有温度的人文关怀,进一步突破了人们对于手机影像技术的想象。2020年,iPhone 12第一次支持了杜比视界HDR 视频的拍摄,并且可以达到10Bit的高动态范围,这也意味着iPhone可以在视频录制的过程中捕捉到多达7亿种色彩。深度学习技术在计算摄影中的应用占比越来越大,且手机动态影像技术的边界还在不断扩张之中。但同时,计算摄影技术的发展也为手机带来了巨大的算力挑战。为了满足算力的要求,各大手机厂商在继续升级影像系统软硬件的同时开始研发算力更加强大的芯片,甚至是只针对于影像处理的图像信号处理 (Image Signal Processing,ISP)。Pixel Visual Core、A15、马里亚纳X 等高算力芯片的出现也标志着计算摄影技术的下一个核心将从软件的开发走向芯片的研制。

2021年,iPhone 13 的面世带来了手机动态影像系统计算摄影跨时代里程碑式的功能——电影模式(Cinematic Mode)。苹果公司工程师Johnnie Manzari在发布会上详细介绍了这一模式的功能与意义,通过神经网络算法的深度学习,iPhone 13的动态影像系统已经可以实现自动识别画面主体并跟随画面运动变换焦点的效果,甚至支持后期调整焦点与景深。iPhone 13 Pro所具备的大传感器、三摄配置、强大A15芯片等硬件与计算摄影技术的结合已经将手机动态影像的质量提高到在某些场景下与专业摄影机难以分辨的位置。在过去,这是难以想象的。计算摄影时代的到来拓展了手机影像系统的边界,赋予了普通手机用户拍摄出更加高质量影像的权利。用户在拍摄过程中可以更加专注于影像的内容与情感,专注于想用镜头表达的故事。计算摄影已经不仅仅是一个技术问题,芯片的算力与学习能力将麦克卢汉经典的那句 “媒介是人体的延伸”再次进行了深刻直观的诠释。这种思维方式将是未来一段时间手机动态影像系统的主流,而且依然存在着巨大的潜力。同时,计算摄影下强大的芯片算法也是手机影像系统在传感器体积等限制下能够媲美传统摄影机的技术基础。通过自动化的高级影像处理流程,在规定相同用户以及拍摄对象与环境的条件下,大大降低了影像创作的操作要求,并且常常能够展现出超越传统影像系统的惊喜效果,从而获得平民影像创作者更多的青睐。

2.1 高清流畅,挑战视觉极限

随着镜头传感器以及芯片的不断进步,手机动态影像系统能够拍摄的分辨率与帧速率越来越高。4K 视频在今天已经成为了各大手机品牌的影像标配。令人惊讶的是,三星Galaxy S20系列以及小米10系列在骁龙845处理器的加持下,已经能够拍摄高达8K 分辨率的视频。虽然大部分手机通过缩小像素面积提高分辨率的方法依然无法和相机实打实的大面积传感器相提并论,而且存在储存和续航等问题,但是考虑到手机作为载体本身的局限性,这样的飞跃依然足够惊喜。分辨率的指数级增长意味着手机动态影像系统捕捉到的画面能够呈现出更多的细节与纹理,进一步还原了影像的真实。在拍摄动物、人物等纹理复杂的元素时,高分辨率能够将毛发、皮肤质感、划痕等细节更精细地展现出来,在拍摄一定范围内远距离主体的时候,也能通过裁切与放大得到不错的影像质量,这也为手机动态影像创作者提供了拍摄远景镜头的硬件条件。手机分辨率的提升真正将手机影像的精细程度做到了纤毫毕现,同时也为用户提供了更多的玩法与可能性,满足了观众不仅看得到而且看得清的审美需求。

除了高分辨率以外,手机影像系统目前基本上都可以实现1080P、120FPS的高帧率摄影,手机内自带的慢动作模式更是可以直接记录1080P、240FPS的超高帧率升格视频,华为P50 Pro甚至能够通过自动补帧算法实现1080P、960FPS的超级慢动作视频。帧率的概念首先源于电影的播放原理。早期默片16～22FPS的帧率,已经让画面 “活动”起来,形成了不错的视觉效果,甚至人类在第一次观看电影 《火车进站》时,已经被眼前动起来的火车吓得惊慌失措。后来,电影技术产业不断升级,电影帧率也从标准的24FPS 衍生出了48FPS、60FPS甚至以《比利·林恩的中场战事》 《双子杀手》等影片为代表的120FPS 等多种高帧率制式。可以说,高帧率视频凭借着其影像动作前所未有的流畅性为观众带来了更加细腻丰富的画面内容,形成了一种赏心悦目的新电影美学。如今,手机影像系统能够支持最高120FPS的高清视频录制功能意味着用户们可以用手机去更加极致地表现各种有大幅度镜头运动或人物动作等复杂调度的画面,从而带给观众手机影像领域前所未有的临场感与参与性。同时,手机内置的超级慢动作功能也让用户能够用夸张的手法表现一些转瞬即逝的场景或重点表现的动作,给观众以“时间冻结”般的临场体验。这种对时间进行“特写”的拍摄方式本身就是一种独特的视觉美学,它通过延展时间来对动作场面进行分解,实现对“真实过程”的 “一种更精确更深刻的描写”。

2.2 细腻光色,超越真实世界

2020年,由廖明毅导演的亚洲首部iPhone长片《怪胎》面世,并且在多个国际影展竞赛中斩获奖项。在影片中,除了故事本身的趣味性,iPhone作为影像设备对于影片美术大面积采用红黄蓝绿等高饱和度色彩的表现让人印象深刻,呈现出了一种奇幻怪诞的浪漫。

杜比视界HDR 与语义渲染等技术的赋能,给予了手机影像系统对于动态范围与色彩范围里程碑式的跨越。10Bit的高动态范围让手机能够在超大反差的环境下依然有十分出色的细节表现。同时,10亿级色彩空间的识别与还原搭配上以Deep Fusion为代表的影像算法给予了用户通过手机动态影像系统展现多彩绚丽画面的权利。以iPhone 13 系列为例,苹果在从相机到屏幕的影像全流程系统中都采用了DCI-P3的广色域。这是一种影院级的色彩范围,以人类的视觉体验为出发点,能够在高饱和的场景下还原出更加具有视觉冲击力的影像。同时,杜比视界HDR 的加入将iPhone 13系列的录制以及显示亮度提高到了1200尼特,三摄的最大光圈也进化到了F1.8。这意味着,iPhone 13系列可以在低照度的环境下还原出甚至连人眼都无法看清的画面细节,同时又可以在高反差的环境下保留高光和阴影的超多画面细节,并在手机屏幕上出色地展现出来。如果用户在拍摄的时候,有意识地营造大光比和高对比,杜比视界就可以最高程度地释放它的“功力”,呈现出一种超强的沉浸感和真实感。同时,iPhone 13系列首次加入了摄影风格功能,用户可以在拍摄的时候进行选择和调整,并且获得实时渲染的监看画面,获得了更加丰富的色彩选择与玩法。

图3 iPhone电影 《怪胎》

2.3 多摄合作,拓展场景空间

2011年,LG 推出了世界上第一台后置双摄像头的智能手机LG P925,通过两颗500万像素的镜头,实现了裸眼3D 影像的技术。自此,HTC、酷派、荣耀等手机品牌也加入其中。直到2016年,苹果推出的iPhone 7 Plus搭载了28mm 与66mm 两 颗摄像头,并可以通过软硬件的配合做到2倍光学变焦与10倍数码变焦。除此以外,双摄的配合实现了手机影像系统对于场景位深的分析,结合机器学习算法可以做到虚拟景深的效果,为之后的 “电影模式”打下了基础。如今,三摄、四摄甚至五摄的配置在手机市场上已经见怪不怪了。多焦段镜头的搭配不仅拓展了用户在拍摄时与场景及画面主体之间的空间关系,在有限的空间里给予了用户更丰富的拍摄选择,以更合适的焦距更加准确地用影像传达情感,而且相比较于传统影像拍摄需要频繁更换镜头的流程而言,极大地提高了效率。2020年,苹果使用配有三摄系统的iPhone 11 Pro拍摄了春节贺岁片《女儿》。这也是iPhone首部未外接任何镜头,只使用手机原生镜头模组拍摄完成的短片。这意味着苹果公司的三摄系统已经基本可以涵盖从超广角到长焦的使用需求,并且每颗镜头都能实现优秀的成像表现。在影片中,大量车内镜头的出现意味着iPhone 11 Pro的超广角镜头可以在如此狭小的空间里大放异彩。后视镜、手套箱、引擎盖、轮毂等都可以用来放置iPhone 11 Pro,从而轻松高效地捕捉到一些新颖有趣的画面,对于传统摄影机来说,这是非常难以实现的。此外,iPhone 13 Pro所配置的超广角镜头第一次开发了微距摄影功能,最近对焦距离可以达到2cm,为影像创作再次提供了前所未有的视角和效果,手机影像系统也终于可以拍摄到未经裁切的超大特写画面。在2021 年的贺岁短片《卷土重来》中,我们通过花絮可以看到创作团队将手机固定在任意的位置,凭借着从13mm 到77mm高达6倍光学变焦的镜头组合,实现了超丰富的景别与构图。而其中几个微距大特写镜头对于模型车轮、沙地以及铁锅底部等复杂纹理主体的细节表现也十分优秀。除此之外,潜望式长焦、彩色黑白镜头搭配以及传感器五轴防抖等高新技术的出现保持着对手机影像系统的爆发式赋能,算法+丰富焦段的镜头已经可以让手机动态影像系统实现 “指哪打哪”的拍摄效果。华为Mate 20系列更是史无前例地开发了类似于天文摄影的超级月亮功能,虽然在人工智能算法逻辑上还存在着不小的争议,但已然可以看出手机影像工程师们对于追求极致所表现出的野心与努力。同时,哈苏、蔡司、莱卡等知名相机品牌的跨界合作与研发也为手机影像的未来进一步创造了无限可能。

2.4 算法赋能,营造电影拟像

细腻的焦外景深在过去是使用大传感器以及大光圈镜头专业摄影机的专属。充分的进光量与折射率制造的浅景深似乎成为一个画面是否具备 “电影感”的衡量标准。由于机内空间的限制,手机动态影像系统仅依靠着光学原理很难实现细腻柔顺的浅景深画面。即使是在影像硬件系统上做到了极致,拥有1英寸大CMOS的Sony Xperia Pro-I所得到的光学成像画面依然无法和入门级的专业微单一较高下。在短时间内很难继续扩张手机传感器大小的现实情况下,苹果公司再次提出了令人惊喜的新思路。在2021年9月的苹果发布会上,iPhone 13带着全新的“电影模式”高调亮相。这个通过强大的A15芯片算法做到虚拟景深、自动变换焦点甚至后期改变焦点的全新拍摄功能第一次把手机动态影像和电影画面之间的距离变得这么近。通过全景语义分割,iPhone 13能够清楚地识别出画面里复杂的元素,进而做出精准的焦点与景深计算。在焦内人物转头或者看向它处的时候,电影模式甚至可以自动将虚拟焦点变换到合适的画面对象上,展现出了计算摄影超强的深度学习和智能优化能力。在发布会的样片《谁是真凶》中,创作者刻意拍摄了连续几个前后景人物互动的镜头,旨在表现电影模式准确、流畅、仿生的自动变焦点功能,令人叹为观止。电影模式的出现意味着普通用户在不需要深入学习拍摄技能的条件下依然可以轻松地用电影的质感记录下身边的日常画面,更加专业的创作者甚至可以通过焦点的变化来进行镜头语言的叙事,以用户为中心,让手机动态影像系统实现从记录到创作的飞跃。诚然目前的电影模式依然存在比如焦点边缘模糊与只支持1080P、30FPS等问题。但计算摄影对于手机动态影像功能的颠覆和拓展在一定程度上给予了用户比使用专业相机还要灵活的自由度。通过关键帧后期改变焦点的功能在以往的任何动态影像流程中都未曾出现过,其划时代的意义不言而喻。

此外,例如Filmic Pro、Protake、索尼电影大师等动态影像软件的辅助给予了专业视频创作者熟悉的操控感。通过软件,用户可以自由调整色温、快门、焦段、感光度甚至画幅比等一系列参数,从而创作出具有温度和人文思考的影像。在这样一个小小的手机里,各大品牌已经用软硬件配合的方式来尽可能满足绝大部分用户的个性化需求,计算摄影在未来势必会成为手机影像系统向专业相机发起挑战的一把利刃。在这个时代,拍大片,真的可以只是动一下手指而已。

图4 电影模式后期调整焦点

随着动态影像软硬件技术的不断发展以及网络媒介技术的飞速升级,手机在今天已经成为最重要的也是最普遍的影像系统之一。二十年前,军备竞赛般的硬件堆叠将手机影像系统带到了技术研发的主流位置。近十年来,AI算法、深度学习、自动优化等计算摄影功能又将手机影像的思路进一步拓宽,一定程度上弥补了手机影像系统体积小的先天劣势,甚至在某些场景会得到令人惊喜的表现。二十年来,手机影像系统技术的战火从硬件烧到软件,未来会有怎样的颠覆也难以揣测。但无论如何,手机影像系统的核心思想依然是为大众简化影像创作的流程,并提供高质量的视听表现,让每个手机用户都能够拥有通过视听表达情感的权利,营造一场去中心化的民间影像狂欢。

同时,手机动态影像系统目前依然存在较多问题,比如Pro Res编码的传输速度太慢、文件太大导致难以储存;8K 与杜比视界HDR 等高新技术格式视频上传网络时各种各样的转码压缩对于原始视频质量会产生损耗且部分平台或设备不支持播放;计算摄影技术在录制动态影像的时候无法使用4K高帧率的格式。但是,手机作为非纯粹的影像生产工具,能够在有限的条件下达到今天这样的效果,已经足以称为摄影界的奇迹。并且,各大手机品牌的影像工程师们依然保持着对于技术研发的热情和对于极致体验的追求,在未来势必会为手机影像系统继续带来惊人的升级进化。手机影像系统改变了世界的创意生产习惯,消解了视听创作的中心权利。通过技术之维不断突破着艺术创作的边界,无限拓宽人们的想象空间实现艺术共创。在这个时代,手机影像系统没有抛弃任何一个想要记录与表达的平民百姓,同时也为有一定基础的专业用户提供了可玩性与操作空间。《高飞鸟》《失心病狂》《橘色》《怪胎》《波澜万丈》等用手机拍摄的电影成功向我们展示了这样一个小小的影像系统蕴含的巨大潜力。未来,我们继续保持期待。