他创造了计算摄影 要为每台你的手机安有个“Pixel相机”

  • 时间:
  • 浏览:2
  • 来源:bet36备用网站

迄今为止,我们测试过的最好的智能手机摄像头是——DxOMark

在2016年的智能手机市场上,每个人都在努力展示自己的才华,但没人能想到。那一年,最引人注目的手机拍摄领域既不是苹果也不是三星,而是谷歌自己开发的像素。

后来,当像素2推出时,同样的情况再次发生。像素2只用了一台相机,在同一时期超过了大量的双相机旗舰,达到了DxOMark的顶峰,并带来了肖像模式。从那以后,像素系列一直保持着同样的策略。它的相机物理硬件不是最强的,但它在移动摄影领域有很好的表现。像素3带来夜景模式,像素4带来天体摄影。

作为像素相机团队的总工程师,马克列沃伊是这一切背后的主要驱动力。用通俗的话来说,马克列沃利用计算摄影来改变潮流的方向。

与 Google 相遇

Levoy最初是一个摄影爱好者,他拍的很多照片都可以在他的个人网站上看到。他与谷歌的会面应该从斯坦福大学开始。1990年,Levoy进入斯坦福大学计算机科学系,主要教授计算机图形学、数码摄影、艺术科学等课程。

Marc Levoy

1993年,Levoy借给博士生大卫费罗(David Filo)和杰里杨(Jerry Yang)一些磁盘驱动器,他们用磁盘和其他工具建立了一个互联网目录网站,后来被称为雅虎(Yahoo)。拉里佩奇和谢尔盖布林都是博士生,他们研究的是离莱沃伊办公室两扇门远的互联网索引。后来,他们建立了一个搜索网站,——谷歌。

Google 创始人拉里佩奇和谢尔盖布林

拉里佩奇和左伊的研究生们共用一间办公室,而谢尔盖布林是左伊的计算机图形班的学生。在斯坦福,左伊几乎见证了互联网的崛起,由于他与谷歌创始人的师生关系,他逐渐与谷歌建立了越来越多的联系。

拉里佩奇和谢尔盖布林离开斯坦福创立谷歌后,他们很快投资了一个研究项目——由莱沃领导的城市街区。他们拍摄视频并将其复制成图片,然后通过计算和处理恢复真实场景,这后来被谷歌街景项目商业化。

左伊在计算摄影领域的深厚造诣令谷歌团队非常钦佩,因此当谷歌X实验室遇到问题时,它立刻想到了这位斯坦福的老师。当时,谷歌X正在研究一款名为谷歌眼镜的产品,旨在推出一款可穿戴的“电脑”,它将以眼镜的形式出现。

根据谷歌X实验室发表的博客,因为谷歌X选择了眼镜,这是一种可穿戴的产品形式,它对硬件有极高的要求。即使是手机中常见的微型摄像头硬件模块,在应用于谷歌眼镜时也必须保持良好的拍摄效果,这不是一件简单的事情。

早期的 Google Glass 原型

既然很难或者几乎不可能用硬件来实现,我们应该改变我们的想法,用软件来解决它吗?通过这种方式,谷歌X找到了计算摄影专家Levoy来帮助解决这个问题。

最后,Levoy和谷歌X团队开发了一种称为HDR成像的算法,即快速拍摄多张照片,并通过计算和处理合成高质量的照片。多重张和成方法可以更好地渲染暗细节,同时,它可以确保高光的更高清晰度。

在与谷歌X的合作中,Levoy自己也制作了一个App——SynthCam,这也使得使用微型摄像模块的手机通过合成计算来模拟单反,从而实现了主体外的内容逐渐模糊的效果。

Levoy 用自制软件 SynthCam 拍摄的图片

虽然从目前的角度来看效果不是特别好,但这是当时手机摄影领域的一个新突破。

对计算摄影的浓厚兴趣也促使Levoy在从斯坦福退休后加入谷歌。

Pixel 系列,计算摄影的新起点

2014年,马克列沃从斯坦福退休,加入谷歌,成为全职员工。他是谷歌研究的领导者,谷歌研究是谷歌内部最有影响力的部门之一,主要负责研究计算摄影领域的相关问题。

当与谷歌X实验室合作时,莱沃意识到HDR算法可以应用于智能手机。毕竟,谷歌眼镜和智能手机都是移动终端,便携性是一个优势。

通过这种方式,Levoy带领团队尝试将HDR算法应用于Nexus系列,但效果并不太突出。即使Nexus系列的最后一款Nexus 6P采用了Levoy团队开发的升级版HDR算法,DxOMark的分数也只有73分,这与当时的主流旗舰产品相差甚远。

直到2016年谷歌首席执行官达比皮查伊(Darpy Pichai)提出从“手机第一”到“人工智能第一”的口号,Pixel系列才在这种环境下诞生。

整个公司的战略转变也让专门从事软件计算的Levoy获得了更多的灵活性和资源。他已经成为谷歌第一款自主开发的智能手机——像素系列的相机团队领导,而相机是像素系列的核心。

由于像素使用了新的处理器Snapdragon 821,处理能力得到了极大的提高。Levoy可以让HDR算法在Jennifer中更自由的发挥,至少图片采集和合成计算的速度有了很大的提高。在Nexus系列上打开HDR算法一段时间后,手机不会过热,按下快门按钮后需要一段时间才能完成拍摄。

2016年10月4日,谷歌正式发布了像素。与Nexus 6P相比,它的相机模块变化不大。它具有1230万像素的单个像素大小和1.55微米,并且仅具有相位聚焦功能。

然而,Pixel震惊了整个行业,在同一时期超越了旗舰产品iPhone 7 Plus和三星S7,登上了DxOMark的榜首。硬件没有太大的变化,但是拍照的能力已经发生了质的变化,这显示了Levoy团队开发的HDR算法是多么强大。

2017年,Levoy试图将自己在2011年左右开发的App SynthCam技术扩展到Pixel 2,并通过收集多张照片进行计算和合成。但是,为了避免之前Nexus系列硬件拖垮的现象,Pixel团队专门为Pixel 2增加了一个定制的图像处理单元,名为“Pixel Visual Core”,以加快图像采集和计算速度。

在硬件的支持下,Levoy也发挥了更好的作用。这一次,他在像素2中加入了人工神经网络来判断物体的相对位置,然后引入了“人像模式”,实现了人物主体清晰,但人像背后的背景逐渐模糊的效果。

毫不奇怪,像素2在同一时期再次超越了旗舰三星Galaxy Note 8和iPhone 8 Plus,达到了DxOMark的巅峰。

两次使用单相机,两次硬件普通甚至落后(同一时期,旗舰使用双相机),但Pixel两次登上榜首,超过所有竞争对手,这使Levoy成为业内炙手可热的人物,甚至称其为“计算摄影”。

计算摄影,改变了潮水的方向

像素系列的成功并没有让左伊沉迷其中。相反,他把注意力转向摄影领域的另一个高峰,——夜间摄影。在Pixel发布的同一年,Levoy在极低的光线条件下进行拍摄实验。

有必要知道,夜间摄影的照明条件不能与白天摄影的照明条件相比,并且作为移动便携式设备,相机模块不大,这导致很少光进入。如果闪光灯没有打开,就很难拍出清晰的照片。

正如他在极端极光拍摄的实验视频中所说,莱沃对计算摄影的坚定信念使他成功地坚持了下来:

我认为,当我们从硬件驱动的摄影转向软件定义的计算摄影时,这个领域才刚刚开始令人兴奋。

结果,正如我们现在都知道的,莱沃登上这座山的山顶进行夜间摄影。2018年10月,谷歌推出了像素3。这台新机器最大的亮点是由Levoy开发的夜视夜景模式。即使在晚上,手机也能拍出高清晰度和高亮度的照片。

Night Sight 效果样张 。 图片来自 Google

和过去一样,莱沃伊的解决方案仍然是一样的,即收集图片和综合计算。然而,与我们的直觉相反,夜视夜景模式并不采集不同曝光度的图片或采集明亮模糊的图片进行合成计算,而是选择采集大量模糊清晰的图片进行合成计算,最终输出清晰的图片。

在像素4上,左伊在摄影方面的突破是天体摄影。

图片来自:Google

像素系列已经实现了硬件驱动摄影过去无法实现的功能,无论是HDR、人像模式、夜视夜景模式还是天体摄影,这些都是过去的突破。软件定义的计算摄影几乎启发了整个智能手机行业。

苹果、三星和华为等手机制造商在电脑摄影上的投资越来越多。夜间模式几乎已经成为高端旗舰手机的标准,而人工智能照片祝福已经从高端旗舰产品传播到低端产品,成为一个基本的宣传点。

马克莱沃改变了潮流的方向。

现在, Levoy 要为每台手机装上一个‘Pixel 相机’

计算摄影对整个智能手机行业的好处是显而易见的。对于相机硬件模块落后的型号,他们也可以使用算法来显著提高拍摄质量。

它给拍照带来的优势甚至引发了移植像素相机程序的浪潮。正如我们在之前的报告中提到的,开发团队修改了Pixel的摄像头应用程序,使其与其他安卓手机兼容,并将修改后的程序发布到XDA论坛,许多用户试图下载它。

在我们的实际测试中,使用修改后的像素相机程序拍摄的照片,暗部分的亮点得到了改善,过度曝光现象有所减少,但偶尔会出现偏色。毕竟,这是一个经过修改的程序,即使有错误也能被理解。

左:正常,右:HDR

然而,这个问题现在可能必须解决。作为Pixel系列相机软件的领导者,Levoy在谷歌工作了近六年后选择离开,他的新工作是Adobe的副总裁。

根据来自外国媒体Gizmodo的报道,Levoy在Adobe的主要工作不仅是继续研究计算摄影,还开发了一个可以在不同平台和设备上使用的通用相机程序。此前,Adobe在移动端推出的lightroom软件自带相机应用程序。

lightroom 自带拍照功能

基于Levoy在计算摄影方面的积累和成就,以及Adobe在图片领域的长期积累,这款拥有无限平台和设备的“像素相机应用”仍然非常令人兴奋。

此外,与几年前相比,中档手机的摄像头硬件质量有了很大提高。售价2099元人民币的荣耀30S使用了6400万像素的主摄像头,此外还有三个长焦、微距和超广角的后镜头,售价1599元人民币的Redmi 10X也使用了4800万个主摄像头。

对于消费者来说,有了升级的硬件和这种通用的“像素相机应用”,拍出好照片只会变得越来越容易。

然而,在电脑摄影通过智能手机真正普及之后,你还会相信眼见为实吗?