09 Cameras, Lenses and Light Fields
09 Cameras, Lenses and Light Fields
成像方法
计算机图形学有两种成像方法，包括合成和捕捉
- 合成：光栅化和光线追踪
- 捕捉：使用相机等设备记录真实世界图像
相机原理
小孔成像
通过小孔形成倒立实像，所有点清晰无虚化。
使用小孔成像原理的相机称作针孔相机，除此之外，还存在使用透镜的相机。
针孔相机拍出来的东西没有深度可言，不存在虚化的部分，背景都是清晰的
相机结构
相机由镜头和传感器组成。
- 镜头：由多个透镜组成，负责光线聚焦。
- 传感器：记录光线强度，现代相机中通常为数字传感器。
为什么传感器必须要镜头？
- 实际上，记录光线的传感器并不能区分光的方向，它接受的是irradiance，而不是radiance
- 因此，必须要使用镜头来隔绝其他无关的光线
视场
视场角（Field of View, FOV） ：由传感器大小和焦距决定，影响拍摄范围。
一般来说，FOV有水平FOV和垂直FOV两种
定义传感器的大小为h；而传感器到镜头的距离为f，f也被称为焦距
于是，我们可以得到FOV的计算公式
$FOV = 2arctan(h/{2f})$
等效焦距：基于35mm胶片标准定义的焦距，便于不同相机参数比较。
- 17mm对应的FOV为104
- 50mm对应的FOV为47
- 200mm对应的FOV为12
上图是使用不同焦距的相机于同一位置拍摄的，
曝光度
曝光
H = t × E
其中 H 为曝光度，t 为曝光时间，E 为Irradiance。
在相机中，曝光度由光圈、快门速度和ISO共同决定。
- 光圈（Aperture） ：控制进入相机的光量，由F数表示，F数越大光圈越小。
- 快门速度（Shutter Speed） ：控制光线进入时间，影响运动模糊。
- 感光度（ISO gain） ：可以认为是后处理。但是这个后处理可以发生在硬件上，例如传感器本身可以调节对光的敏感度，或者从数字信号上调整。
光圈，快门速度，感光度的影响分别如下图所示
可以看到，高ISO虽然可以提升曝光度，但会导致图像噪点增加
F数：焦距除以光圈的直径
运动模糊的产生：对于机械的快门来说，它在打开和关闭会持续一段时间，而在运动的物体在这段时间会移动，中间的过程也会被记录下来，传感器平均之后会产生模糊
采取更短的曝光时间，那么可以一定程度上减轻运动模糊，但是相应的曝光度也会降低，为了平衡，可以调节光圈或者ISO
如下显示了F数和快门时间的对应
每一列设置的曝光度都大致相同，但是得到的结果并不完全一样
- 大光圈会引起景深的问题
- 快门时间会影响运动模糊
- 一般是景深运动模糊二选一
高速摄影
高速摄影：每秒拍更多照片，有更高的帧数，然后按照正常帧数来放
因此，每张照片对应的快门时间非常短
快门时间短了，那么需要更大的光圈
延时摄影
延时摄影：对一些照片应用特别长的曝光时间，且采取更小的光圈
镜头
相机镜头复杂，无论是手机相机还是专业相机，镜头均由多个透镜组成。如下图是Iphone的摄像头
为简化描述，我们引入理想化的薄透镜模型，忽略其厚度。
假设薄透镜能将平行于透镜的光线聚焦到一点，此点即焦点，焦点到透镜中心的距离称作焦距。
假设这个薄透镜的焦距是可变的（在现实中，是通过透镜组的方式来改变的）
有以下基本假设：
- 忽略透镜厚度
- 平行入射光线聚焦于焦点（焦距定义为焦点到透镜中心的距离）
- 遵循光路可逆原理
- 过中心光线方向不变
其中$f$为焦距，$z_i$为物距，$z_0$为像距。此公式揭示了物像位置的对应关系，可通过几何光学中的相似三角形原理推导得出。
弥散圆
弥散圆（Circle of Confusion, CoC）概念：当物点偏离焦平面时，其成像会形成扩散光斑
CoC直径计算公式如下：
其中A为光圈孔径，$z_s$为感光元件位置，$f$为F数。
由此可知，CoC大小与光圈孔径正相关，与F数负相关。
这解释了为何大光圈（小F值）会产生显著景深效果。
薄透镜光线追踪
我们可以模拟薄透镜进行光线追踪
- 确定成像平面（传感器）的物理尺寸与空间位置
- 设定焦距 f 与光圈孔径值
根据高斯公式推导像距
对感光元件每个像素进行双采样操作：
- 透镜面采样：在透镜孔径范围内选择光线起点
- 场景追踪：向场景投射光线并计算辐射传输
景深
景深（Depth of Field）指场景中成像清晰的轴向深度范围
焦平面（Focal Plane）上的物体无散焦模糊，偏离焦平面则产生弥散圆（CoC）
景深的影响因素：
- 光圈： 光圈越小（F数越大），景深范围越广
- 焦距： 长焦距导致浅景深，短焦距增加景深范围
- CoC阈值：定义可接受的模糊极限值（与感光元件分辨率相关）
光场
Light Field / Lumigraph
全光函数（The Plenoptic Function） 是用来描述在某一时刻，某一位置上能够看到的所有东西
全光函数的完整表示为$P(θ,ϕ,λ,t,V_x,V_y,V_z) $，其中θ和ϕ是极坐标表示，λ是波长，t是时刻，$V_x,V_y,V_z$是位置。
光场可以视作全光函数的一部分。
光场：在任何一个位置往任何一个方向的光的强度。
特别地，我们可以使用包围盒来囊括物体，这样的好处在于包围盒的形状简单，易于记录。
有了光场之后，当观察点在包围盒外时，我们可以知道任意一个位置，任意一个方向看向物体时的信息
有了光场之后，实际上我们并不需要知道物体本来是什么，我们只需要知道它的光场信息，就可以看到物体
光场照相机： 光场照相机的优点在于支持先照相，然后重新聚焦。