ライト フィールド フォトグラフィーとは?
ライトフィールド写真は長い間使用されてきました。最初のアナログ ライト フィールド デバイスは、1908 年にガブリエル リップマンによって発明されました。リップマンは最終的にカラー写真の研究でノーベル賞を受賞しました。
ライトフィールド撮影では、通常の撮影では不可能な、撮影後に画像のピント面を移動させることができます。
では、ライト フィールド フォトグラフィーはどのように機能するのでしょうか。この記事では、知っておく必要があるすべてのことを説明します。
ライトフィールド写真とは?
通常の写真撮影は、人間の目と非常によく似ています。カメラで焦点を合わせると、センサーが 3 次元空間の 2 次元画像をキャプチャし、その空間の「スライス」に焦点が合います。焦点を合わせた領域の前または後ろのすべてがぼやけていて、焦点が合っていません。これは、通常のセンサーが光の強さに関する情報のみを取得するためです。
ライト フィールドは、シーン内のすべての光線 (すべてのフォトン) 全体を指します。ライト フィールドを構成する光線は、プレノプティック機能によって定義されます (これが、ライト フィールド カメラがプレノプティック カメラとも呼ばれる理由です)。プレノプティック関数は、光線を 5 次元 (3D 空間での座標 (X、Y、`) と 2D 空間での方向 (2 つの角度)) で記述します。
ライト フィールド写真は、光の強度と光線の方向の両方を含む、特定のシーンのライト フィールドからの情報をキャプチャします (プレノプティック関数による)。
ライトフィールド写真は、従来の写真とは大きく異なります。これにより、3 次元画像をキャプチャし、事後に焦点を合わせる場所を選択できます。複数のセンサーを使用することで、入射光と光線の方向の両方をキャプチャできます。
ライトフィールド写真はどのように機能しますか?
ライト フィールド カメラの情報には、光の強度、色、方向が含まれます。このため、各光線がセンサーに到達する前にどこから発せられたかを数学的に判断することができます。これは、シーンの 3 次元モデルを構築できることを意味します。
ライト フィールドをキャプチャするには、次のようないくつかの手法があります。
- 単一のカメラを使用して、シーンに関する情報を複数の角度からキャプチャします。この方法では、多数の画像の選択が生成されます。
- 複数のカメラ アレイ。これらは通常、それぞれがシーンに関する情報をわずかに異なる角度からキャプチャする広範なアレイに多数のセンサーを備えています。この方法でも、一度に多くの画像が生成されます。
- マイクロレンズアレイ。単一のデジタル カメラ センサーの前に数百のマイクロレンズのアレイを配置することで、ライト フィールド情報を取得できます。これにより、数百のサブイメージで構成されるイメージが生成されます。
各画像またはサブ画像は、空間内のわずかに異なる場所から発生した光線をキャプチャすることによって異なります。したがって、各ピクセルはわずかに異なるシーンを表示するため、光線の角度に関する情報が記録されます。これにより、各オブジェクトのカメラからの距離とシーン内の位置を計算し、最終的にシーンの 3D モデルを作成することができます。
ライトフィールド写真の応用
信じられないほど便利なライト フィールド フォトグラフィーにはさまざまな用途があります。シーンのライト フィールドに関するすべての情報が記録されるため、通常の写真では不可能なさまざまな方法でライト フィールド イメージを処理できます。
1. カスタム焦点
ライト フィールド フォトグラフィーの最もよく知られている機能は、画像の撮影後にフォーカス ポイントを変更できることです。これは、カメラによってキャプチャされた情報には、すべての距離での焦点が含まれているためです。つまり、高度なソフトウェアを使用すると、シーン内の焦点になる距離を選択できます。
2.可変被写界深度
記録される情報の性質上、「合成絞り」で画像を処理することができます。絞りはレンズの開口部の直径であり、画像の被写界深度 (前景と背景の焦点のずれ具合) を決定します。
ライト フィールド イメージには、考えられるすべての焦点距離での情報が含まれているため、可能な限り浅い被写界深度を持つイメージを作成できます (非常に小さなセクションのみに焦点が合っています)。画像内のすべてに焦点が合った、被写界深度が無限の画像を作成することもできます。
3.視差効果
ライト フィールドのキャプチャ方法によっては、シーンのビュー アングルがわずかに異なる可能性があります。これは、画像の撮影に使用されるシステムの直径または幅によって異なります。レンズ系が広ければ広いほど、より広い角度からより多くの光が取り込まれます。
画像を撮影すると、実際のシーンで頭を動かしているかのように、画像のパースペクティブをわずかに変更することができます。これは視差効果として知られています。視差効果を利用して、3D 画像を再構成することもできます。
4.距離を計算する
ライト フィールド フォトグラフィ システムの感度と、その光学特性がどの程度よく知られているかに応じて、レンズからシーン内のオブジェクトまでの距離を計算することができます。これの主な用途の 1 つは顕微鏡検査であり、合成サンプルや生物学的サンプルのサイズを正確に測定するのに役立ちます。
5.照明条件を変更する
シーン深度に関する多くの情報がライト フィールド写真に記録されるため、後処理ソフトウェアを使用してシーン内の照明を正確に再構築することができます。ソフトウェアは画像内のすべてのオブジェクトの相対位置を認識しているため、影がどこに落ちるかを説得力を持って計算できます。
6.バーチャルリアリティ
2020 年代初頭を通じて、バーチャル リアリティはより重要な話題になりました。これは、メタバースを作成したいというメタの願望によって部分的に促進されました。ライト フィールド フォトグラフィーを使用して、実際の VR を作成できます。Google は、 Steamで表示できるこの例を開発しました。
16 台の GoPro の回転カメラ アレイを使用して、Google は 3D 空間にすべてのライト フィールド情報を記録した何千もの画像をキャプチャしました。その後、3 次元の 6 自由度の仮想現実体験を作成することができました。
ライトフィールドカメラは写真の未来ですか?
2012 年に、最初の消費者市場向けライト フィールド カメラが Lytro 社によってリリースされました。このカメラの解像度は 1 メガピクセルで、口径は f/2 で一定で、400 ~ 500 ドルで販売されていました。それ以来、消費者向けのライトフィールドカメラはほとんど市場に出回っていません。
解像度と画質の欠如は、DSLR のようにライト フィールド カメラが消費者市場で普及しなかったことを意味します。実際、ライトフィールド技術の用途の多くはまだ開発中です。
しかし、Google (および Apple) がこのテクノロジーに投資しているのには理由があり、VR の 3D ユーザー エクスペリエンスの作成におけるその使用はほんの一例です!
ライトフィールド写真:発展途上の技術
ライト フィールド カメラは比較的新しいものですが、大きな可能性を秘めています。写真の黎明期とは異なりますが、多くの類似点を描くことができます。固定絞りと低解像度が 2 つの例です。ただし、時間の経過とともに、このテクノロジは成長する可能性があります。
今後、ライトフィールドフォトグラフィーがどのように応用されるのか注目です。
コメントを残す