ゲストのスマホ映像を結婚式ムービーに入れる前に高画質化する

新郎新婦は、友人が撮ったファーストダンスのクリップをムービーに入れたいと言っています。スマホで、ストリングライトの下、センサー感度を上げて撮られたもので、タイムライン上では明るいレンズの 4K カメラの隣に並びます。撮り直しはできませんし、外すこともできません。できるのは、そこに馴染んで見えるようにすることです。

このガイドは Windows アプリ向けです。動画の高画質化は ClapClip for Windows で行います。このサイトのオンライン画像ツールが扱えるのは1枚の静止画だけです。

要点

• シャープ化やアップスケールの前にノイズ除去。 暗所のスマホ映像はまずノイズです。ノイズをシャープにすれば、くっきりしたノイズになります。
• A カメラに合わせる。4K を追わない。 4K タイムラインの中の 1080p ゲストクリップは、編集ソフトで引き伸ばすより 4K にアップスケールした方が良く見えますが、480p のクリップは 1080p で止めるべきです。
• 1フォルダー、1バッチ。 一番難しいクリップで設定を決め、残りを同じ設定でキューに入れる。
• クライアントの映像は PC の中に。 アプリはローカルで処理し、結婚式のものは何もアップロードされません。

なぜゲストのクリップは実際より悪く見えるのか？

披露宴では3つのことが同時に起きます。会場が暗いのでスマホはセンサーのゲインを上げ、画面はノイズで埋まります。次にスマホはファイルを小さく保つために強く圧縮するので、ノイズは滲んだブロックになります。そしてレンズが小さいので、部屋の向こうの顔は最初から柔らかい。どれもモーションブラーやピントのミスではありません。ノイズと圧縮の下に埋もれた、綺麗な画像です。

これが重要なのは、修正に決まった順番があるからです。先にノイズとブロックを取り除けば、その下のディテールは使えます。先にシャープ化や拡大をすれば、ノイズを拡大しただけになります。

ルール： 100% 表示でクリップがノイジーに見えるなら、他に何が必要でも、ノイズ除去が最初のパス。

パスはどの順番で実行すべきか？

1. ノイズ除去。 暗所クリップはすべてここから。顔と平らな壁を 100% で判断します。顔がプラスチックにならずに、壁が滑らかになるところまで。
2. モード。 乾杯や誓いの言葉など、顔がフレームを埋めるクリップには、肌と目に調整された Portrait モード。ダンスフロアの引きの画には、フレーム全体を均等に扱う General モード。モードはクリップ全体に適用されるので、そのクリップで一番大事なものに合わせて選びます。
3. タイムラインの解像度にアップスケール。 ムービーが 4K でゲストクリップが 1080p なら、編集ソフトに引き伸ばさせるより、エンハンサーで 4K にします。クリップが 720p 以下なら、正直な目標は 1080p です。720p から 4K は、1ピクセルにつき縦3ピクセルをモデルに発明させることになります。
4. 代表的な区間をプレビュー。 冒頭ではなく、一番暗いショット、一番速い動き、誰かがフレームを横切る瞬間。その区間が通れば、クリップは通ります。

ルール： プレビューの間に変えるのは1つだけ。ノイズ除去とアップスケールを同時に変えると、どちらが滲みの原因か分かりません。

長い披露宴クリップがここで現実的なのはなぜ？

披露宴のクリップは10分になることがあります。1フレームごとにモデルを走らせるエンハンサーでは、ミドルレンジのノートPCで一晩の仕事になり、だから多くの編集者は数秒しか高画質化しません。

ClapClip はすべてのフレームを処理しません。キーフレームを高画質化し、その間のフレームはフレーム間の動きから再構成します。動画1秒あたりのモデル処理はフレームごと処理の何分の1かになり、ミドルレンジの NVIDIA、AMD、Intel の GPU でも長いクリップは「待つ」程度で、一晩ではありません。三脚から撮ったスピーチのように、フレーム間でほとんど変化しないものが最良のケースです。手持ちのダンスフロアのパンはフレーム間の共有が少なく、時間がかかります。動画エンハンサーのページでこの方式を説明しています。

同じキーフレーム方式は、ショット全体の一貫性も保ちます。1つのキーフレームから再構成されたフレームは同じディテールを引き継ぐので、独立したフレームごと処理で起きるような、肌や布がフレームごとにちらつく現象が出ません。

ゲストクリップのフォルダーはどう処理する？

クリップを1つのフォルダーに集めます。一番難しい、一番暗いかノイズの多いクリップで設定を選び、通るまでプレビューします。それからその設定でフォルダーをキューに入れ、GPU に処理させます。バッチモードは1セットの設定をすべてのファイルに適用するので、明るい屋外の挙式と暗い披露宴が混ざったフォルダーは、実際には2つのバッチです。

処理時間はクリップの長さ、解像度、GPU で決まります。VRAM 4 GB の専用カードなら 1080p は余裕で処理できます。8 GB 以上なら 4K 出力にも余裕があります。音声トラックは保持されるので、高画質化したファイルは元のファイルの代わりにそのままタイムラインに戻せます。

ルール： バッチの前に、ゲストではなく照明でフォルダーを分ける。

結婚式の何かが PC の外に出る？

いいえ。アプリは DirectML を通じて自分のハードウェアで動画を処理するので、新郎新婦の映像が共有 GPU キューにアップロードされることはなく、披露宴のどれだけを綺麗にできるかをファイル単位の課金が決めることもありません。クライアントワークではそれが肝心です。友人の動画をサードパーティのサーバーに置いていいか、新郎新婦に聞く必要がないのです。

このサイトのオンライン画像ツールは、処理のために静止画をアップロードする別のサービスで、そのプライバシーページで説明しています。動画はアプリの中に。

高画質化で直せないものは？

• 本物のモーションブラー。 ダンスフロアを振り回したスマホは、フレーム自体がブレています。ノイズ除去はそれを綺麗にしますが、ブレは戻しません。カットで避けてください。
• 白飛びしたハイライト。 真っ白に飛んだストリングライトや白いドレスには、復元するディテールがありません。
• ローリングシャッターの歪み。 それは高画質化の前の、編集ソフトでのスタビライズの問題です。
• フレームレートの不一致。 エンハンサーは元のフレームレートを保持します。24 fps タイムラインの中の 30 fps スマホクリップは、変換の問題であって高画質化の問題ではありません。

納品前のチェックリスト

関連ガイド

• 動画を 4K にアップスケールするでは、4K を目標にすべき場合とそうでない場合を説明しています。
• 動画エンハンサーのページでは、キーフレーム方式と GPU ごとの処理時間の目安を扱っています。