メインコンテンツへスキップ

推しのASMRのために作ったら、8mmフィルムまで蘇った話

    こんにちは。AXIS の岩井清彦です。

    前回までの記事で書いたとおり、RAC(Realistic AXIS Crystallizer)はもともと「推しのASMRを、いい音で聴きたい」という、技術の無駄遣いから始まったものです。

    ところが作っているうちに、「これ、映像にも効くんじゃないか?」と気づいてしまいました。試しに映像版を作ってみたら、思った以上に効く。そうなると、試したくなる素材がひとつありました。

    実家に眠っていた、家族の8mmフィルムです。

    今回は、映像版RACと音声版RACを組み合わせてその8mmを復元し、親に渡すまでの話です。そして、その途中で「フレームレート」という名の沼にハマった話でもあります。


    8mmを、まずはプロにデジタル化してもらう

    8mmフィルムは、映写機がなければ見ることすらできません。うちにはもう映写機がありません。

    なので、デジタル化はフジフイルムさんにお願いしました。ここは餅は餅屋です。フィルムを送って、しばらくするとデータになって返ってきます。

    返ってきたのは、約17分,1時間59分の動画ファイルとDVD。自分が小さい頃の動画をPCで見られるのは感動的でした。

    ここからが RAC の出番です。


    なんか、輪郭がちらちらする

    映像版RACを通してみると、確かに絵がシャキッとする。


    画像
    左が RAC 処理後、右がオリジナル(フジフイルムのデジタル化そのまま)。同じフレームの左右で、赤白帽の子どもたちの輪郭の出方が違います。

    ところが、試写していて気になることがありました。

    動いているものの輪郭が、ちらちらする。

    止まっている部分はきれいなのに、人が歩いたり手を振ったりしている場所だけ、輪郭がチカチカと落ち着かない。パラメータをいじっても、良くなるどころか、効きを強くするほどちらつきも一緒に増えていきます。

    最初は「処理のパラメータが悪いんだろう」と思って、そっちばかり探していました。でも、違いました。


    犯人は「18fps → 29.97fps」

    8mmフィルムは、だいたい 1秒18コマ(18fps) で撮影されています。一方、デジタル化された動画は 29.97fps。

    1秒あたりのコマ数が足りません。じゃあ足りない分はどうなっているのか。

    フレームを1枚ずつ調べていくと、5フレームのうち2フレームが、直前のコマのコピーになっていました。

    本物 コピー 本物 コピー 本物 | 本物 コピー 本物 コピー 本物 | ...

    18 × 5/3 = 30(正確には 17.982 × 5/3 = 29.97)。つまり、18fps のフィルムを「3コマを5フレームに引き伸ばす」ことで 29.97fps にしていたわけです。

    ちなみに映画でよく聞く「3:2プルダウン」(24fps → 30fps、5フレーム中コピーは1枚)とはパターンが違います。なので、世の中にある一般的な「元に戻す」ツールの設定がそのままでは合いません。

    17分の動画、30,920フレーム中、12,341フレームがコピー。約4割です。

    普通に見ている分には、これで何の問題もありません。人間の目にはなめらかに見えるように作られているので。

    ただ、RAC にとっては、これが大問題でした。

    なぜ大問題なのかは……すみません、RAC の中身に関わるので書けません。ここは企業秘密ということで。

    結論だけ言うと、同じコマから出てくるはずの2枚の出力が、違う絵になっていた。本来1ビットも違ってはいけない2枚が、輪郭の上で大きくズレていて、それが 5フレーム周期で繰り返される。これが「ちらちら」の正体でした。


    対処:本物のコマだけ処理して、元の並びに戻す

    やったことはシンプルです。

    1. コピーのフレームを抜いて、本物の18fpsに戻す

    2. 「元の各フレームが、何番目の本物コマのコピーか」を表にして保存しておく

    3. 本物のコマだけを RAC で処理する

    4. 処理後、表のとおりに並べ直して 29.97fps に戻す

    こうすると、コピーのフレームは処理済みのコマの「完全なコピー」になるので、ちらつきは原理的に消えます。フレーム数もレートも元とぴったり同じなので、音とのズレも起きません。

    ただし、「差が小さいフレームをコピーとみなして捨てる」だけの単純なやり方だと、止まっている場面で破綻します(全部コピーに見えてしまう)。途中にカットやフィルムのつなぎ目があると、パターンの位相もずれます。なので、5フレーム周期の「位相」を全編通して追いかける仕組みにしました。

    往復テストでは、本物のコマは1ビットも失われないことを確認しています。


    試写でしか見つからない罠、3連発(+1)

    これで解決!……とはなりませんでした。

    フレームを取り出して戻す、という処理をはさんだせいで、画素そのものは正しいのに、動画に付いている「付随情報」だけが落ちるという罠を、立て続けに踏みました。数値で検証しても画素は合っているので、一つも引っかかりません。全部、実際に再生してみて気づきました。

    罠1:横に間延びした

    元の動画は 720×480 ですが、画素が正方形ではない(横長の画素で 4:3 に見せる)形式でした。この「画素の形」の情報が落ちて、プレイヤーが正方形の画素として表示した結果、家族全員が横に12.5%太りました。

    罠2:早回しになった

    本物のコマだけ取り出した動画のレートを、うっかり元の 29.97fps のまま書いてしまいました。18fps の中身を 29.97fps で再生するので、1.667倍速。 昭和のホームムービーが、サイレント喜劇みたいになりました。【実際の様子を一言】

    罠3:音が消えた

    フレームを取り出す経路には、当然ながら音は乗りません。戻すときに音を入れ直すのを忘れて、無音の家族映画ができあがりました。

    罠4(おまけ):Premiere で音が出ない

    音を入れ直したら、VLC では鳴るのに、Premiere Pro に読み込むと音声トラックが丸ごと無視される。元の音声は AC3 という形式で、ProRes(.mov)の入れ物にそのまま入れると、Premiere が「知らない」と言って無視していたのでした。PCM に変換して入れて解決。

    どれも、画面と耳で確かめなければ絶対に見つからない類のものでした。数値のテストは大事ですが、最後は自分の目と耳です。


    音のほうは、音声版RACで

    8mm には音声トラックも付いていました。もちろん映像との同録音声です。8mmフィルムでの録音なのでかなり音質は悪いです。

    こちらは本家の音声版RAC で処理しています。8mm 用に、かなり広くパラメータを探して、最終的に聴き比べて一番良かった設定を選びました。そのとき自分のメモに残っていた感想は「音に芯がある」。

    映像と音、どちらも RAC を通して、最後にひとつの動画にまとめました。中間はすべて劣化しない形式で持ち、劣化のある書き出しは最後の1回だけ、というのもこだわったところです。


    画像
    仕上がりの一場面。左が RAC 処理後、右がオリジナル。

    動画は1フレーム切り出せますが、音声は切り出せないので、スクショのみです。


    親に渡した

    3,40年ぶりに見た。こんなにきれいはっきりの映像になるんだね。
    (筆者の)おじいちゃんが写ってる!おばあちゃんの声と顔も写ってる!懐かしいね~

    なんてことを言ってました。

    推しのASMRをいい音で聴きたくて始めたものが、回り回って、親に何十年前の家族の映像を渡すことにつながりました。始めたときには、まったく想像していなかった場所です。


    おわりに

    RAC は、映像も音も、「新しいものを足す」のではなく、「元からあるものを取り戻す」ための技術です。今回の8mmは、それを一番わかりやすく見せてくれた素材でした。

    音声版RAC はアルファ版を公開中です。https://github.com/developerwaiwai/rac_release/releases

    感想・お問い合わせは X(@axis_tech_axis)までどうぞ。

    オーディオは、オカルトではない。科学計算だ。 そして映像も、たぶん同じです。

    AXIS / 岩井清彦


     
     

    AXIS

     
     
    AXIS は、劣化した音と映像を、生成ではなく計算で取り戻す技術のブランドです。名前は「軸」から。最初の製品 Realistic AXIS Crystallizer(RAC)を開発しています。書いているのは開発者の岩井清彦です。

    あなたへのおすすめ