推しのASMRのために作ったら、8mmフィルムまで蘇った話
こんにちは。AXIS の岩井清彦です。
前回までの記事で書いたとおり、RAC(Realistic AXIS Crystallizer)はもともと「推しのASMRを、いい音で聴きたい」という、技術の無駄遣いから始まったものです。
ところが作っているうちに、「これ、映像にも効くんじゃないか?」と気づいてしまいました。試しに映像版を作ってみたら、思った以上に効く。そうなると、試したくなる素材がひとつありました。
実家に眠っていた、家族の8mmフィルムです。
今回は、映像版RACと音声版RACを組み合わせてその8mmを復元し、親に渡すまでの話です。そして、その途中で「フレームレート」という名の沼にハマった話でもあります。
8mmを、まずはプロにデジタル化してもらう
8mmフィルムは、映写機がなければ見ることすらできません。うちにはもう映写機がありません。
なので、デジタル化はフジフイルムさんにお願いしました。ここは餅は餅屋です。フィルムを送って、しばらくするとデータになって返ってきます。
返ってきたのは、約17分,1時間59分の動画ファイルとDVD。自分が小さい頃の動画をPCで見られるのは感動的でした。
ここからが RAC の出番です。
なんか、輪郭がちらちらする
映像版RACを通してみると、確かに絵がシャキッとする。

ところが、試写していて気になることがありました。
動いているものの輪郭が、ちらちらする。
止まっている部分はきれいなのに、人が歩いたり手を振ったりしている場所だけ、輪郭がチカチカと落ち着かない。パラメータをいじっても、良くなるどころか、効きを強くするほどちらつきも一緒に増えていきます。
最初は「処理のパラメータが悪いんだろう」と思って、そっちばかり探していました。でも、違いました。
犯人は「18fps → 29.97fps」
8mmフィルムは、だいたい 1秒18コマ(18fps) で撮影されています。一方、デジタル化された動画は 29.97fps。
1秒あたりのコマ数が足りません。じゃあ足りない分はどうなっているのか。
フレームを1枚ずつ調べていくと、5フレームのうち2フレームが、直前のコマのコピーになっていました。
本物 コピー 本物 コピー 本物 | 本物 コピー 本物 コピー 本物 | ...18 × 5/3 = 30(正確には 17.982 × 5/3 = 29.97)。つまり、18fps のフィルムを「3コマを5フレームに引き伸ばす」ことで 29.97fps にしていたわけです。
ちなみに映画でよく聞く「3:2プルダウン」(24fps → 30fps、5フレーム中コピーは1枚)とはパターンが違います。なので、世の中にある一般的な「元に戻す」ツールの設定がそのままでは合いません。
17分の動画、30,920フレーム中、12,341フレームがコピー。約4割です。
普通に見ている分には、これで何の問題もありません。人間の目にはなめらかに見えるように作られているので。
ただ、RAC にとっては、これが大問題でした。
なぜ大問題なのかは……すみません、RAC の中身に関わるので書けません。ここは企業秘密ということで。
結論だけ言うと、同じコマから出てくるはずの2枚の出力が、違う絵になっていた。本来1ビットも違ってはいけない2枚が、輪郭の上で大きくズレていて、それが 5フレーム周期で繰り返される。これが「ちらちら」の正体でした。
対処:本物のコマだけ処理して、元の並びに戻す
やったことはシンプルです。
コピーのフレームを抜いて、本物の18fpsに戻す
「元の各フレームが、何番目の本物コマのコピーか」を表にして保存しておく
本物のコマだけを RAC で処理する
処理後、表のとおりに並べ直して 29.97fps に戻す
こうすると、コピーのフレームは処理済みのコマの「完全なコピー」になるので、ちらつきは原理的に消えます。フレーム数もレートも元とぴったり同じなので、音とのズレも起きません。
ただし、「差が小さいフレームをコピーとみなして捨てる」だけの単純なやり方だと、止まっている場面で破綻します(全部コピーに見えてしまう)。途中にカットやフィルムのつなぎ目があると、パターンの位相もずれます。なので、5フレーム周期の「位相」を全編通して追いかける仕組みにしました。
往復テストでは、本物のコマは1ビットも失われないことを確認しています。
試写でしか見つからない罠、3連発(+1)
これで解決!……とはなりませんでした。
フレームを取り出して戻す、という処理をはさんだせいで、画素そのものは正しいのに、動画に付いている「付随情報」だけが落ちるという罠を、立て続けに踏みました。数値で検証しても画素は合っているので、一つも引っかかりません。全部、実際に再生してみて気づきました。
罠1:横に間延びした
元の動画は 720×480 ですが、画素が正方形ではない(横長の画素で 4:3 に見せる)形式でした。この「画素の形」の情報が落ちて、プレイヤーが正方形の画素として表示した結果、家族全員が横に12.5%太りました。
罠2:早回しになった
本物のコマだけ取り出した動画のレートを、うっかり元の 29.97fps のまま書いてしまいました。18fps の中身を 29.97fps で再生するので、1.667倍速。 昭和のホームムービーが、サイレント喜劇みたいになりました。【実際の様子を一言】
罠3:音が消えた
フレームを取り出す経路には、当然ながら音は乗りません。戻すときに音を入れ直すのを忘れて、無音の家族映画ができあがりました。
罠4(おまけ):Premiere で音が出ない
音を入れ直したら、VLC では鳴るのに、Premiere Pro に読み込むと音声トラックが丸ごと無視される。元の音声は AC3 という形式で、ProRes(.mov)の入れ物にそのまま入れると、Premiere が「知らない」と言って無視していたのでした。PCM に変換して入れて解決。
どれも、画面と耳で確かめなければ絶対に見つからない類のものでした。数値のテストは大事ですが、最後は自分の目と耳です。
音のほうは、音声版RACで
8mm には音声トラックも付いていました。もちろん映像との同録音声です。8mmフィルムでの録音なのでかなり音質は悪いです。
こちらは本家の音声版RAC で処理しています。8mm 用に、かなり広くパラメータを探して、最終的に聴き比べて一番良かった設定を選びました。そのとき自分のメモに残っていた感想は「音に芯がある」。
映像と音、どちらも RAC を通して、最後にひとつの動画にまとめました。中間はすべて劣化しない形式で持ち、劣化のある書き出しは最後の1回だけ、というのもこだわったところです。

動画は1フレーム切り出せますが、音声は切り出せないので、スクショのみです。
親に渡した
3,40年ぶりに見た。こんなにきれいはっきりの映像になるんだね。
(筆者の)おじいちゃんが写ってる!おばあちゃんの声と顔も写ってる!懐かしいね~
なんてことを言ってました。
推しのASMRをいい音で聴きたくて始めたものが、回り回って、親に何十年前の家族の映像を渡すことにつながりました。始めたときには、まったく想像していなかった場所です。
おわりに
RAC は、映像も音も、「新しいものを足す」のではなく、「元からあるものを取り戻す」ための技術です。今回の8mmは、それを一番わかりやすく見せてくれた素材でした。
音声版RAC はアルファ版を公開中です。https://github.com/developerwaiwai/rac_release/releases
感想・お問い合わせは X(@axis_tech_axis)までどうぞ。
オーディオは、オカルトではない。科学計算だ。 そして映像も、たぶん同じです。
AXIS / 岩井清彦