オーディオウェーブフォームとキーフレームの組み合わせによる映像の制作

青木 陽平

1 背景・目的・研究概要

PCのマシンパワーの向上、低価格化により、かつて専門業務領域とされていた映像・音楽制作が、DTM(Desk Top Music)、DTV(Desk Top Video)スタイルの確立によって、コンシューマー層にも解放され、個人単位での制作が可能となった。
このように音楽という時間軸とグラフィックデザインというヴィジュアルとが同じプラットフォーム(PC上)に移行したことが、ミュージックビデオ(プロモーションビデオ)の映像表現の幅を大きく広げた。近年のミュージックビデオシーンにおいては、映画やTVドラマのような形式や表現を用い、映像自体が一つの作品として成立している。そのため主である音楽がBGMと化している作品が増えてきている。元来ミュージックビデオは既存する音楽に映像を組合わせるという方式をとり、さらに音楽とシンクロさせる事によって、一つ一つの映像の変化や動きが強調され、音と画像双方の印象を強める。
本研究では静止画のみを素材としたモーショングラフィックスで音楽とシンクロさせた映像の制作を目的とする。方法としては、手動で音楽のタイミングにただ映像を合わせていくのではなく、音楽データのウェーブフォームから特定の範囲の周波数を視覚的に選び抽出する。その音声エネルギーをキーフレーム※1に変換し、スクリプトを使って映像パーツの各プロパティ(位置、スケール、XYZ回転、透明度各種エフェクトの値)に当てはめていく。これによって音声の周波数の変化量に合わせて、映像パーツの大きさや位置、角度などの量が変化していく。

(※1)キーフレーム…各映像素材の位置やスケール、角度などのプロパティをアニメーションさせる時に、各プロパティにコマンドを実行させる合図のようなもの

2 オーディオウェーブフォームを利用したモーションの制作行程

(1)オリジナルのブラグイン(制作協力:伊藤良平氏、近野淳一氏)を使って、音楽データのウェーブフォームから、特定の周波数の音を抽出する。次にAfterEffects上で、その抽出したウェーブフォームの密度によってキーフレームをつくりだす。これによりキックドラムだけのリズムの部分を取ったり、ボーカルだけにシンクロしたモーションを作ることができる。

(2)映像素材(写真・図形)の大きさ、位置角度などを調整し、シーン上にレイアウトしていく。また素材インタイム(開始時間)とデュレーション(継続時間)も設定する。

(3)(2)で制作した各素材のプロパティに(1)で変換された値をスクリプトで当てはめていく。

(4)スクリプトでビジュアルの調整追加のモーション付けを行う。マニュアルで音楽に合わせるパーツも制作する。

(5)全てのパーツを1つのシーンにコンポーズする。

(6)音入れ、レンダリングを行う。

3 作品内容

「140bpm」
「140bpm」とは音楽のテンポの事であり、今回使用した楽曲のテンポでもある。(bpm:beatperminutes)
通常私は映像を制作する時、各素材を5フレーム(1/6秒)単位で変形移動させる。(本研究の方法は使用せず)
(例:[ビルが突然出現するシーン]ビルの写真のスケールを1~3フレームの間に10%から150%に拡大、3~5フレームの間に実寸である100%に戻す。同時に1~5フレームでX座標を40から230に移動するなど。)

これを5フレーム以上にすると、移動や変形の変化量によってはモーションブラー(残像)がかからず、非常に間延びした印象を与える。逆に5フレーム以下だと、速すぎて見ている側は、映像の内容が認識できない。
本研究の方法を使用して、100~150bpmまでの様々なテンポの音声に合わせて映像を構成し検証した結果、5フレーム単位で映像が変化していくようにするには、140bpmのテンポの音声に最も適合する事がわかった。
この事から本作品の映像は全て140bpmに合わせて制作している。主にドラム音をベースとして、映像にシンクロさせており、音声に合わせた時の映像の勢いとスピードの表現に焦点をおいて構成している。
また今作品では、静止画の写真(ビルや花のシーン)だけを使って、いかに実写の動画のように見せるかという事も目的の一つとしている。

4 考察

研究全体からオーディオウェーブフォームを使った映像表現の有効性が確かめられた。
しかし、シンクロ元となる音声素材の適性として、キックドラムのように周波数の変化量が極端に大きな音声に比べ、ボーカルのような変化量の少ない音声は、微妙な音の変化をビジュアルに変換する事が非常に困難であり、素材とする画像の種類が限られる事がわかった。
また、今回はAfterEffectsの性質上、比較的容易にシンクロさせる事のできる幾何学的な図形や写真を素材としたが、今後の課題として3DCGアニメーションや実写VTRなどの映像素材、ボーカルなど様々な音声への適用法を検討していかなければならない。

使用素材
「GalaxyBounce」ChemicalBrothers
sozaijiten[1],[2],[7](株式会社データクラフト)
音BOX[1](株式会社データクラフト)

プラグイン制作協力 伊藤良平、近野淳一