2022/08/18
3DXで7.1.4chをバイノーラルモニタリングするには
2022/07/15
Ambisonics対応のリヴァーブを試す
詳細までは追っていません。リヴァーブの傾向のみです。
着目点として考えたのは、
Ambisonicsなので、フォーマットの特徴である自然な立体音場を生成できるか?という点です。
そうでなければ3Dのリヴァーブである必要がなく、使い慣れたサラウンドリヴァーブを7.1.4chの中層と上層にそれぞれ1つずつ使用したり、あるいはあえて異なるリヴァーブを使い自由にサウンドメイクすればよいわけで、3Dで上下のあるリヴァーブ、特にAmbisonicsのように一体感ある音場が特徴のフォーマットを使う意味は上下の繋がりにあります。
そうした事でしか成し得ない立体音場を実現し、没入感ある残響空間が作れるかを知る必要があります。
そもそも上下の繋がりが考慮されたスピーカーシステムやサラウンドフォーマットを導入しているスタジオはほぼ無いのですが、そうした話は一旦おいておきます。
試したのは以下の4つ
IEM Plug-in Suite - FdnReverb (無料)
Audio Brewers - ab Reverb (59ユーロ)
https://www.audiobrewers.com/plugins/p/ab-reverb
Noise Makers - Ambi Verb HD (189ユーロ)
https://www.noisemakers.fr/ambi-verb-hd/
AUDIO EASE - 360reverb(360pan suite 3) (36,300円)
https://formula-audio.co.jp/audioease/360pan.html
※2022年7月現在
この4つを選んだ理由は特にありません。
たまたまです。
基本的に、自然な立体音場となれば実際の空間のIR(インパルス応答)を使ったリヴァーヴが有効です。
今回だとAmbi VerbHDと360reverbがそれです。
360reverb
IRをベースにしたリヴァーブとしてお馴染みのAltiverbを作っているAUDIO EASEなので、やはり自然な残響でした。
上手く使えば没入感も出せるかもしれません。
IRの選択もしやすく必要最小限なパラメータで使いやすいですが、プリディレイが無いのがマイナスポイントです。
プリディレイがあると、Wet=100%で残響成分だけにして、別系統のドライソースとMixする時に初期反射のタイミングを調整することで空間の広さを微調できます。
基本的に自然なリヴァーブ作りに徹しているプラグインという印象です。
難点は360pan suiteバンドルのプラグインなので、360reverbだけを買うことが出来ないことです。
360pan suite自体は音楽制作というよりは映像作品のシーン制作に用いるようなツールなので使いづらい面もあります。
しかし、他の3つのプラグインと比較して、処理負荷は圧倒的に少ないです。
一番自然なのに負荷は少ない。これもAUDIO EASEならではの技術でしょうか。
Ambi Verb HD
同じIRベースでもちょっと自然な音では無く、このメーカーの他のプラグインもそうなのですが誇張されていてやり過ぎなところがあります。
派手な割に周波数特性を調整するパラメータが無いので、選択したIRに音源の音色が合わなければ、後段に必ずEQを入れることになります。
自然な方向でもエフェクター的な方向でもない中途半端なところが使いづらいのではないかと思います。
あと、IRの選択が謎。
ab Reverb
これは不自然なリヴァーブなので、立体音場の空間を作る目的には合いません。
ただAmbisonicsの球体に対し面白い残響を生み出すエフェクターとしては使えそうです。
UIを見て分かるように、初期反射と後期反射をそれぞれ設定でき、異常な部屋を作れます。
FDNReverb
これもリアルな空間表現では無いですが、綺麗な、というか余計なことをしていない澄んだ音がするので、リアルでは無いが空間らしさは出せます。
FDNはFeedback-Delay-Network。
ab Reverbが残響自体をいじって変わった音になるのに対し、こちらはAmbisonicsの空間はそのままでフィードバックなどで変わった空間を作り出せる感じがあります。
面白いです。
4つのプラグインを試してみて思ったのは、当たり前ですがリヴァーブというエフェクターであるということ。
音楽制作で自然な立体音場を求めることはほぼ無いと思うので、派手な方が使い道があるのでは無いでしょうか?
ab Reverbを大胆に使うと面白いですし。
自然な立体音場 → 自然な残響 → 変化に乏しい
自然なリヴァーブは使っても気付かれません。
面白くありませんが、それが没入状態にあると考えられます。
それから注意点として
これらの4つのプラグインは全て3次までのAmbisnicsに対応していますが、残響も3次AmbisonicsなのはFDNReverbだけです。
その他の3つは、ドライソースとしては3次ですが残響に関しては1次です。
まぁそれでも良いと思います。
この画像のように、今回のテストは自然な立体音場をジャッジするために、音源を斜め上のちょっと遠め、というイメージの場所に置きました。
これをAmbisonicsで出力し、その先で各プラグインの残響を付加し、8chCubeに変換してスピーカーで試聴しています。
こうして8chキューブ再生で試聴すれば自然な空間かどうかが分かります。
空間という感覚が分かりにくいかも知れませんが、繋がりが無いとスピーカーから残響が出ているように聴こえ、空間の繋がりが良く一つになっていると、スピーカーからではなく残響が空間を作っているように聴こえます。
8chキューブだとそうなり得ます。
7.1.4とかではそうなりません。
残響空間の繋がりが自然であれば、反射成分はスピーカー面よりもずっと奥から聴こえます。
(スピーカーアレイの広さよりシミュレートしている部屋が大きければ)
8chキューブ配置を組めない人は、3DXで8chキューブからHPLバイノーラル化しても、ある程度判断できると思います。
2022/06/21
立体音響ラボ Vol.7 ウォークスルーVRデモの解説
このブログでは、2日に渡る立体音響ラボのまとめとして、そのデモがどの様に作られたのかを解説しようと思います。
まず、ヘッドホンをして、こちらの動画をご視聴ください。
これは12日に公開したデモを体験者目線で録画(iPhone)したものです。
音はPC内で実際に体験者が聴いていた音を同時にRECし、後から映像と合わせています。
いかがでしたか?
この様なデモ体験でした。
https://www.vive.com/jp/
信号処理の部分で3次Ambisonicsの16chをループバックする必要があり、チャンネル数が豊富なMADIは必須でした。
替わりのシステムを考えるとなると、MADIかDanteのオーディオインターフェースを使ったうえで、音の良いDACを用意しないといけません。
機器点数が多くなり、リュックが重くなりますね。
あとは、ソフトウェアでのループバックを行い信号処理、出力には小型のUSB DACを使うという方法。
それからループバックせずにCycling'74 MAX8でバイノーラル化まですべての信号処理を行うか。
ループバックでも遅延が増えますから、その必要が無ければしない方が良いです。
特にAmbisonicsは苦手で、A-formatの録音素材をMAX8上でAmbisonicsエンコードしスピーカーデコードした立体音場は、他のプラットフォームで処理した立体音場に比べ、空間の再現性が弱いです。
定位はしますが、きちっと空間を再現出来ていないので没入感がありません。
そうした事がなければすべてMAX8で完結してしまいたいところ、わざわざBiduleを使ってA-formatの録音源の再生からAmbisonicsへのエンコードとデコード、そしてHPLバイノーラル化と、空間生成の処理に関わる部分はなるべくBidule側で行うようにしています。
なので今回は、体験者との相対的な音像定位を行うために大量のOSCを受け取ることとなる水滴とカエルの音を扱う3DXはMAX8側に置き、質の高い立体音場生成が必要となる環境音再生やAmbisonicsのデコードを行う3DXはBidule側へ置く、と言った工夫をしています。
![]() |
一つのアプリですべての信号処理が行えるのが理想 |
![]() |
音を考慮すると2つのアプリを跨ぐことに |
・場所はRITTOR BASEである
・2001年に展示会で公開したデモのリメイクである(ウォークスルー型のVRデモ)
・技術展示である
それを踏まえ、
まず、RITTOR BASEで生成する疑似環境選びから考えました。
ガヤガヤした環境下に、”電話””時計””ラジオ”の3つの音は溶け込みやすい音です。
今回のRITTOR BASEは静かで、残響も少なく"無"に近いことから、環境も加えて空間を変えることができます。
その"無"を高めるため、予め全方位を吸音カーテンで囲い、視覚的にも"ある場所"をイメージさせない様にもしています。
視覚で言えばもう一つはスピーカーです。
2001年には、実際にダミーの電話、時計、ラジオ、を置いていました。
その方がガヤガヤした環境下では、体験者がオブジェクトと音とを紐づけやすいからです。
あの環境下で今回の様にスピーカーを置いたとしたら、体験者は3つの音を見つけることが出来ないかも知れません。
ガヤガヤの中で時計の音がウソであることに気付かない、あるいは気付くまでに時間が掛かる、スピーカーが何故置いてあるかが分からない、などの状況が生まれます。
仮にカエルの鳴き声のする位置にカエルのオブジェを置いたとしたら、ちょっと断定し過ぎてしまうかな?とも思いました。
他の音も鳴るのかもしれない、もしかしたら本当にスピーカーから音が出ているかもしれない、というあやふやな感覚も少し残そうと考えたからです。
そうした感覚を持たせるのも没入への良いアプローチです。
そしてライトでスピーカーだけを強調し、逆に分かりやすさも演出しています。
環境音選びに話を戻します。
また、静かなRITTOR BASEを徐々に変えたいと思ったので、静寂もイメージできる環境音が馴染むかなと思いました。
そうした中、フィールド録音した音源をHPLバイノーラル化して公開されているmidunoさんが、YouTubeチャンネル「Nature Sound Effect : miduno」で今回のベースとなる音源を丁度のタイミングでアップされ、それを聴いてRITTOR BASEに合いそうだなと。
そして、この音源はRODE NT-SF1によるA-format録音をNovoNotes 3DXでHPLバイノーラル化されていますので、今回のウォークスルーVRシステムでも同じ信号処理を行うことから同じ音が出せるだろうと想像出来ました。
早速midunoさんに連絡を取り、HPL化する前のA-formatの4chファイルをお借り出来ないかを相談。ご快諾いただきました。ご協力ありがとうございました。
ちなみに今回は技術展示と位置づけていることもあり、音源を新たに収録することをしていません。
既存の音源を組み立てることで、どの様に作られたが分かりやすくなると思いますし、どなたでも同じ様なデモを作れると感じていただきたいと思っています。
ベースの環境音が決まれば、あとは個別の音を決めやすくなります。
”電話””時計””ラジオ”に代わるものです。
今回の音源レシピです。
・水滴 → evala氏のモノラル音源
・カエル → miduno氏の環境音からの切り出し
・女声 → evala氏のモノラル音源
・雷雨 → 自分で録音したバイノーラル音源
・雨音(強) → evala氏のステレオ音源
まずデモの入りです。
デモの始めは、技術展示らしく説明深い聴かせ方をしています。
最初に視聴していただいたデモ動画の時間経過と共に見ていきましょう。
00:00~00:40
体験者がヘッドホンを装着すると、まず視界に入っているスピーカー定位の音が1つだけ再生されます。
(バイノーラル化する前のモノラル音源です)
その後カエルの声が別の場所から、そしてさらに別の場所から2匹目のカエルの声が聴こえだします。
(バイノーラル化する前のモノラル音源です)
・近づくと大きく、離れると小さくなる音
・3つの音の聴こえ具合の変化
人によっては上下感を確かめるためにしゃがんでみたりして、システムや表現の精度を細かく探る人もいます。
こちらもそうした時間として2分儲けています。
ワークショップで話した通りVRは没入してこそなので、この段階では体験者は探っているだけで没入の可能性が見えているに過ぎません。
センシングにより常に体験者の位置と角度のデータが更新されており、部屋の中心をx,y,z=0,0,0とした3つの音源位置のx,y,z値を予め計測しておくことで、そこから体験者とのx,y,z相対値が求められます。
その値を各音源の3DXへOSC(OpenSoundControl)で送り、実際は体験者が動いているのですが、ソフトウェア上では音源を動かし、”自分が音源へ近づく”=”音源が近づいてくる”表現に置き換えています。
ここで重要な音表現のための調整は、音源へ近づくにつれてどの様に音を変化させるかです。
こちらの動画をヘッドホンをしてご視聴ください。
センシングのデータは実際に移動が3mであれば3mという数値を取得しますが、それをそのまま3DXに渡すわけではありません。
3DXのロケーターのマス目の距離が決まっていたら、常にその距離の表現しか出来なくなってしまうので当たり前ですね。
設定で一番重要なのは音源に近づいた時です。
動画では一度、音が中心に来るまで近づいていますが、これでは音が頭内にまで入ってしまい、左右の判断がつきません。
ですので、どんなに音源に近づいても左側に音が定位していないといけません。
動画で最終的に止まった位置が左に定位するギリギリの位置かと思います。
音像の位置を上から見ている左側のロケーターで見ると、3DXには3つのサークルがあると思いますが、最終的にその一番内側のサークルの半分くらいのところで止まっていると思います。
仮に受信するOSCの位置データに対し3DXのサークルが1m間隔のスケールだったとしたら(外側3つ目のサークルが3mということ)、音源と体験者の位置は約50cmです。
つまり50cm以内に近づくと音が左にあると認識しづらくなります。
しかしデモではもう少し近づきます。
仮に25㎝としたら3DXでは2倍スケールです。
サークルの間隔が50cmになるので大外が1.5mに。
聴感というか体験として丁度よい調整を、現実を無視して行うことになります。
多少過度な表現に調整しないと、体験としてはつまらないものになってしまいます。
今回は、3つのスピーカーで囲われた中心にいた時に3つの音がバランスよく聴こえ、どれか一つの音源に近づいた時、それ以外の音源が丁度よく小さく聴こえる移動感。
そして近づいた時に音が頭の中に入ってこない様3DXに与えるデータのスケールと、3DXのDistance Attenuationで調整しました。
それにしても3DXの近い距離の表現は精密ですね。
02:10~03:30
ここからゆっくりとカエルと水音の公園環境音がフェードインしてきます。
3つの音源が”聴かせる音”だったのに対し、この環境音は”聴こえる音”です。
midunoさんのYouTubeの元音源を聴くのであれば、適正な音量で聴きたいですが、このデモでの役目は環境音として”聴こえている”状態を作ることです。
RITTOR BASEを徐々に忘れさせる大役になります。
カエルが一斉に鳴いているところ、鳴き止んで静かなところの2シーンを元音源から切り出しループ再生しました。
聴いて見ましょう。
距離のレイヤーとして、最初の3つの音源の方が近くないとおかしいので、カエルが一斉に鳴いた際にも最初の3つの音源は聴こえる、あるいは探せば聴こえる音量に調整しました。
そうすると、鳴き止んだときに3つの音源が自然と聴こえてくるように感じます。
A-formatの音源ですので、Ambisonics化し体験者のYaw,Pitch,Roll情報をOSCで3DXに与えることで、この環境音がRITTOR BASEの空間に固定されます。
この時点で、”スピーカーから出るカエルの鳴き声”という不自然なものが、カエルが沢山いる公園の一部へと多少仲間入りし、つまり意識なく少し没入状態へ入っていきます。
03:50~05:05
デモは時間が限られています。
体験者が没入していくのをのんびり待っているわけにはいきません。
ここで豪雨→雷の音でちょっと強引に展開させます。
ここまで、配信で解説した没入に必要な”聴きに行く音”を聴いていた体験者に、”聴かせる音”を投入します。
A-formatの素材でも構わないのですが、聴かせる効果の高い、しかもよい音のバイノーラル素材があったので使いました。
ここで重要なのは聴かせることです。
ちょっと圧倒するくらいの音が効果的です。
実際に体験した人の感想では、ここで一気に音場が広がったと言う人が多かったです。
RITTOR BASEという地下空間。
ヘッドホンという密閉空間。
それを感じさせない音がベターです。
この音はこちらのsoundcloudにアップしていた音なので、聴いたことあると思った人もいたかも知れませんね。
05:05~06:10
ちょっと強引なフェードアウトで豪雨が終わり、現実世界へと戻ります。
豪雨と雷が圧倒してきたことで、ちょっとホッとする感覚がこの人工音空間を受け入れてしまいます。没入状態を完成させる1分間です。
仕上げです。
最終的に3方向から、時間をずらして同じ音源を再生しています。
ここのずらしはあえて適当にずらし、音楽っぽくならないようにしています。
同じ意味で音像は空間に固定していて動かしていません。
自分が動くことで空間にある歌声が揺らぎ、それが心地よく、そうして空間を楽しむだけの時間にしています。
体験者はこの辺りではもう音を探ろうとはせず、部屋の中央付近で周りを見渡すような動作になります。
空間を受け入れているので没入状態と言えます。
実際殆どの体験者が、このデモの前半は大きく動き回り、後半に行くに連れて部屋の中央で辺りを見渡す様な動きとなっていました。
外から見ていると、全く音がしない中での体験者の動きは面白いです。
最後はちょっと不自然に、近くて強い雨音をフェードインさせ終了への導線を作っています。
ここの音には意味はありません。意味の無い展開で没入を解くようなイメージ?と言ったら良いでしょうか。
そしてデモのスタート同様に水滴だけの音にして終了です。
今回はこの様なデモの構成でVRを演出してみました。
そうすることで、体験者は「この製品やシステムを使うとこの様な音空間が作れる」と理解し、製品システムや技術の導入を検討しやすくなります。
今回の立体音響ラボはいかがでしたでしょうか?
配信、体験、ネタばらし、全部見て読んでいただけたら嬉しいです。
体験するのと動画を見るのとでは感覚が異なるので、また体験会の機会を作れたらいいですね。
2022/03/26
HPLのグレード
![]() |
では無いので、より上の制作を行うために知っておいてください。
special Aグレード
HPLの本来の音質と定位
リスニングはもちろんMix作業のモニターとして存分に使用できる
NovoNotes HPL2 Processor
Airfolc RA-6010-HPL:2ch mode
Aグレード
HPLの本来の音質と定位
リスニングはもちろんMix作業のモニターとして十分に使用できる
Airfolc RA-6010-HPL:2ch modeを除く全てのch mode
NovoNotes 3DX:8chCube入力→HPL出力
Bグレード
本来のHPLプロセッシングの前段に3Dパンナーとしてのプロセスが加わっているため
定位はAグレードほど正確ではない
NovoNotes 3DX:8chCubeを除く全ての入力→HPL出力
5.1chで言うなら、NovoNotes 3DXの5.1ch入力→HPL出力の音は、HPLの素の音では無く、5.1ch入力を一旦3Dパンニングのアルゴリズムを経由してからHPLでバイノーラルプロセッシングしている音になります。
RA-6010-HPLでは、あらゆる入力フォーマットに対しそれに応じたHPLプロセッシングが行われますので、22.2chであれば22.2ch用のHPLプロセッシングが成されます。
3DXはHPLの前段に3Dパンニングアルゴリズムがあるので、それを受けるHPLは1種類です。
よって定位感はHPL自体のそれとは変わってきます。
目的が違うのです。
NovoNotes 3DXは、3Dパンナー、Ambisonicsエンコード&デコード、HPLバイノーラルで構成されたDAWのMixで使用するプラグイン。
マスターのプロセッサーとしてのHPLは、マスター音源の正確で高品位なバイノーラル化が重要視され、
5.1chとしてMixされたマスターをRA-6010-HPLは世界最高水準でありのままにバイノーラル化することが出来ますが、
3DXは、5chのバランスを保ったまま空間ごと上下動させたり、狭い広いと言った空間の伸縮が行えたりします。
RA-6010-HPLでは出せない表現力を持っています。
これは立体音響制作の要となるフォーマットなので、DAWのMix上でもマスターでも最も良い状態でバイノーラルプロセッシングが行えるデザインとなっています。
立体音響制作で、3DXを使用の8chCubeを積極的に使用した方が良い利点はここにもあります。
グレードごとに補足します。
HPLは2chステレオのバイノーラル音質に、とにかく力をいれて開発されました。
基準のサウンドが確かである。
まずそこを抑えてからのサラウンド化が成されています。
それをプラグインにそのままパッケージしたのがHPL2 Processorプラグインであり、同じHPLがRA-6010-HPLの2ch modeにプリセットされているわけです。
ですのでspecial Aとしました。
このバイノーラルサウンドに関しては、下手なスピーカーモニター環境より信頼できると思います。 …ホント?w
HPL2 Processorの話は別の機会に解説したいです。
リスナーであればお手持ちのステレオ音源をHPLバイノーラル化し、ヘッドフォンでありながら本来のスピーカーMixと同じバランスで音楽を楽しむ。
エンジニアリングとしてならば、Mix時にスピーカーの代用としてモニタリングに使用する。
自宅だろうが移動中だろうが、常に安定したリスニング環境でMixが行えます。
スピーカーモニタリングと違い、ヘッドフォンモニタリングでは絶対的なリスニングポイントでモニタリング出来ますので、バランスが正確でセンターが整っているHPLであればそれがリファレンスになります。
Aグレード
HPL2を特別枠に入れたかった、それだけですw
RA-6010-HPLの2ch modeのL/Rの音と、その他のmodeのL/Rの音は違います。
2chのためだけの処理なのか? 5chや7chで音場が構成されているのか?
必ずしも優れた2chが他のchの音とのつながりが良いとは限りません。
実空間でも2Mix用のモニタースピーカーと、5.1chのモニタースピーカーのシステムとでは、スピーカーのモデルを変えたりすることがあると思いますが、それと同じです。
そうした意味でspecial Aと差別化してみました。
Aグレードも、リスニングだけでなくMixのモニターとして使用できます。
現に、この22.2ch HPLモニタリングで制作された作品「Lenna」は、日本プロ音楽録音賞のハイレゾリューション部門優秀賞を受賞する結果を生んでいます。
3DXも、8chCube入力をHPL化する設定の場合のみ、RA-6010-HPLの3ch+8chCube modeの8chCubeと同じ音質を備えています。
Bグレード
前後左右上下の空間が均一な8chキューブスピーカー配置では、パンニングは大変スムースに行われます。その整った音場のバイノーラル化なので質の高い立体音場を維持できている訳ですが、5.1ch, 7.1.4chと言った不均一な配置のフォーマットはその分パンニングのアルゴリズムが難しく、HPL処理までの過程が複雑になります。
なのでB
しかし、チャンネルフォーマットのまま回転や移動が行えるメリットはMix時大きなアドバンテージとなります。
特に、一度7.1.4などにまとめた先のマスタートラックで、全体的に重心を下げる、トップだけ高さを上げる、前後だけ広げるなどのコントロールで空間の印象を変えることは、Mixの中でかなり多用します。
その際のHPLのグレードにAもBもありません。
この様に目的に応じたHPLをお楽しみください。
あと、RA-6010-HPLではハードウェアの仕様により、96kHz, 192kHzとサンプリングレートが上がるにつれ扱えるチャンネル数が少なくなります。
ちなみに
裏グレードとして
自分がマスタリングするHPL音源はこれらの製品を使用せずに、作品に応じて最適なHPLバイノーラルプロセッシングを行いますので、7.1.4chや22.2chなど多チャンネルのハイレゾ音源であってもspecial Aグレードを維持しています。
2022/01/06
2021年を振り返る
2021年にその手法で行われた配信はこちら。
蓮沼執太フィル「浜離宮アンビエント」(浜離宮)
青葉市子「Windswept Adan」(オーチャードホール)
象眠舎「Live at Cotton Club」(Cotton Club)
この中で、唯一現場もサラウンドだったのが「YAKUSHIMA TREASURE ANOTHER LIVE from YAKUSHIMA」
コムアイさんとオオルタイチさんのユニットYAKUSHIMA TREASUREのライブ収録を行うため、2020年12月(いきなり2020年を振り返ってしまうw)屋久島へ。
ライブと言っても観客が居るわけでは無く、屋久島のガジュマルの森で生演奏を一発録りし、それを後日最新のビジュアルエフェクトを施した新たなライブ映像体験を目指す作品として制作。期間限定で配信すると言うもの。
先に言ってしまうと、後日この作品は「カンヌ国際クリエイティビティ・フェスティバル」デジタルクラフト部門のブロンズを受賞することとなり、現在は受賞を記念して無料公開されています。
まず屋久島ではライブとしての音響プランニングを行い、2019年のリキッドルームでのサラウンドライブをブラッシュアップした内容の音響システムをガジュマルの森に組みました。
スピーカーシステムとしては6ch(4chスクエア+ハイト2ch)。
お二人のボーカルと生楽器をオンマイクで、ステージ寄りとFOH後方にA-formatマイクのSOUNDFIELD SPS200とRODE NT-SF1を設置し、オオルタイチさんのPCからのプレイバックを僕のPCで6chサラウンド化した音とMixしガジュマルの森に響かせた。
上手く説明できない収録現場 - ガジュマルの森 |
何故わざわざ? と思うかも知れませんが、そこは「ライブだから」です。
オオルタイチさんのPCから出力されるトラックはすべてステレオ素材なので、それをどの様なサラウンド表現で再生するかを現地に入ってから打ち合わせを行い、リハーサルまでの時間ホテルで一つ一つの音に対しての定位や動きの表現を考えました。
本番ではそれをリアルタイムでプロセッシングして音像移動のスピードやタイミングを操作しています。
そして2021年になってからスタジオで配信用のMix作業。
屋久島で6ch再生したサラウンドは、スタジオでMixし直すことはせずそのまま使い、空間を録った2本のA-formatマイクからのAmbisonicsは8chキューブへデコード。
ProToolsからのプレイバックをBidule内でHPL化 6ch+Ambisonics+2Mix → HPL モニタリングは8chキューブスピーカー配置 |
屋久島の音をそのまま臨場感ある形で再現しても、それは新たなライブ体験を目指す映像とかみ合わなくなってしまう。
2日間かけてかなり細かく詰めていった作品です。
しかし、新たなライブ映像体験という映像作品としての面を強くクローズアップしているため、音については十分に紹介してもらえなかったのが残念です。
通常のMVの様に完成した音楽作品に対する映像制作であれば、映像作品としてだけクローズアップして構わないと思いますが、この時は映像も音も総合的に新しいものとして一緒に制作しているので、音を殆ど取り上げないプロモーションスタンスには疑問を持っています。
蓮沼執太フィル、青葉市子、象眠舎の配信は、会場では通常通りのライブが行われ、配信はその臨場感を伝える鉄板方式となった、Ambisonics + 2Mix X HPLバイノーラルで行われました。
この方式、そう言えばちゃんと紹介していないですが、簡単に説明すると、音が良さそうな座席近くにA-formatマイクを設置し、ワンポイントで360度を記録するAmbisonicsからHPLバイノーラル化した音をメインとし、それに通常のステージ2MixをHPL化した音を少し足す、と言うもの。
それにより会場のライブ感、空気を配信で届けることができます。
また、象眠舎ライブでは初めてKORG社の高音質配信技術であるLive Extremeとタッグを組むことができたので、ロスレスでその空気感をリスナーに届けられたことはとても良い収穫となっています。
今後音楽配信はロスレスが増えると思うので、その時のHPLとの親和性は計り知れません。
こうした配信ライブの技術の話は、いずれ立体音響ラボか何かで詳しく話したいと思っています。
コンサートだけでなくライブパフォーマンスの配信もありました。
ELEVENPLAY x Rhizomatiks「border 2021」
evala「聴象発景 in Rittor Base - Live Performance ver」
会場にてWHILL(次世代型電動車椅子)に乗りHMDとヘッドフォンを装着した10人の体験者に向けてHPLバイノーラル。
会場全体をカバーするスピーカーからのサウンド。(WHILL搭乗者はヘッドフォンと会場PAの両方の音を聴く状態。両方が交わって一つのサウンドを作っている。)
そして生配信で体験する視聴者。
この3つ異なるサウンドをevalaさんが手掛け、WHILLとPAの会場の音の調整をevalaさんが、配信の音の調整を僕がしていました。
その辺りのevalaさんの調整は流石です。
そしてある1台のWHILLに乗る体験者視点と言う想定でMixされた音がHPLでバイノーラル配信されました。
会場のスピーカーEQ(左)/映像等との同期および配信制御(右) |
生配信の音声を会場内で頻繁にチェック 気になるところがあれば調整 |
本番直前まで最善を探れると良いものができますね。
もっと色々出来そうです。
そしてPrix Ars Electronica の受賞を受けておなじみRITTOR BASEから生配信された「聴象発景 in Rittor Base - Live Performance ver」。
配信会場で8chキューブのスピーカーシステムを組み、その中でevalaさんがサウンドを聴きながら時折自身の動きをセンシングしたデータに同期した動的な音を織り交ぜる。
視聴者にはその音がHPLバイノーラル化されて届けられました。
VIVEトラッカーを操るevalaさん RITTOR BASEに組まれた茶室と万象園の写真が交わる配信映像より |
初回配信後、翌日の2回目の配信に向けて、急遽evalaさんの手の位置と加速度をVIVEトラッカーを使ってセンシングし、そのデータをMaxで解析してNovoNotes 3DXの音像移動と音圧変化を制御するインタラクティブなプログラムを追加しています。
Ambisonicsを活かした配信は、年中行っていて、RITTOR BASEからの立体音響ラボや、青葉市子さんのアダンの風アナログレコード鑑賞会、レコーディングを全配信したROTH BART BARON「ALL STREAMING PROJECT 2021」の第1部=プリプロダクションパートのRITTOR BASEからの3日間などで、その現場の空気を届ける目的で使われています。
それにより視聴者も参加者としてその場に居る感覚が得られます。
Ambisonicsを放送で活かしているのは中京テレビ放送さん。
Ambisonicsのみならず様々な制作スタイルを試されており、HPLバイノーラルによる番組制作を数多く行っています。
実は立体音響に関しては先端な放送局。
大きな設備投資や番組制作予算が限られるからこその工夫があり、それがその時々で様々な手法による収録といった柔軟性を生み、立体音場の質ベースでフォーマット依存しない音作りに繋がっていると思っています。
夏には国内の現役トップスケーターによるアイススケートショー「THE ICE」愛知公演が、HPLバイノーラルによる配信と地上波で放送(副音声)されています。
実会場での公演にも2021年は多く参加することが出来ました。
ヌトミック+細井美裕「波のような人」
渋谷慶一郎「Super Angels」(新国立劇場)
evala「Sea, See, She -まだ見ぬ君へ」(スパイラル)
細井美裕「(((|||」「Prologue feat.MACH2X」(EBiS303・第39回毎日ファッション大賞)
タイトルに「マルチチャンネルスピーカーと俳優のための演劇作品」とあるヌトミック+細井美裕「波のような人」は、そのタイトルの捉え方でサウンドメイクも変わる難しい作品。正解はずっと見つからないのかも知れません。
エンジニアとしては十分にサポートできなかったので、次の機会を待ち望んでいます。
巷で立体音響というワードを使ったライブや演劇があっても、上下方向の表現が無ければ僕はそう呼ばないですし、これまで関わった作品ではそうしてきました。
Super Angels テクリハ? |
ヌトミックもそうですが、オペラもリハーサルで作り上げていく流れがあり、そうなると決まったそばからそれを実際に音にする。立体音響の場合、それを空間にどう存在させるかまでをすぐに決めることは難しい。
効率はめちゃくちゃ悪かったです。
特にオーケストラが入りすべての音が新国立劇場に響いたリハは2日間だけ。
その中で、作品にマッチする立体音場を作り込むのは不可能です。
つまり多くて1日2回しか同じ音を確認出来ないのです。
それでは最低限の立体音場しか作れません。(普通はそれも出来ないであろう)
オペラに新しいものを持ち込むなら、リハーサルの内容や進め方も新しいものにしないと少なくとも立体音響が作品に入り込むことは難しいと思います。
MIDIコントローラーは シーンごとの音場の広がりや音像移動のスピードなどの制御に使用 |
Super Angelsのスピーカー配置(サラウンド用のみ) ➎➏スピーカー以外は新国立劇場の常設スピーカー |
そこから音を大きく出してしまうと、後方に座ったお客さんにはそのスピーカーからの音ばかり聴こえてしまうため、前方のステージを見ているのに後ろからの音を聴く、と言ったことが起きてしまいます。
なので、1階席、2階席、3階席、にそれぞれLs/Rsスピーカーは設置されていましたが、後ろの席で聴いてフロントのスピーカー群と合わさってサラウンド感がバランスよく得られる程度の少音量しか出していません。
その分シーリングリアをふんだんに使い、どの席からも体感出来るフロントボトムとフロントトップとシーリングリアを使ったサラウンドを多様していました。
立体音場の徹底的に作り上げているのがevala「Sea, See, She -まだ見ぬ君へ」です。
2020年1月の最初の公演から、映像も音響も暗闇も全てがブラッシュアップされた2021公演。
第24回文化庁メディア芸術祭のアート部門優秀賞を受けての公開です。
床全面パンチカーペットと後方も暗幕 この広さに約70席だけという贅沢空間 |
それにより、劇的に音の立体的な明瞭度が向上しました。
その分音響調整も難しくはなりましたが、それも手中に収め、作品を大きくアップデートすることができました。
音の解像度と特に音の遠近に関しては、スパイラルの広さにあのスピーカー数で、ここまで表現できるのかと驚いたことでしょう。
この列の端2席で体感できる音場が他と少し違うことに関し その対策を考えている際に撮影した写真 |
細井美裕さんがコレクションムービーの音を担当するファッションブランドCFCLが、第39回毎日ファッション大賞の新人賞を受賞されたので、Dolby Atmosで制作した「(((|||」「Prologue feat.MACH2X」の2曲を表彰式にて上映することとなり、会場となったEBiS303のイベントホールにインストールしました。
同イベント内で兼用となるラインアレイのL/Rスピーカーをメインとして、会場所有のスピーカーをフロアレベルに4台、これをSide L/RとBack L/Rとして使用。
この会場にはシーリングを4分割するスピーカーが設置されており、Atmosのハイトchはそれらのスピーカーへ振り分けました。
「(((|||」のローを十二分に感じてもらうため、フロアレベルのスピーカー同様、サブウーファーを4台、客席を囲うように配置。
事前に葛西さんのスタジオで細井さん含め3人で音作りをしたため、本番当日の短い仕込み時間においてもとても良いサウンドをインストールできました。
その模様が分かる細井美裕さんのコラムはこちら
まだまだあるのですが、もう振り返り疲れたので、最後にVRものを1つ紹介して終わろうと思います。
来年は1年まとめて振り返るのをやめ、その都度一つずつ解説したいと思っています。
第24回文化庁メディア芸術祭 エンターテインメント部門 新人賞
油原和記「Canaria」
以前、トクマルシューゴさんのVRミュージックビデオ「Canaria」は紹介したと思いますが、その360度アニメーションを制作された油原和記さんが新人賞を受賞。
そのメディア芸術祭の受賞展が9月末に日本科学未来館で行われ、HMDによる360度映像とHPLバイノーラルを使ったヘッドフォンによる360度音声のVRバージョンとして展示されました。
もともと、YouTubeの360度動画用としてAmbisonicsで作られていたので、そのAmbisonicsの音場を体験者の角度情報を使い回転させ、HPLプロセッシングによるバイノーラルの360度音場として生成。YouTubeのそれと比べれば、立体音場、音質、すべてがアップグレードされたスペシャルバージョンです。
この2つのVRミュージックが、自由度の高い音楽制作の活性化に繋がると嬉しいですね。
その他、今年も数多くの研究開発案件をエンターテインメント案件と並行して進めることができたことに感謝。
立体音響ラボも楽しかったです。
最後に、2021年は多くの受賞作品に関わることができた年でもあります。
関係者の皆様、お誘いいただきありがとうございました。
以下2021年の受賞作品
Canne Lions 2021 Digital Craft部門 Bronze賞
YAKUSHIMA TREASURE
「YAKUSHIMA TREASURE ANOTHER LIVE from YAKUSHIMA」
STARTS Prize'21 Honorary Mention賞
ELEVENPLAY x Rhizomatiks
「border2021」
evala
「聴象発景 in Rittor Base – HPL ver」
evala
「インビジブル・シネマ Sea, See, Sheーまだ見ぬ君へ」
油原和記
「Canaria」
冨田勲/藤岡幸夫 指揮・関西フィルハーモニー管弦楽団
「冨田勲・源氏物語幻想交響絵巻 Orchestra recording version」(RME-0015)より「桜の季節、王宮の日々」