2021/12/25

3DXが立体音響制作ツールの”基準”となり得る理由



NovoNotes 3DXを立体音響制作のツールとして”基準”となる製品だと言ってきました。
それはどういうことでしょうか?

UIを見てわかるように簡単そうなので”基準”に出来そう、というのも一つの答えですが、ここではちょっと深く解説したいと思います。

3DXは、3Dパンナー、Ambisonicsエンコード&デコード、バイノーラルプロセッシング、の3本柱で構成されたプラグインです。
(本当はここに残響が加わると完全なのですが、残響は複雑で難しい)


3DXはプラグインです。
挿したらすぐに音が出て欲しいです。
まず、何か作ろうとしたとき、やはり直観的に扱いたいもの。
立体音響のツールは何故か小難しく、音が出るまでに時間が掛かるものが多いです。
音が出たとしても、これで正しい設定なのだろうか?となってしまいます。
簡単に音が出て、触ったら素直に反応する、それは”基準”となるための最初の一歩だと思います。


さて、個別に解説しましょう


3Dパンナー

3Dパンニングの”基準”とは何でしょうか?
パンナーというと音を動かすイメージがあるかも知れませんが、音を定位させることがまずあります。

左90度にパラメーターで指定したら、左90度に音像が生まれる。
任意の位置に音が定位するのは”基準”としての基本条件です。
スピーカー配置が、4chスクエア、5ch、7.1.4ch、8chキューブ、いかなるフォーマットにおいても。

しかしツールによってはそれが”条件付き”での実現であったりします。
どういうことでしょうか?

Ircam Spat Revolutionで検証してみましょう。

Cycling ’74 Max を使っている人にとって、立体音響と言えばIrcam Spatです。
その豊富なパラメーターをMax上で自在に組み合わせ立体音響システムを構築できるのは素晴らしいですが、使いこなすにはかなりの知識が必要です。
音のシミュレーションプログラムの色が強いので、音楽制作で使うにはそこまで必要のないと思われる機能も備わっています。
それをFLUXが音楽制作でも使えるようにUIを整備したのがSpat Revolutionです。

パラメーターが多いからスゴイというのは安易で、目的に応じてある程度機能をまとめたり、必要なパラメーターを扱いやすく表示させるなどし、シンプルにすることの方が難しくスゴイことです。
3DXのUIが非常にシンプルなのは、立体音場を表現できる最低限必要な機能に絞り、その調整幅を経験則に基づいて無駄無く設計されているからです。

Spat RevolutionlはあのSpatをUIとしてよくまとめていると思います。
ただ、別のアプリをコントロールしていることには変わりないので、その点でどうにもならない扱いにくさはあります。


話を定位に戻します。

分かりやすく話すために、8chキューブのスピーカー配置で話を進めます。

Spat Revolutionには基本セットアップに3DXと同じ様に8ch Cubeが含まれています。
すばらしい。

実はこれ立体音響ツールとしては当然のことで、特にAmbisonicsを扱える立体音響ツールでは基本と言えるスピーカー配置です。
DAWに8chキューブが用意されていないのは、それが音楽制作ツールだからで、立体音響ツールでは無いからです。
立体音響にルーツがあるなら8chキューブは当然あるべき配置なのです。

その8chキューブ配置でSpat Revolutionを設定し、スピーカーエリア中央のリスニング位置に対し方位角-90度、つまり左真横に音を定位させてみましょう。

Spat Revolution Essential(機能が絞られたバージョン)ではパンニングアルゴリズムを以下の3つから選択出来ます。

VBP Dual-Band:ベクトルベースのパンニング
KNN:K Nearest Neighbourのアンプリチュードパンニング
LBAP:レイヤーベースのアンプリチュードパンニング

さぁ表現したい音にもっとも適したパンニングアルゴリズムを選んでください。

選べないですよね?
それぞれどんなアルゴリズムなのか、マニュアルには書いてありますので興味のある人は確認してください。

しかし知りたいのは仕組みではありません。
実際にどんな音になるのか、です。
これらのパンニングは、その時のスピーカー配置によっても表現が変わります。
それらを知るためにかなり使い込む必要があり、そして使い込むと一長一短であることが分かります。

最低限必要な表現力を持ったアルゴリズムを一つだけ提供した方が、ユーザーはそれを”基準”にしやすくなります。


では一つずつ解説します。

VBP Dual-Band

VBPはベクトルベースパンニングの略です。
このベクトルベースのアルゴリズムは、3点から一つの仮想点を計算するアルゴリズムなので、最大3台のスピーカーからの出力で任意の位置に音像をつくります。

8chキューブ配置のように、下層に4台、上層に4台のスピーカーで6つのスクエアの面を作っている場合、-90度に音を定位させるのであれば、左の下層2台上層2台の4つのスピーカーを同じ音量で鳴らせばその面の中央つまり-90度に音が定位することは想像がつくと思います。
しかしベクトルベースでは最大3台のスピーカーなので、こうなります。


-90度の定位を対角の#1, #7スピーカーだけで作るSpat


スピーカー#1と#7、対角の2台のファンタムセンターに音を定位。
これはかなり大問題で、リスニングポイントがスピーカーエリアの中央から少しでも外れると定位しなくなるだけでなく、音を動かしていったときのスムースな音像移動の妨げになります。
中央から全く動かないリスニングポイントはヘッドフォンでのバイノーラル再生であれば成立しますが、しかしそれでもすまされない欠点があります。

これは先ほどの位置から仰角を+20度にしたときです。


3台のスピーカーで方位角-90度仰角+20度を作るSpat


計算上は、方位角-90度、仰角+20度に定位しているのでしょう。
しかし現実では、#1, #5の方へ音像は引っ張られてしまいます。
上層のスピーカーと下層のスピーカーでは周波数特性は完全に一致することはありません。
なので、片側は上下層、もう片側は上層のみ、と言う明らかなバランスの違いを聴きとれてしまいます。

次は仰角+45度です。


仰角+45度では上層2台スピーカーでの定位となる


#5と#7の上層スピーカーが同じ音量で鳴り方位角-90度の軸上へ戻ります。

仮に方位角-90度で下から上に音像を移動させたとしたら、前後に波打ちながら移動することとなります。
実際には作品内でその様な定位に気付くことは難しいです。
だから問題にはならないかも知れませんが、Mixしていく段階では困ることも多いと思います。

Mix時のみならず、例えば様々な広さの空間やスピーカー配置で作品をインストールする人にとって、この様な複雑なアルゴリズムからなる音を現場で修正することは不可能なので扱いにくいです。

またVBPでは、計算が出来ないからだと思いますが、スピーカー配置の中央、つまり座標で言うとx,y,z = 0,0,0は無音になります。
音像=リスナー位置の音は作れないです。

ちなみに7.1.4chなども、上層に4chスクエアがあるので、このパンでTop Center(真上)に定位させると、Top Front LeftとTop Back Rightの2つのスピーカーだけが出力します。
想像出来ると思いますが、真上になど決して定位しません。


LBAPはどうでしょうか?

LBAPなどのアンプリチュードパンニングは#1, #3, #5, #7の4台のスピーカーで中央に音を定位させるのでベクトルベースの様な問題はありません。
よって直観的に扱えます。

LBAPは水平4chがベースになって高さ方向の階層をクロスフェードで行き来しているそうですが、そうとは思えない自然な上下の音像移動を実現しています。
しかし、水平方向に関しては中心を通る時に極端に音がスイッチします。
どういうことかと言うと、こちらはスピーカーエリアの中心x,y,z=0,0,0から横軸に極僅か動かした時のレベルメーターです。


x,y,z=0,0,0から方位角-90度方向へ極僅か動かした出力

x,y,z=0,0,0から方位角+90度方向へ極僅か動かした出力


動画で実際の音像移動を聴いて見ましょう。
HPLで8chキューブをバイノーラル化していますので、ヘッドフォンで視聴してみてください。





この様に上層、下層でも中心を通る時に音がスイッチしてしまいます。

こうした欠点を補うのがKNNです。
KNNではより多くのスピーカーで補間しながら音像移動できるため、スイッチは起きません。
しかし定位は甘くなり、音像を遠くにすることも苦手です。





また、KNNでも中心x,y,z=0,0,0に音を置くこと、つまり8台すべてのスピーカーが同じ音量で鳴ることはできません。


x,y,z=0,0,0への定位を試みてもどちらかへズレる



いかがですか?
いずれの問題も設定を調整すると、ある程度問題点を緩和することは出来るのですが、それは使い込んで知ってから出来る調整なので、”基準”となりえる性能とは言えません。

今回はSpat Revolutionで検証していますが、他の3Dパンナーも同様のパンニングアルゴリズムが採用され、それをベースに開発されていますので、同じ問題を含んでいる可能性があります。
Spat Revolution Essentialのパンニングアルゴリズムは3つだけですが、上位モデルのSpat Revolutionでは多くの基本パンニングアルゴリズムが備わっていますので、興味のある人は購入して検証してみると面白いです。

Spat Revolutionは音像に対する細かなパラメーターを備えており、かつ残響を伴う表現が可能ですので、音像のシミュレーターとして実力を発揮するツールだと思います。


さて、こちらは3DXのx,y,z=0,0,0です。


3DXのx,y,z=0,0,0はすべてのスピーカーが同じ出力となる


すべてのスピーカーの出力レベルが揃います。
普通です。予想通りです。解りやすいです。
実際の音像移動です。





滑らかです。距離感も出ています。
想像を裏切らない表現です。

”基準”とは作り手が想像する様な結果が得られることではないでしょうか?

ちなみに、空間系パンナーでは無いSony 360RAやAmbisonicsのパンナーは、球面で音を定位あるいは移動できるだけで遠近の操作が出来ないので、3Dパンナーの”基準”にはなりません。


3DXの二つ目の”基準” Ambisonics

昔から高次Ambisonicsはありましたが、今の様に実用はされていませんでした。
高次になってAmbiXが主流になる前はFuMaの1次のみです。
使いみちとしては現在も主流のテトラ型の4chマイク(A-format)を1次Ambisonics(B-format)へ変換し、それをスピーカーデコードして聴くというもの。

2000年ころだったか、当時入手出来たあらゆるAmbisonicsスピーカーデコーディングプラグインを試し、その中でもっとも音質と空間再現性に優れ没入感のあったプラグインの音を基準とし、3DXのスピーカーデコードは開発されています。

どこかで書いたか話したと思いますが、Ambisonicsのスピーカーデコードには様々なアルゴリズムがあり、どれが正しいという定義がありません。
好きな音のものを選んで使う、なのです。

つまり”基準”がありません。
初めてAmbisonicsを聴いた人はそれがそのものと思ってしまうはずですが、そうであるかは分からないのです。

仮にその時のスピーカー配置が7.1.4chであったなら、その音は僕の知るAmbisonicsの音の特長が60%程度の立体音場感でしかありません。

Ambisonicsアルゴリズムでは、スピーカーを前後左右上下に均等配置することが最も正しいデコード結果が得られるので、そのミニマムなシステムとなる8chキューブという存在が立体音響では当たり前と言ったのはこのことです。

3DXは、8chキューブで当時の最も優れたデコーダープラグインと同等の音を生成します。
それが”基準”となります。

立体音響ラボで、いくつかのAmbisonics音源を8chキューブで試聴していますのでヘッドフォンをしてご覧ください。



開始位置 50:30 あたりから

この時はまだ3DXが発売前。
開発途中のAmbisonicsデコーダーが使われています。



最後に
バイノーラルプロセッシングの”基準”についてですが、

これはHPLです。
HPLはヘッドフォン内でスピーカーフォーマットの音場が正しく鳴っている感が最も高いバイノーラルプロセッシングです。

このページのデモ動画はすべてHPLでバイノーラル化しています。

他のバイノーラルプロセッシングとの比較は、前回のブログで書いている通りです。

3Dパンニング、Ambisonics、”基準”を見据えた場合どちらも共通して言えることはシンプルな設計、シンプルなアルゴリズムです。
やはり色々やってしまうとその分音に影響がでます。

HPLもシンプルなバイノーラルプロセッシングであるがゆえに音は素直で、それが例えL/Rスピーカーで再生しても違和感が少ないことにも繋がっています。
何ならアドバンテージとなることも。
テレビの主音声でバイノーラル放送することが許されるバイノーラルプロセッシングは他にはありません。


音を定位させる
音像を移動させる
Ambisonicsを正しくデコードする
正しくバイノーラル化する

NovoNotes 3DXはそれらを備え、且つ誰でもすぐに使えるUIを持った”基準”と成り得るプラグインです。
それを”基準”とすれば、必ず他のツールの良し悪しや有効的な使い方を探ることができます。
立体音響制作には大切なステップです。




2021/12/06

空間オーディオ制作のためのバイノーラル比較



Dolby Atmosの作品制作が増えてきました。

しかし当面最も多い視聴環境はヘッドフォンやイヤホンによる空間オーディオではないかと思います。
ソニー 360 Reality Audio(以下360RA)もヘッドフォンが主戦場です。

そうした中、制作の段階でヘッドフォンでモニターするケースが増えています。
なんならイマーシブオーディオ再生環境の整ったスタジオに入る前のプリMixを、ヘッドフォンで行う人もすでに沢山いる事でしょう。

そこで問題となるのが
今回はAtmosだから、360RAだから、とそのフォーマットで用意されているバイノーラル機能を何も疑うことなく使用してMixしてしまうことです。
それまで触れたことの無い人にとっては、バイノーラルというものはすべて同じ音と思っているのかも知れません。
空間オーディオのための納品として、Atmosも360RAもバイノーラルの設定を細かくする必要があるなど、そのフォーマット付属のバイノーラル機能を使わざるを得ないケースはありますが、少なくともプリMixの段階ではその必要はありません。

360RAのMixをAtmos RendererのバイノーラルモニターでMixしてもいいのです!(いいのかなぁ?w)

必要なのは、仮想スタジオ環境です。
つまりヘッドフォンに、出来る限り良い試聴環境を構築したい。
音響特性の優れた部屋に、特性の良い、あるいは音の良いスピーカーを並べてMixしたい願望。(だからと言って本当のスタジオのIRを使うというのは間違った思考)
それをヘッドフォンに構築することを目的とするならば、バイノーラルプロセッシングが何でもいいわけはありません。
上手くするとリアルスタジオ環境よりも良い環境をヘッドフォンに構築できるかも知れませんよ。


また各フォーマットのバイノーラル機能の特徴を知ることで、空間オーディオを納品する際のバイノーラル設定にも役立つかも知れません。


そこで今回は、Dolby Atmos Renderer、360 Reality Audio Creative Suite(以下360RACS) 360 WalkMix Creator の両バイノーラルプロセッシングを、HPLと比較しつつ基本性能とその特徴について検証しようと思います。

基本性能を見極めるということで、声とピンクノイズの音源だけで行います。
仮想モニター環境としてのスピーカーフォーマットは、AtmosのBedに合わせて7.0.2にしています。

Front L/C/R
Side L/R
Back L/R
TopSide L/R

それぞれの角度に関しては、各社で微妙な違いはあるものと考えますが、基本的にはFrontは30度、Sideは90度、Backは135度に左右開いています。
Topは360RACS 360 WalkMix Creatorでエレベーション45度にしています。
Atmosも同じくらいだと思います。
HPLは40度くらいかも知れません。

NovoNotes 3DXのUIを借りて見るならこの様なスピーカー配置です。




今回の検証では角度の違いはあまり重要ではなく、空間のMixに重要となる奥行きや空間性などの立体感を知ることを重視しています。


ではまず使用する元音源を聴いてみましょう。

ヘッドフォンまたはイヤホンをご用意ください。
Front Leftから順に時計回りでスピーカー配置を読み上げ、短くピンクノイズを入れました。モノラル音源です。

※ブラウザのプレイヤーで再生される音源ファイルはMP3(320kbps)です。
download linkの音源ファイルはWAVファイルとなっています。
MP3は空間情報が削られてしまいます。
より正しい比較はダウンロードしたWAVファイルで行ってください。







それではバイノーラルで試聴していきましょう。

この後の音源はすべて同じですが、
Atmos、360RA、HPLの順で再生されます。

Front Leftから時計回りに7か所、そしてトップの2か所で1周。
それを、Atmos、360RA、HPLと順番に計3周します。
ここではなんとなく、元音源との違いや、立体感(空間)などを漠然と聴いていただければよいかと思います。







Atmosは比較的音色の変化が少なく思えます。
Atmos Rendererにおいて自由に配置されるオブジェクトに対し一つずつバイノーラルプロセッシング行うために軽い処理が強いられ、そのため空間までを付けようとはせず、なるべく軽い計算で行っていると推測します。
軽い処理にすると音が悪くなると思いますが、それは空間のIRを畳み込む場合の話で、そうでなければ音色変化が無くかつ軽い処理でのバイノーラル化はできます。
ただその場合はリアルに近い空間を持たせることが出来ないので、結果前後の奥行きが無く、空間としては左右に広いだけの音場になってしまいます。
推測なのでAtmosのバイノーラルがその手法なのかは分かりません。

360RAは特徴的な音です。
Atmosよりも奥行きの距離感を感じることが出来るので、ヘッドフォン再生環境のみをターゲットにしている360RAとしては、音が変わっても立体空間であることを重視したのかも知れません。
ただ、奥行きはありますが空間が無い、そんな印象を持ちました。

HPLは、最初に書いたような音響特性の優れた部屋に特性の良いスピーカーを並べてモニターする状態を目指しているので、空間が加わりその分元音源からの変化があります。
そもそも音源をスピーカーから再生した音は音源とは変わりますし、ヘッドフォンで再生した音とも異なるので、HPLでは自然な変化であればそれを良しとしています。
それよりも空間的なバランスを重視しているため、前後の奥行きと左右の奥行き、そして高さに関しても他の2つより整っています。
全部のスピーカーが鳴り音楽となった時には空間でのバランスが重要なのです。
Atmosは変化が少ないと言いましたが、この試聴では空間の無いヘッドフォンで元音源と比較しているので、元音源のスピーカー再生と比較したら変化して聴こえるはずです。

とりあえずこの3つの違いを何となく感じておいてください。
この後、細かく比較します。


次はFront Leftの音にだけ注目してみます。

やはり同じ順で、Atoms、360RA、HPLと今度はそれぞれ4回ずつ繰り返します。
ここからはループ再生にして何度も繰り返し繰り返し連続して聴いて見てください。
それぞれの特徴がどんどん見えてくると思います。








Atmosが殆ど前方に奥行きを作れていないのに対し、360RAは奥行きを感じることが出来ます。
何か凄くフォーカスを絞って距離を作っているような不思議な音です。
一旦残響を付けておいて奥行きを出したあとで残響を取り除いたかのように、奥行きはあるけど空間は無い? と言った感じ。
HPLは空間があるから奥行きがある、という自然な感覚がありますが、360RAはそれとは種類が違うようです。

距離が作れている360RAとHPLの横軸の定位が似ているのに対し、距離を作れていないAtmosはより左に定位して聴こえます。


次にFront Centerを聴いてみましょう。

よくバイノーラルで真正面は難しいと言われています。
実際はどうなのでしょうか?

この試聴では、最初に元音源を4回、その後でAtoms、360RA、HPLと再生します。








元音源、つまり普通のモノラルとAtmosの定位、あまり変わりませんね。
何度もループ再生して聴き込むと、僅かに奥行きを作れていることに気付きます。

360RAとHPLはAtmosより奥行きがありますが、HPLはより音像がスッとセンターに整うと思います。
360RAの音は不自然な印象です。
奥行きはありますがセンターの芯が無いと言うか...


さてここで、先ほどAtmosは音色変化が少ないと言いましたが、実際に周波数特性を見て見ましょう。

一つ目は、元音源のピンクノイズ部分です。



音源自身の周波数特性なので当然フラットです。

それではAtmosです。



空間が無いので元音源のように低域から1kHz位までフラットです。
バイノーラル処理後の音としては不自然なくらいフラットですw
5kHzあたりから緩やかに下がりはじめ、音も実際にそうした傾向なのですが、なぜか10kHz過ぎてから不自然に持ち上がっています。
これは何でしょうか?
高域が劣化していると思わせないための対策でしょうか?


続いて360RA



360RAは1kHzから下が弱く、そのため2kHzから上の音が目立って聴こえます。
300Hz以下が安定しないのはHPLも同じですが、360RAの方がその傾向が強く、全体的にバイノーラルのための処理を色々とし過ぎているのではないかと推測します。
もしかしたら推奨ヘッドフォンに合わせたチューニングなのかも知れません。
360RAもHPLも10kHzより上にいくつかのディップが出来ますが、これはバイノーラルの特徴です。


最後にHPL



HPLは300Hzより上は大変安定していると思います。
これがリアルな部屋で測定した結果だったら、結構いいと思います。
高域が5kHzより緩やかに下がっていくのも自然です。
ヘッドフォンの中に良いスピーカーサウンドを作ろうと言うコンセプトが見て取れます。
リアルな部屋だったら、高域がもう少し伸びていて欲しいかも知れませんが、ヘッドフォン再生はスピーカーよりも音がよく聴こえるため、これくらいで丁度よい高域特性だったりします。


試聴に戻りまして

続いてSide Leftです。








360RAだけ90度に聴こえません。
100度~110度くらいに聴こえます。
360RACSで設定を確認したのですが、その理由が分かりませんでした。
90度にしているのですが、何故か音は90度ではありません。

AtmosとHPLは真横から聴こえます。
Atmosは少し上に定位していますね。

360RAはAtmosに比べて奥行きがあるのが分かります。
HPLも同じ奥行きでさらに真横にビシッと定位しています。

この360RAの傾向はBack Leftでも同様で、AtmosとHPLは135度っぽい定位なのですが、360RAは150度くらいに聴こえます。







何かの設定に誤りがあるとしたらすみません。
始めに言った通り、今回の検証では角度の違いはあまり重要ではなく、奥行きや空間性などの立体感を知ることを重視しています。
とはいえ、360RAのBack Leftはズレ過ぎだと思いますが。
 

最後はTopSideLeftです。








Atmosは高さが出ていません。
AtmosのSide Leftが少し上に定位してしまっているので、それと比較して違いがないです。
AtmosのBedのTopが仰角何度なのか?
Mix時、高さを出したいのであれば、Topの音はすべてオブジェクトにした方が良さそうです。
ただバイノーラルの仕組みが変わるわけではないので、高さは出ないかも知れません。
前方や後方にずらしたり、左右を狭めたり、高く聴こえように錯覚させるMixの工夫をすれば良いかと思います。

360RAはTopSideLeftも少し後方にずれています。
そのせいもあり、より高い位置に定位して聴こえます。

HPLは真横の上に定位しています。
Atmosと同じ位の高さに聴こえる人もいる思いますが、HPLのSide LeftはAtmosよりも低い位置になるので、それとの比較で高さがあります。



一通り聴き込んでみました。
色々と分かってきたと思いますので、ここであらためて最初の音源を聴いて見ましょう。
Front Leftから時計回りに7か所、トップに2か所。
それを、Atmos、360RA、HPLと順番に計3周します。








いかがですか?
だいぶ印象が変わったのではないでしょうか?

まず、
恐らくすべてのフォーマットにおいて立体的に聴けるようになっていませんか?
自分が立体音場に対峙する準備が整ったのだと思います。

Atmosのバイノーラルと360RAのバイノーラルでは、Mixする際にかなり音の印象は異なりそうですね。

360RAのキャラクターで作っていいのか?
Atmosの立体感の少ない音場で作れるのか?

いかがでしょうか?

今回は1音源での比較を行いましたが、これがマルチチャンネルになれば小さな違いもとても大きな違いとなって作品に現れます。
特に空間の生成は各chからの音の総合的なバランスなので、大きな差となります。


さて、最後にオマケ

Atmos Rendererのバイノーラル設定にある、モードのNear/Mid/Farについて試聴してみたいと思います。
モードを切り替えた時に、反対側からの反射を聞き取りやすいBack Leftで試聴してみます。








聴いて分かると思いますが、モードの切り替えによって奥行き感が変わることはありません。
Near/Mid/Far、音の定位はどれも同じで、後付けで空間系リバーブを足しているような音です。
ですので、近い、中間、遠い、と音像が変わるのではなく、部屋が、小、中、大、と変わるだけです。その部屋も空間感はあまりありません。

これをMix時に使うと言うのは、他のリバーブと喧嘩することになるので止めた方がよいように思えますが、どうなんでしょう?

そして初期設定がMidになっています。
必ずリバーブが掛かってしまうので、Nearにして使うことを僕はお勧めします。


以上ですが、いかがですか?

今、イマーシブオーディオの制作をされる方は、恐らくAtmosも360RAも両方試されているのではないでしょうか?

今回は僕の思う一つの検証方法を実行しました。
皆さんも各々のやり方で検証してみてください。

知っていればなんとかできるのがエンジニア。
あとはお任せして、僕はこの検証が良い作品作りに役立てば嬉しいです。


2021/08/03

スポーツと音楽のサラウンドの違い



スポーツでサラウンド制作をする際、いつもどの場所で聴いている音にすると視聴者が楽しめるか、という話になります。

バスケットボールの時はコート間近の特等席で見ている臨場感だとか、野球であればバックネット裏であるとか。
いやライトスタンドで応援したい、という人も多いと思います。
映像はカメラのスイッチングでバンバン変わりますし。
果たしてスポーツ中継では視聴者にとってどこがベストポジションなのか?

音楽のコンサートの場合、音響的にベストポジションがあるのでその音を目指すことができます。
また、音が発せられる場所も前方のステージであったりと、一か所のことが多い。
つまり1対1の関係。

しかしスポーツの場合は必要とされる音源が一か所ではありません。
広大なスペースに必要な音が分散しています。

音楽のイマーシブMixをする際、最近ではFOH近くに1本Ambisonics対応のSOUNDFIELD SPS200を立て、その音、つまりワンポイントでベストポジションの360度を録ってしまう。
それをHPLでバイノーラル化する。
実際の聴感よりも、録音の音は芯が弱いので、ラインから2Mixした音をやはりHPLでバイノーラル化し、その音を360度の音に少し足す。
これで臨場感の高いサウンドを作ることが出来ます。
エアのマイクも数本立ててはいますが、Mix時に必要無いと思ってしまうか、足したとしても僅かに加える程度です。
音楽はステージに発音体があり、それをベストポジションで聴く。

しかしスポーツの場合は必要とされる音源が一か所ではありません。
広大なスペースに必要な音が分散しています。
それをワンポイントですべて収めることは難しい。
よってMixで臨場感を作り込む必要があります。
会場で観戦していたら実際聴こえない音も聴かせるVRの臨場感Mixです。

バスケットボールを例にとりましょう。

とりあえず会場の空気感、歓声、場内アナウンス、音楽、などを一まとめにAmbisonics対応のマイクで収音します。
それが実際にその場所で聴けている音なのですが、臨場感を演出するために、本当は聞こえていない、あるいは聞こえているけど小さい、と言った以下の音を足していきます。

選手の足音(キュキュッとか)
ドリブルでボールをつく音
ゴールのネットをボールが通過する音
ゴールリングにボールが当たった音
ゴールのボードにボールが当たった音

さぁマイクを立てるのです。
音を拾うのです。
がんばりましょう。

これまでの放送でもそうした収音は行われており、それらを2Mixして来ていますのでノウハウはすでにあると思います。

必要な音が拾えたら、あとはAmbisonicsのマイクで収音された空間に、3DXでそれぞれの音を馴染ませていきましょう。
ここからはMixセンスです。

さて、先ほど "とりあえず" Ambisonicsで空間を収音しそれをベースにした音作りの話から入りましたが、ベストポジションの無いスポーツ観戦においては、そこも作り込んであげた方がよい結果を生むことがあります。

観客席を数か所個別に狙ったマイクの音や、そして天井付近を狙ったマイクなどを、前後左右と上層に定位させ包み込んでいく。
外側から音を浴びせていくことで、試合会場に居るイメージを持ちやすくなることもあります。

Ambisonicsは自分の周りから外へとつながる音、チャンネルベースは自分に対して外から向けられた音。
それをどう使い分けるか、あるいは共存させるのか。

このようにスポーツの立体音響化は、作り甲斐のある面白いものなのです。


2021/06/26

それでも再生フォーマットに縛られる



空間音響作品を作るのに再生フォーマットを先に考えてはいけない

それは、既存のサラウンドフォーマットが2chの拡張であるためで、またそのベースとなる2chがそもそも不自然であるため、そこから拡張しても一つの空間になりにくいからです。


発音体をモノラルとするなら
楽器や声はモノラルなので、その音場を拡げるためにはモノラルをベースに拡張すべきなのに、一度モノラルを捨てて2chにした後そこから拡張するのは不自然。

2chステレオはモノラルから拡張したと言うよりは派生した別物。

フォーマットで考えると
始めはモノラル、つまりC(センタースピーカー)だけで再生したのが、CにL/Rを足して拡張したL/C/RとせずにCを捨ててL/Rを派生させてしまった。

それに慣れ過ぎたために何も疑わず2chをベースにすべてを考えてしまう。
また機材やDAWなどすべて2chベースで出来てしまっているためそうならざるを得ない。

MixでL/RにCを足すと聴き辛くなったりしますが、それはL/Rを主役にしているからで、Cを主役にしてL/RをMixしたサウンドは聴き辛く無い。
空間シミュレーションしたリヴァーブをモノラル音源に掛けマルチchで鳴らすと自然な空間が生まれます。
実際は、道具が2chベースなのでそうやってモノラルベースで作る事すら容易では無い、と言うおかしな世界です。


アーティストが立体音場を考え空間音響作品をイメージする時に、そこにフォーマットは存在しません。

そのイメージをフォーマットで縛るような話、つまり「何chで作ります」とかエンジニアは始めからすべきではない。
作品のイメージに対し、どう鳴らしてあげたら良いのかは後から考えて提案すればよいと思う。


しかしリリースとなるとフォーマット在りきでそうも言っていられないので、エンジニアは必至にアーティストの持つイメージをそのフォーマットで実現するための作業をします。
ただそのフォーマットがもしバイノーラルであるなら、スピーカーのchフォーマットに縛られる必要は全くありません。
始めから無限の空間イメージで臨める。
2ch文化に支配されずに済みます。
しかしフォーマットに浸かっているエンジニアは、まず既存フォーマット(7.1.4とか)で作りそれをバイノーラル化しようと考えてしまう。
エンジニアがフォーマットに支配されていなければ、他の道を探せるはず。


空間そのものは多次元で無い限り一つ、つまりモノラルで、
その空間で声(モノラル)を出したら、沢山の響き(マルチch)が加わって空間(モノラル)が生まれる。

作品制作では、その声を沢山配置し、沢山の響きが集まった空間(超モノラル)を作るのだとまずは考え、その立体音場を表現しやすいスピーカー配置(8chキューブなど)でモニタリングし制作する。
その後でそれを何chで納品するかによって空間分解(chフォーマット化)すると、無理の少ない空間音響作品を作ることが出来ます。

その意識でいれば、どの再生フォーマットであってもエンジニアとして対応できるのではないでしょうか。


2021/05/06

冨田勲「源氏物語幻想交響絵巻 Orchestra recording version」を聴いて



この作品はBlu-rayに、2ch、5.1ch、Dolby Atmos、Auro 3Dが収録され、CDに7.1.4chサラウンドをHPL化したバイノーラルがMQAエンコードで収録された、とても意義のあるパッケージ。
藤岡幸夫 指揮・関西フィルハーモニー管弦楽団の演奏を、数多くのイマーシブサラウンドMixとそのHPLプロセッシングの経験を持つ入交氏が、壮大なスケールで仕上げた素晴らしい作品です。
今後の音楽制作において模範となるパッケージだと思う。

しかし、今回はその内容についてではありません。
この作品のCD盤をヘッドフォンで聴き感動しつつ、同時にある思いが湧いてきました。

誰もが思うことで、
「Blu-ray盤については2ch(192kHz24bit)以外の音源は誰もが聴けるフォーマットではないよな」と言うのがあると思います。
でもそれは対応のBlu-rayプレーヤーとAVアンプ、そしてスピーカーがあれば実現出来ますし、サウンドバーを使って比較的手軽にシステム構築出来るようになってきました。

そういうことでなく、

僕が望むように、2Mixしか無い長い時代が終わり、これからどんどん素晴らしいサラウンド作品が生まれて行った時、その作品の良さをスピーカーでは伝えることが出来ない、と言う話です。

冨田勲・源氏物語幻想交響絵巻のこのサウンドが、サウンドバーやイネーブルドスピーカー、そして360度スピーカーなどで伝わるだろうか?
いずれも正しいか正しくないかで言えば正しくは再生出来ない技術です。

エンジニアが伝えたかったサウンドのMixを再現するには、少なくともスタジオのように正しく配置し調整されたスピーカーシステムを持つリスニングルームが必要で、そうで無ければ作品の持つ良さをリスナーは感じとることが、それが良い作品であればあるほど出来ない。
もちろんオーディオは、古くから持っているシステムなりに楽しめればそれでよいので、リスナーは不幸ではない。
しかし制作側は不幸です。

以前からサラウンドは作っても聴いて貰えないとされてきたわけですが、今度は聴いてはもらえるが相変わらず伝えたいものが伝わらないし、そればかりか全く別のMixとしてしか聴いて貰えない、と言う問題に直面し始めています。

本作のBlu-rayに収められたDolby Atmos、Auro 3Dを聴ける人は何%だろうか?
その中でちゃんと7.1.4chにスピーカーを配置したホームシアターの様な部屋を持つ人は何%だろうか?

そうして考えると、現時点で冨田勲・源氏物語幻想交響絵巻の本来のサウンドを正しく且つ最も多くの人に手軽に聴いて貰えるのはCD盤のHPL音源です。

おいおい宣伝かよ、ではありませんw

つまり、

「音楽を聴く環境が、スピーカー主軸ではなくヘッドフォン主軸に、本当になってしまった。」

この作品を聴いて湧いてき思いはそれです。


制作側も、この作品をちゃんとデモしたいな、と思ったときに試聴環境は悩みどころなはず。
そのくらいスピーカーによる作品再生が困難になっています。

その状況で今後多くのエンジニアがサラウンド作品にトライし、多くの作品が生まれていくとき、スピーカーよりヘッドフォン&イヤホンで聴いてほしいと思うように必ずなります。
と言うか現段階で他に選択肢が無い状況と言っていいです。

制作側は、ヘッドフォンであれば伝えられる。
リスナー側は、ヘッドフォンの方が楽しめる。

リスナーが、先ほど言ったスピーカー配置と調整されたリスニングルームにオーディオ環境を近づけることは大変ですが、制作時にミキシングエンジニアが使用した同じヘッドフォンを買うことはそれほど大変ではありません。

作品のクレジットにモニターに使用したヘッドフォンを明記し、それをリスナーが購入したら、ほぼ制作した時そのままの音が聴けることになる、それもヘッドフォンリスニングの大きなメリットです。


僕自身は、
であるなら制作されたサウンドの意図をより忠実にリスナーへ届けようとするコンセプトで開発したHPLを、より一層広める努力をしようと考えますが、果たしてそれが未来の音楽にどのような影響を及ぼすのか?

これまで通り現時点で正しいと思うことをするだけではあります。

2021/02/18

HPL2 Processorプラグイン無料配布終了について



4年ほど前にリリースした
HPL2 Processorプラグインの無料配布を終了しました。

HPL2 Processorプラグインは、2014年からリリースされ始めたヘッドフォンによる音楽リスニング用のバイノーラル技術「HPL」により制作された音楽作品を聴いたリスナーの皆様から、「自分の好きな音楽をHPLで聴きたい」という多くのご要望があり、広く流通している2Mixの音楽音源に限り、お手持ちの音楽プレーヤーソフトウェアやDAW等でHPLプロセッシングが行なえるようにしたVSTプラグインです。

本来のサウンドを聴くと言う意味では、スピーカーモニタリングで作られた音源は、ヘッドホンリスニングにおいても同じMixバランスで再生されるべきであり、その事を出来るだけ多くの音楽ファンに体感してもらい、音楽をより楽しんでもらおうと無料配布としました。

あれから年月が経ち、音源制作だけで無く、放送や配信など様々な所でHPLを使っていただける様になり、音楽制作に対するバイノーラルの需要が高まりつつあります。
イヤホンで視聴することの多い配信では、音声はすべてバイノーラル化されていても良いくらいです。
そうなって来ると必要とされるのが制作用のプラグインです。

現在でも音楽制作ではProToolsを使う事が多く、対応したAAXプラグインでのHPLプロセッサーを望む声は以前からありました。

しかし、プラグインの開発に多くの時間を割くことは出来ず、それが自分のすべき仕事とも考えられず。
他にやりたい事はたくさんあります。

そこで、サラウンド制作の3Dパンニングプラグイン「3DX」を開発したNovoNotesブランドから、HPL2 Processor プラグインをリリースしてもらう事にしました。

NovoNotesではすでに3DXにHPLプロセッシング実装の実績があります。
であれば、HPL2 ProcessorもNovoNotesブランドで取り扱ってもらうのが、今一番正しい選択だと思いました。
3DXの立体的なHPLと、HPL2 Processorの2MixのHPLは、今後のヘッドフォンにおける音楽制作に大きな役割を果たしてくれると信じています。

これまでのHPL2 Processorプラグインは、音楽リスニングを目的としたチューニングがなされています。
新しいプラグインは制作を目的としチューニングを行っています。

どちらもHPLの音です。
しかし微妙に異なります。
特徴的なのは定位。
特にセンター定位、正確に言うとフロントセンターの定位は新しいHPL2プラグインの方がしっかりしています。

バイノーラルというと「広がり」と思うかも知れませんが、だからと言ってセンター定位が弱いと言うのはおかしな話です。
多くのバイノーラルプロセッシングはセンターが弱くサイドにしか空間が無い。
それは単なる中抜けです。

フロントセンターの定位がしっかりしている。
それは同時にフロント側に空間がちゃんとあることを意味します。
それにより、今まで以上にスピーカーモニタリングに近いリスニングが出来るはず。
つまりは音楽制作のMix作業をサポートし易くなると考えられます。

従来のHPL2 Processorプラグインの音もよいです。
捨てがたいです。
音楽リスニング用として十分に楽しめますので、音楽リスナーの皆さんはそちらを使い続けてもいいかと思います。

これから音楽制作にHPL2 Processorを活用しようと考えるプロエンジニアの皆さんは、是非新しいHPL2 Processorをお使いください。

新しいプラグイン「HPL2 Processor for studio」は3月6日NovoNotesより発売予定です。

NovoNotes


2021/01/02

2020年を振り返る

2020年

1月



2020年の始まりは衝撃でした。

それまで、See by Your Earsプロジェクトの中で、視界ゼロの環境を作り、音のみでファンタシーを生み出す「耳で視る」作品Anechoic Sphereシリーズを音響面でサポートして来た自分にとって、スパイラルに訪れた100人の聴衆を同時にファンタジーの世界へ導くのはかなりのチャレンジとなる。

「大きな耳をもったキツネ」を代表とするAnechoic Sphereシリーズは1人ずつ体験する作品。
立体音響ラボでのevalaさんとのトークセッションの中でも言っていますが、スパイラルでも「耳で視る」体験にならければ意味が無い、と思うからです。

作品鑑賞者1人に対し、完全な音響システムを組めるAnechoic Sphereとは違い、リスニングポイントの定まらない広い空間で、それがどこまで実現できるのか?

自分の手も見えない暗闇での70分間

耳で視るファンタジーはやはりそこにあった。

100人規模に対するスピーカーシステムであっても、ヘッドフォン環境においてでも同じ結果を出せる。
そう確信できたのは大きな収穫でした。

「Sea, See, She - まだ見ぬ君へ」のテクニカルな話は、当ブログの「立体音響システムの考え方 - 「Sea, See, She - まだ見ぬ君へ」編」で書いていますのでご参照ください。



2月

集客的にも成功しアンコール上映の声が上がっていた中、すぐさまRITTOR BASEにて上演されることとなった「聴象発景 Rittor Base Ver.」 / evala (See by Your Ears)。



2019年の秋、中津万象園の広大な日本庭園にインストールされた「聴象発景」を、御茶ノ水の地下という全くの異空間であるRITTOR BASEで新たに構築した45分の作品です。

中津万象園で聴象発景を聴いた時、「これは無響室でも成立する作品」とすぐに思ったので、RITTOR BASEでの再構築に何の不安も無かった。

テクニカルな話としてみても、スピーカー選択から始めたスパイラルでの「Sea, See, She - まだ見ぬ君へ」とは違い、慣れ親しんだサウンドのRITTOR BASEでの音響調整はとても楽。
というか特に何もしてません。
なのでスパイラルから僅か2週間で実現できたわけです。

そしてこの「聴象発景 Rittor Base Ver.」は、2021年HPL音源としてリリースされますのでお楽しみに。


2月末には
Media Ambition Tokyoの展示作品として「Forest/Naotaka Fujii+GRINDER-MAN+evala」をインストール。
以外にも、evala氏とのバイノーラルによる作品制作はこれが初。




とにかく音にストイックなevala作品においてのバイノーラル化はこれまで何度もテストを繰り返しています。
しかしまだ世には出ていない。
それだけ高いレベルでの話なのですが、初めてのバイノーラル作品としてVRであるForestは良い機会を与えてくれた作品と言えます。

テクニカルに関してまず一番のポイントはヘッドフォンの選択。
ここ最近リファレンスにしているSHURE SRH840を使うことで、evala氏によるヘッドフォン内での空間ミックスをし易くする。
スピーカー同様、「よい音で鳴る」ではなく「よい音で鳴らせる」機器選び、まずそれが一番重要です。

Ambisonicsを使いヘッドトラッキングにより回転する空間を作り出していますが、音像移動のための3DパンニングはAnyMix Proを使い、その後でAmbisonicsエンコードを掛けて回転する空間に乗せています。
それぞれを8chキューブ配置にスピーカーデコードした純3D空間を、HPLによりバイノーラル化。



3月

新型コロナが世界的な広がりを見せたころ、「ふさぎ込む必要はないことを少し示すだけ」「インターネット上で無目的な創造の場を公開する」とし、細井美裕氏はJEMAPUR氏と共に10時間に渡る配信「1 Evening」を公開しました。



このイベントは"楽しかった"のでコンセプト通りとも言えます。
13時からRITTOR BASEより映像は10時間配信し続け、1時間おきに約10分間のライブを行うこのイベント。



アーカイブは最後の1回「Lenna (8.1ch Reconstruction)」のみRITTOR BASEのYouTubeチャンネルにありますが、他9回のライブはJEMAPUR氏がRITTOR BASEの8chキューブ配置の音響システムで生成するサウンドに細井氏のヴォイスが加わるとてもクオリティの高いライブで、その日その時間にしか視聴できない「共有」だったため今後公開されることもありません。

また共有したいですね。

テクニカルとしては、JEMAPUR氏のプリミックスは3次Ambionicsで行われ、それをRITTOR BASEの音響PC上で8chキューブ配置にスピーカーデコーディングし、RITTOR BASE既設のCODA D5-Cubeスピーカーによる8chキューブスピーカーシステムで音場生成。
配信用にはその8chキューブからHPLによりバイノーラル化。

ちなみにこの配信以降RITTOR BASEの配信ライブは、基本的にHPLプロセッシングがなされたバイノーラルサウンドで配信されています。
配信時にも特にアナウンスされていませんが、ライブの音を配信するにはそれがベストとRITTOR BASEでは判断していただきました。


そしてこのあと約2か月半、外出を自粛します。


もともと時短生活なので自宅と会社は徒歩圏内
そこを往復するだけの毎日でした。

その期間は開発案件のオンラインミーティングや音源制作、実験など行っていましたが、もともと毎月決まった売り上げのある仕事で無いため焦ることはありませんでしたが、多様な仕事をしていると言っても、今年はやはり前年の?程度の利益となることを予測。

それをどう乗り切るか。

「今年は諦める」

今年の事よりも次年度に取り戻す事を早々に考え始め、「今年は投資する」ことに。


自粛期間中よく考えていたのは、立体音響ワークショップの事です。
立体音響、広くは空間音響に興味ある人達を育て裾野を広げたい。
しかも世の中間違った解釈が多く、正しく判断するための知識が必要です。



6月

自粛が緩和し最初の仕事はトクマルシューゴ氏の新曲「Canaria」のVRミュージックビデオ制作。



これはYouTubeの360度動画再生機能を使い、映像と音声をそれに対応させたVRミュージックビデオです。

ポップミュージックをいかに3Dミックスするかというそもそもの課題もありますが、YouTube上で視聴者が視点を動かしたときに音場も動くVRミュージックビデオの制作は、普段2Mixに慣れ親しんだエンジニアにはまずその環境を理解しようとする気持ちが重要となります。

これまでフロント2スピーカーの方を向いてる状態での完成を目指していた作業が、右を向いたら、上を向いたら、下を向いたら、どう聴こえるのかをチェックしないといけない。
それは標準的なミキシングスタジオではモニターすることができません。

Canariaでは、レコーディングスタジオに8chキューブ配置のスピーカーシステムを仮設し、その中でミックスを行いました。

8chキューブ配置は前後左右上下に均等にスピーカーがあるため、360度の空間を生成できます。
それにより上記のようなモニタリングが、実際に左を見たり、上を見たりすれば行えます。

立体音響の基本はまずこの8chキューブ配置を試すことにあります。



まずこれをクリアしたら、最大の問題である仕上がり不明問題w。

YouTubeの360度動画のアップはいくらスタジオで8chキューブ配置のモニターで最善を図っても、スピーカーデコーディングする前のAmbisonicsエンコード状態のままYouTubeへアップするため、そのAmbisonicsからバイノーラル化までのプロセスを、YouTube側に託すことになります。

残念ながらバイノーラルプロセッシングの性能は悪く、且つ効果を優先しているため、前後左右の違いが実際よりも盛られています。
どちらから音がするかは分かりやすくなるが、音質は極端に変わる。
それが現状です。

それでも新たなエンタテインメントの一つとして止めずに続けることが、その後の発展に繋がると思うのですが、どうなんでしょうね。

また、1次Ambisonicsで納品するには当然DAWもそれに対応している必要があります。
よってミックスを担当したエンジニアの葛西敏彦氏も、普段はProToolsで作業を行うところをNUENDOでミックスされています。

制作の模様は、立体音響ラボにてトクマルシューゴ氏、葛西敏彦氏を招いてのトークセッションをご覧ください。




2020年6月のブログ「公共空間での立体音響調整」は、実際のインストール現場の作業と並行して書かれたもの。

改装されたアトリウムは壁面にキネティックウォールとプロジェクションマッピング用のシステムが導入された。
そしてその音響システムは8chキューブ配置。
公共空間では初めてとなる設備です。
しかしまだここの8chキューブで立体音響作品は作られていません。

運用が今後どう展開されるのかは分かりませんが、公共空間に立体音響作品をインストールできる初めての場所です。
他大の学生でもコラボは可能かもしれません。
門を叩いてみては?
(叩き方は知りませんw 「使わせろ!」かな)



8月

春の自粛期間中に構想していた立体音響ラボをRITTOR BASEにて開催。



本当は参加者を募り、仕事もそう多くないだろうから2ヵ月くらいかけてワークショップや作品制作などを一緒に進めるラボを検討していたのですが、よい場所が無かったのと、仕事の予定が常に入っていたので、ギュッと凝縮した形でRITTOR BASEからの完全配信スタイルの開催をすることにしました。
一般的に「夏休み」とされる週でしたが、それとは無縁と思われるゲスト出演者の皆さんのスケジュールが何故が空いていて、出演依頼に全員即承諾というキセキ。

なぜ、立体音響ラボを行ったのか。

25年は立体音響と言われる音を扱って来た経験上、エンタテインメントの世界でそのプアな歴史の繰り返しが我慢できなかった、という自分自身とてもプアな理由があります。

分かりやすいところで言えば、10年周期くらいで「バイノーラルってすごい」みたいに囁かれ、髪チョキチョキみたいな音に感動した人が、これで音楽作ってみようと発想し(本人は新しいと思っている)、じゃあダミーヘッドで録音して作品を作ったら凄いよね、で実際は作っている最中にダメっぽいと気付き、でもその音源をあたかも凄い立体音響作品みたいにして発売し、もちろん評判は悪く2度と制作されない、みたいなことです。
そして10年後にまたそのことを知らない人が新たな発見として繰り返す。

しかしそれも、本当は良く分かっている人がちゃんとアドバイスしていたらもっと良い結果も出せたはず。
今アドバイスできる経験だけは豊富にあるので、そうしたものをアーカイブに残し、これから様々な音に出会うであろう若い人達の参考書の一つとなれば、少しは明るい未来があるのではないかと考えたからです。

他にもありますよ。
バイノーラルプロセッシング作ったら売れると思ったメーカーが過去の資料を引っ張り出してプロセッシングプログラムを作り、普段音楽制作に携わっているわけではないバイノーラルの研究者の監修のもと「バイノーラルサウンドって多分こんなもんだろ」というプラグインを販売してしまう、とか。
性能が悪いのをHRTFを個人適応していないからとし、適当な計測によるHRTFの乗せ換え機能を設け逃げ道を作っている、とか。

5.1chにハイトchを加えて上方向に立体的になっただけでイマーシブと名付け、凄い臨場感とか言ってしまうとか。

発言がかなり危なくなって来たのでこの辺で止めますがw、

要するにこれら全ては「知っていれば」そんな事にはならないものばかり。
なので「基礎=知る」事をテーマにした立体音響ラボを開催したのでした。

立体音響ラボの構成は、

それらを解説する立体音響ワークショップ。

立体音響作品を制作したことのあるアーティストとエンジニアを招いてのトークセッション。

そして実際に作ってみる「8chキューブでの立体音響制作」生配信。

このラボで事実をありのまま見せることで、現状を知ることが出来る理想的なプログラムだと思っています。

いずれも1時間半から2時間あるアーカイブですが、現在11個のアーカイブがRITTOR BASEのYouTubeチャンネルで公開されていますので、是非ご覧ください。
(ヘッドフォン/イヤホンでご視聴ください)


そしてこの立体音響ラボでの出会いにより、急遽2週間後の蓮沼執太フィル「オンライン公演 #フィルAPIスパイラル」の配信を、立体音響ラボでの制作体験を活かしAmbisonicsとHPLによるバイノーラル配信で行うことに。



リハーサル前に蓮沼氏とエンジニアの葛西敏彦氏とで配信の音作りに関して打ち合わせしている姿を憶えています。
これまでのミックスとは全く異なり、その中で蓮沼執太フィルのこれまでのサウンドをどう実装するのか。
その後リハーサルで「久保さん、聴いて!」と自信ありげにヘッドフォンを渡す葛西氏の顔はこの先も忘れないでしょう。

システムとしては、各楽器に立てたオンマイクの2MixをHPLバイノーラル化、ホール中央に設置したSOUNDFIELD SPS200マイクからの1次AmbisonicsをHPLバイノーラル化、それぞれの2chの音量バランスを調整しています。

当時はAmbisonicsのエンコード&デコードとHPLプロセッシングをお手製で行っていましたが、現在はNovoNotes 3DXがあるため、以下の構成で行えます。



HPL2ProcessorプラグインはAAXに対応していないので、PCでProToolsを使用する場合は、そこを3DXで代用します。

以後、無観客あるいは会場に足を運べない音楽ファンに、会場のリアルだけではない新たなライブ感を届ける事を目的とし、葛西氏と配信ライブ用バイノーラルサウンドを作っています。

また、このスパイラル公演の際、葛西氏がリハーサル時の配信ミックスを演者の皆さんに聴いてもらっていました。
みなさん「凄い」「気持ちいい」と言ってくれて、当時、無観客でのモチベーションの上げ方について話題があり、配信を視聴してくれる人に気持ちいい音が届けられていることを知ることがモチベーションに繋がるかも、と思ったことを憶えています。



9月

2月にMedia Ambition Tokyoで展示された「Forest/Naotaka Fujii+GRINDER-MAN+evala」が、富山県総合デザインセンターにインストールされ公開されました。



2月の展示ではヘッドフォンだけだったサウンド面を、4chスピーカーシステムを追加してより立体的な空間音響体験が出来るようアップデート。


9月末には「第23回文化庁メディア芸術祭」でアート部門の新人賞を受賞した細井美裕氏の「Lenna」を展示。
昨年のYCAMに続く、2度目の22chスピーカーによるインストールが行われました。



この9月中、メディア芸術祭の他にArs Electronica Festival 2020、東京芸術劇場コンサートホール Born Creative Festival、そして札幌文化交流センターSCARTSでもLennaが展示されることになり、Lennaチームはフル稼働。
企業の開発案件も自粛明け一斉にスタートし始めた時期だったため、僕は札幌だけ不参加となってしまいました。

このLennaの展示ウィークで僕が担当したのがArs Electronica Festival 2020での「Lenna[Sound Installation for Personal Computer]」。

細井氏はArs Electronicaで2つの作品を出品。
一つは無響室と残響室をオンラインで繋いだ配信「Vocalise」。
もう一つが「Lenna[Sound Installation for Personal Computer]」。

「Lenna[Sound Installation for Personal Computer]」は、展示会場に作品を見に行くのではなく、展示作品がパーソナル空間にやって来るというコンセプトで、MacBookPro 16inch 2019モデルに最適化したLennaを配信。
そのスピーカーで聴くと22.2chフォーマットで制作されたLennaが目の前に立ち上がるというもの。(他のノートPCでもそれなりに効果はでる)



聴けた人は殆ど居ないと思われるストイック作品ですが、2020で行った様々な立体音場生成の中で最も高い結果を出せた作品と言えます。

これはいずれ他の作品でも使っていきたい技術ですね。


また、その合間を縫って9/25には渋谷慶一郎氏のピアノソロライブ「Keiichiro Shibuya Playing Piano in the Distance」がRITTOR BASEから配信。



時間の都合でセットアップとリハーサルのみの参加となりましたが、8月の蓮沼執太フィルのライブ以来2度目のAmbisonicsとHPLによる配信ライブバイノーラルサウンドをエンジニアの葛西氏と作り上げました。



10月

怒涛の9月を乗り切りとすぐさま10月5日に行われた「立体音響ラボ vol.2」。
8月の立体音響ラボではあえて封印したバイノーラルの話をこのvol.2で2回の立体音響ワークショップとして配信。



とにかく有料無料問わず、世のすべてのバイノーラルプロセッシングにガッカリしている僕がw、自分のHPLを基準としてバイノーラルを知ってもらおうした企画。
一日に2時間の配信を2回行ったため、後半は声が枯れています。



その翌日、
白寿ホールで公開実験された、WOWOW、アコースティックフィールド、MQA、NTTスマートコネクトの4社による高音質ライブストリーミング。

ASCII.jp記事



マリンバ奏者名倉誠人氏の演奏を192kHzの7.1.5.1のAuro 3D 13.1chでライブMixし、それをHPL化、MQA化とリアルタイムエンコードした音声を、NTTスマートコネクトによってMPEG-4 ALS EncodeでMP4化し配信するというもの。



MQAデコードに対応したオーディオ機器であれば、192kHzの13.1chサラウンドサウンドをヘッドフォンで楽しめる、世界で最も高音質な配信実験と言える。
大きな問題は無く、恐らく近い将来一般に配信が開始されるものと思う。
ちなみにMQA対応の機器が無くても、通常よりも高音質な視聴が楽しめる。


10月末にはevala氏のプロジェクトSee by Your Ears名義による5時間配信「See by Your Ears presents “Hacking Tone Streaming”」をRITTOR BASEからお届けしました。



evala氏が訪れた国内外でフィールド録音してきたアーカイブを、立体音響システムを介しRITTOR BASEに立体音場として再生成し、それをHPLバイノーラルプロセッシング配信するもの。
いわば5時間の世界旅行のようなライブとなった。

システムとしては、evala氏のPCからのすでにバイノーラル化された2chと、1次Ambisonicsの4chをRITTOR BASEの音響PCで受け、AmbisonicsはHPLによるバイノーラルプロセッシングを行い、ミックスするという単純なもの。
僕は配信ミックスをモニタリングしながら主に低域の調整を行い、シーンごとに異なる空間表現を最適なものにするよう心掛けていました。
5時間。


2020年はフィールド録音素材を扱うことが多かった。
SOUNDFIELD SPS200、RODE NT-SF1、この2機種のAmbisonics対応のマイクを素材別に使い分ける。

フィールド録音は楽しい
しかし難しい
感覚と技術とタイミング

それを再生成するのも楽しい。



11月

11月は2つの屋外サウンドインスタレーションに関わった。

一つはGINZA SIX屋上庭園にインストールされたevala氏の新作サウンドインスタレーション「Inter-Scape - Grass Calls」



本当はそこには無い何かの気配を感じたり、熱帯雨林となったり、風のざわめきや虫の音など、時には自然に時には不自然に繰り広げられるパブリックサウンドアート。
鑑賞する時刻や天候によっても感じ方は変わる。



こちらは2021/2/23まで展示されていますので、是非実際に足を運んでみてください。
朝7時から夜23時までオープンしています。


そしてもう一つのインスタレーションは、現段階では詳しくは触れずに置こうと思います。
ただ、とても良い企画演出のイベントで音響システムとサウンド調整を行わせていただきました。
どちらも12月1日オープンだったので同時進行していたのですが、作品としては全く異なるもの。

どちらの作品も屋外用360度スピーカーが使われており、2つのメーカーの音をチェックすることができたので、今後の屋外インスタレーションの音響プランに役立つよい経験にもなった。


左: FreeSpace 360P Series II
右: JBL Control 85M



オンライン開催となったInterBEE。
INTER BEE EXPERIENCEの講演のみ参加。

蓮沼執太フィル、渋谷慶一郎、両ライブ配信の経験をもとに、「ライブ配信における先端バイノーラルサウンドメイク」と題した解説とデモを、両ライブの担当エンジニアである葛西敏彦氏と行った。



システムは両ライブと同じですが、SPS200マイクを2本使い、ステージに近い位置と遠い位置でどう作用するかも含め、具体的なミックスの解説と生演奏をその場でミックスするデモ試聴を行った貴重な講演。

これも、無観客ライブの対策にとどまらず、ライブに足を運べない人への音楽サービスとして必要と考えています。
その配信を聴いた人が、次は会場へと足を運ぶ。
そこへ向けてのサウンドメイクと考えています。

アーカイブは2021年2月26日まで視聴可能。

INTER BEE EXPERIENCE バイノーラルサウンド/立体音響を体験する(2)



12月

7月にインストールされていた企業エントランスでのサウンドインスタレーション。
森の中に8chキューブ配置のスピーカーシステムを設置し、天候によっても変わる森の音をエントランスに生成。
そこに”何かいる”気配が音だけで演出されています。



こうした企業エントランスのインストール案件も今後増えるかも知れません。


12月は他にも色々あったのですが、まだ公開できないものばかりなのでまたの機会に。


2020年は、配信ライブでヘッドフォン、公共空間、ノートPCのスピーカーなどの環境に対し、他では無い立体音場を高いレベルで実現できました。
詳しくは書けませんが、ステレオスピーカー再生において自分でも驚くほどの奥行きを実現出来た開発案件もありました。

それらの試みとリンクした形で雑誌にも取り上げていただきました。

そうした経験は2021年どこかで形にできたらと思っています。


2021年に向けて考えると
基礎=知る事をテーマにした立体音響ラボで、立体音響制作のためのツールに関して苦言を呈していますが、それを払拭するツールが発売。

NovoNotes 3DX

立体音場生成の基礎となる8chキューブ配置にも対応した3Dパンナー
Ambisonicsの録音源の特長を損なうことなくサラウンドスピーカーへとデコード
それらをヘッドフォンにおいても色付け無く生成するバイノーラルプロセッシング

立体音響制作の質を1段も2段も上げることが出来るプラグインに技術協力をしています。


様々な現場でのインストール、立体音響ラボ、プラグイン開発
それらを2021年以降実らせたいと思います。


最後に、2020年何度もお世話になったRITTOR BASE。
専属のテクニカルエンジニアか! と言うくらい使わせていただきありがとうございました。
2021年もよろしくお願いします。