ラベル バイノーラル の投稿を表示しています。 すべての投稿を表示
ラベル バイノーラル の投稿を表示しています。 すべての投稿を表示

2025/05/02

バイノーラルプロセッシングを知る - 2025版


※今回は特に音楽制作においてバイノーラルを扱う人に向けた内容となっています。

先日、とあるイマーシブ界隈の集まりにお声がけいただきました。
そこでソニーさんが開発した360 Virtual Mixing Environment(360VME)を体験。
以前プロトタイプを試聴したことがあり、今回は2度目。
性能は全く同じだったと思います。

360VMEというのは、スタジオのモニタリング位置でマイクを耳に仕込み、スピーカーとヘッドホンから測定信号を再生してIRを実測、そのIRを使ってバイノーラルプロセッシングすることで、自宅などの別環境でもスタジオでMixしているかの様な状態を作り出すもの。
https://www.sony.co.jp/Products/create360RA/360VME/

体験は、スピーカーからの音とヘッドフォンからの音とを比較するのですが、大抵は皆さん、そのそっくりな再現性にびっくりし、「こんなバイノーラルは聴いたことがない」「すごい発明だ」となります。
しかしそれは、バイノーラル技術を知っている人であればその結果の当然と言え、なんなら大昔からよく実験されてきたバイノーラル技術としてとてもベーシックなものなのです。
僕はその結果よりも、測定からプロファイルが作られるまでのスムーズさ、正確さの方をとても素晴らしいソフトウェアであると評価しています。

今回肝心なのは、スタジオのエンジニアさんらが集まるこの体験会での論点が、音楽制作の仮想Mix作業環境としてこの技術が有効かどうかを見極めることにあるとわかっているかどうかです。

実際、スタジオではあれだけスピーカーとそっくりでヘッドフォンをしていないかのようなサウンドだったにも関わらず、自宅など全く異なる環境で聴いてみると「こんなものだった?」となります。
これもまた当然の結果だったりします。

それも記憶を辿り自分をアジャストしていくと、徐々にスタジオの空間が蘇ってきます。
自宅にはスタジオと同じ位置に同じモデルのスピーカーがあるわけではないので、完全一致とはなりませんが(していても確かめようが無い)、スタジオの音が見えてきます。

その状態でMixが行えるのであれば、実際にスタジオで本Mixを行う前のプリMix作業を自宅で行える様になり、コストダウンや、時間の有効活用が望め、作品や取り組む人が増え、最終的には質の向上にもつながると考えられます。


ところが、試聴してびっくりしただけで論点が見えていない人は、「これはすごいからこの音を商品にできないか」などと脱線していきます。

商品にはなりません。
すべきではありません。
この後で述べますが、その音は色付けされており、そのクオリティではありません。
この技術は作品制作の作業に必要とされるモニタリングシステムです。

目的をまず理解せずに他の使い方を持ち出してくるのは失礼な話です。
Atmosスタジオで音楽を聴いて良かったから、
「いいね、ここを貸し出して映画館にしようよ」と言っているのと同じです。
バイノーラルに対しての認識の低さがそのような発想を生んでしまいます。


そうならないために
僕は最初に試聴体験をさせていただき、終わった後感想を聞かれた際に、「別の部屋で試聴できないのか?それが本来の使い方」「できないのであれば目を閉じて別の空間に居ると想像しながら試聴した方がよい」と主張させていただきました。
そうしないとせっかくの体験会の意味がないと思ったからです。
(実際は測定したプロファイルを後日いただけて、各自自宅で試聴できる段取りとなっていました)

その話を理解できたのは、恐らく普段から仕事で360VMEを使用し試聴環境を提供してくださったスタジオのスタッフさんだけだったと思います。


で、
僕の感想はというと、「有効」です。
使えると思います。
HPLと同じです。使えます。

ただし条件があります。
かなり整った環境で測定する必要があります。
そうでないと、定位の再現性云々の前にまず音が悪いことでMixする気になれないと思います。



さて、ここまで360VMEの話をしてきましたが、
360VMEは、スピーカーモニタリングシステムの代用としてバイノーラル技術が活用された事例になります。

では、バイノーラル技術は他にどの様な目的で活用されているのでしょうか?


現在音楽用のバイノーラルプロセッシングには目的別に3種類あると思っています。
① サラウンドモニタリング用途
② バイノーラルエフェクト用途
③ コンバーター用途


① サラウンドモニタリング用途とは
実存するスタジオのスピーカーモニタリングシステムのリスニングポイントで、エンジニアが耳にマイクを仕込みIRを実測。
それを使ってコンボリューションすることでそのスタジオでモニタリングしている状態をヘッドフォン内に生成するもの。
条件は実存するスタジオで実際に人の耳で実測すること。
ダミーヘッドで実測したり、後からHRTFを差し替えるプラグインなどは条件を満たしません。

この手法はMix時のモニタリング専用になります。
というのは、実測することによりそのスタジオの部屋、機材、その他すべてが影響し加味された音となるため、そのスタジオを知らない人が聴いた場合は逆に違和感あるサウンドに聴こえます。
あくまでも、実際にそのスタジオで作業をする人が、スピーカーの無い環境で違和感なく作業をするためのものであり、スタジオでスピーカー受聴したときに正しい音となるMixを、スピーカーの代わりにヘッドフォンで行えるというだけです。
スピーカーモニタリングシステムの代用です。
そのままバイノーラル音源としてリリースや配信するものではありません。

話が少しそれますが、
”サラウンド”としているのは、2chステレオに対しては同じ手法が用いられないからです。
2Mixは無処理のままヘッドフォンで聴けばよいと思っている人が多く、この技術がスタジオの再現性が高いのであるなら、2Mixのヘッドフォンモニタリング時も同じ手法をとるべきですよね。


② バイノーラルエフェクト用途とは
現在利用できるバイノーラルプロセッシングのほとんどがこのカテゴリーだと思っています。
スピーカーMixしたものを、バイノーラル化する際に何かしらの味付けをする。
例えばAtmos RendererのバイノーラルにあるNear/Mid/Farのモード選択や、SOFAなどのHRTFの入れ替えなどがそれです。
スピーカーのMixバランスとは関係のない、ヘッドフォン受聴専用の調整機能が加わるケース。
また、始めからヘッドフォンモニタリングでバイノーラルMixする場合で、スピーカーでのリスニングを想定しないケースもこれにあたります。
言ったらヘッドフォン受聴のために自由に制作できる利点があり、ヘッドフォン内に空間を作るための反射や残響をふんだんに盛り込むことができるため、ヘッドフォン音楽制作としては大変効果的な手法と言えます。

ただし、ヘッドフォン受聴のみのサウンドとなってしまいますので、そのMixのバイノーラル化前の状態(例えば7.1.4chなど)でスピーカーモニタリングしても、正しく同じ様なサウンドとして聴くことができません。
ヘッドフォン内でだけ成立するMixをしてしまっているからです。

Atmos Rendererだけでなく、360 Reality Audioのバイノーラルや、各社DAW、プラグインなどで使用されているバイノーラルプロセッシングは、スピーカーモニタリングとの整合性は考慮していなかったり、正しいスピーカーバランスの再現よりも頭外定位などの効果を優先していたり、正しいバランスを求めようとしていても性能不足だったりするので、結果的にスピーカーでは正しく聴くことのできないヘッドホン受聴限定用途となってしまいます。
また、サウンドのキャラクターも様々であることから、エフェクターと考えると分かりやすいと思います。
ヘッドフォン受聴専用ですので、そのままバイノーラル音源としてリリースや配信することができます。


③ のコンバーター用途とは
これは実質HPLバイノーラルのことです。
HPLはスピーカーでのMixバランスがヘッドフォンで再現されることに重きを置いて開発されました。
音楽で重要な音質を保持しつつ、あらゆるchフォーマットでのスピーカーMixバランスをヘッドフォンでも感じ取れることを最重要視。

①のモニタリング用途の技術との違いは、実在する環境も人もキャプチャーしていないので、ニュートラルなサウンドである点です。
実在する環境を知らないことで違和感を感じてしまうという①のデメリットがありません。
また、実測は実在の環境以上のサウンドを生むことができませんが、実測しなければヘッドフォンでスピーカー音場を実現するための理想のサウンドを追求することができます。
測定場所の質に左右されることも無く、常にニュートラルな作業環境でMixが行えます。

②のエフェクト用途との違いは、音質とMixバランスを重視していることにより、バイノーラル化前の状態をスピーカーモニタリングしても、やはり音質とMixバランスが整ったサウンドとして聴くことができる点です。

このように双方向のコンバーターとしてスピーカーとヘッドフォンとの繋ぎ役となります。
バイノーラル音源としてリリースや配信することもできます。

コンバーターであるがゆえ、音はあくまでもニュートラルであり、HPLでバイノーラル化したからといってエフェクトの様なそれだけでヘッドフォンに面白い空間表現が生まれることはありません。
そうしたサウンドはMixで作り出すもの、となります。



スピーカーMixのサポートとして使うのか、
ヘッドフォンで楽しむ音を作るのか、
その両方に対応するのか、

いずれの目的であっても、
スピーカーとヘッドフォンは全く異なる再生装置であって、そっくりの音が出ることは決してない、という考えは大前提であります。
その上で、それぞれの長所を求めて目的に応した技術を選ぶことがバイノーラルを上手く活用するための第一歩と考えています。



最後にあらためて3つのバイノーラルの用途をまとめておきます。

① サラウンドモニタリング用途
ヘッドフォンモニタリングでMixし、スピーカーで聴く。

② バイノーラルエフェクト用途
スピーカーあるいはヘッドフォンでのモニタリングでMixし、ヘッドフォンで聴く。

③ コンバーター用途
スピーカーあるいはヘッドフォンでのモニタリングでMixし、スピーカーでもヘッドフォンでも聴く。
 


2024/12/24

Atmos作品をヘッドフォンMixするにあたり

Mixed with HP
(現在から)未来を見据えヘッドフォンMixでのイマーシブオーディオ制作を推し、
そうした楽曲をアップしていくWebプロジェクトをアーティスト、オオウチアラタ(Philtz)氏が進めています。

サイトでは、楽曲ごとにProcessor(Mixモニタリングに使用するバイノーラルプロセッシングの種類)やヘッドフォンとスピーカーのMix使用率などが表記されていて面白い。




単純に「ヘッドフォンやイヤホンで聴くことの多いコンテンツ」をスピーカーでモニタリングしMixしていることへの疑問、そこに真っすぐ向いたこのプロジェクトには好感を持ちます。

このプロジェクトは今のところ、Dolby Atmos作品にフォーカスされています。


さて、
ここで気になるのが
皆さんどのようにしてヘッドフォンMixしているのか?


AtmosでAppleなどの「空間オーディオ」に向けた納品ファイルを作るには、Atmos Rendererのバイノーラル機能でMixする必要があります。

これは、7.1.4などでスピーカーMixしたものをバイノーラル化する機能ではあるものの、スピーカーのサウンドに寄せる、あるいはヘッドフォンサウンド用にreMixする「空間オーディオ」専用の作業をするための機能です。

すでにスピーカーでMixされたバランスに対し、ベッドやオブジェクト個別にNear/Mid/Farといったモード設定で"味付け"することがそれにあたります。


言い換えると、始めからスピーカーを使わずにAtmos Rendererのバイノーラル機能でモニタリングしMixされた楽曲は、7.1.4のスピーカーシステムでは再現性が無いということに。


Atmos Rendererのバイノーラル機能で "スピーカーのサウンドに近づける" という目的でNear/Mid/Farを調整し仕上げたのであれば、そのヘッドフォンMixバランスによる7.1.4サウンドは、Near/Mid/Farの調整が含まれないスピーカーモニタリング出力で再生したとしても似た感じになるかも知れませんが(恐らくそうはならない)、完全にヘッドフォン再生用としてNear/Mid/Farで"味付け"Mixした7.1.4サウンドは、スピーカーモニタリングでは別物として再生されるだろうし、そもそもAtmos Rendererのバイノーラル性能の特徴が影響したサウンドになってしまうだろうと推測します。


Atmos Rendererのバイノーラルによる空間は横に広く、前後や上下は狭い。

よってそのバイノーラルMixによる7.1.4をスピーカー再生すると、逆に左右の空間が詰まって聴こえ、フロントセンターあたりのサウンドはごちゃっとするだろう。

あるいはそのまま、つまりスピーカーで聴いても横方向が遠くなり前後が近くなるのか...

その辺りはNear/Mid/Farの設定によっても変わると思う。

こうしたことは、スピーカーMix → ヘッドフォン再生、の一方通行であれば問題とならない。

始めからヘッドフォンMixの場合も、ヘッドフォンMix → ヘッドフォン再生、の目的であるならば問題は無い。


自分は、ヘッドフォンMix → スピーカー再生、も普通に行うことがあるので、そうしたケースでのAtmos Redererの様なバイノーラル機能によるMixはタブーと言える。


同様に、スピーカー配置のバランスを正しくバイノーラル化しようと設計されたHPL Processorを通して、Atmos RendererバイノーラルMixによる7.1.4chをヘッドフォン再生してもその問題は起こると思います。


そう考えると

HPL ProcessorでヘッドフォンモニタリングしたとされているAtmosの楽曲は、果たしてちゃんとHPLバイノーラルでMixされているのか? ということ。


Atmosといったらベッドとオブジェクトの構造によるもの。

それらはAtmos Rendererで7.1.4などにフォーマット化されるので、その7.1.4マルチch出力をHPL Processorに送りヘッドフォンモニタリングしてMixしているのならOK。

その出力を書き出せば7.1.4のAtmos作品をHPLバイノーラル化したことになる。

またその7.1.4出力をスピーカーで聴いたとしても、割とまともに聴けるはずです。


もし、Atmos Rendererのバイノーラル機能でモニタリングしながらMixし、そのマルチch出力をバイノーラル2chファイル出力するためだけにHPL Processorへ送っているとしたら、それは上記したようにバランスの悪い7.1.4サウンドをHPLバイノーラル化した作品となってしまう。


そんな間違いはしないと思いますが...


ちなみにMixed with HPで紹介されている作品は、Atmos Rendererのマルチch出力をHPL Processorでモニタリングしながら、つまりスピーカーモニタリングの代用とする正しい方法でヘッドフォンMixしているとのことです。



そして

スピーカーの代わりにHPL Processorを使用しヘッドフォンMixした場合でも、空間オーディオ用のMix作業はやはり別途必要となる。

そのくらい空間オーディオに向けた制作が特殊だということ。

空間オーディオのリリースをやめてもHPL Processorを使用したバイノーラルサウンドをリスナーに届けることは簡単(むしろその方が多くのリスナーに届く)なので、イマーシブオーディオ制作自体をやめてしまう必要は無い。
どんどん作って欲しい。

何しろ、スピーカーMixしようがヘッドフォンMixしようが、HPL Processorを使用するならば、Mix作業を一度で済ますことも可能なのだから。


最も良いと思うのは、
Atmosなどのフォーマットを気にすることなく、DAWとHPL Processor(あるいは3DX)でヘッドフォンMixする自由な立体音響制作であり、その作品をAtmosでリリースしたいならAtmos Rendererにそれを録音すれば良いし、空間オーディオでもリリースすれば良い。


2024/03/09

森のまちの音



先日、スターツおおたかの森ホールに”音”を納めました。


おおたかの森ホールは、昨年11月に作曲家・サウンドデザイナーの足立美緒さんによる作品《音場(OTOBA)~都心から一番近い森の記憶》をインストールした場所。





今回は、その作品制作の過程で森をテーマに録りためたおおたかの森周辺の音を編集し、”森のまち”一日のストーリーを30分にまとめたスピンオフの様な”音の設置”となります。

1年ほど前に、おおたかの森ホールから「ホワイエの活用として音による何かを」とのお話をいただいて以来ずっと考えてきたものを、途中11月に足立さんのインスタレーションを挟みつつ今回の設置まで漕ぎつけた、自分でも楽しみにしていた”音の設置”です。

僕はアーティストではないですし、そうした意図でもないので作品と呼ぶのはやめておきます。

しかし、イマーシブなインスタレーションに多く関わるサウンドエンジニアとして、ならではの音を作りました。


録音は市野谷の森(この地域に残った数少ない森のひとつ)とその周辺6か所。
すべてSOUNDFIELD SPS200を使用しています。

そして、おおたかの森ホールのホワイエに設置されるヘッドフォンからその音は聞こえてきます。


フィールド録音した音を”聴かせる””聴いてもらう”と言った思考での音作りはしていません。

オーディオプレーヤー HiBy Music R3 II で再生し、外の音が100%聞こえるaudio-technica ATH-AD900Xオープンエアのヘッドフォンから聞こえてくる森の音とホワイエの音や視界など、その環境が絶妙に混ざり合う空間(音場)に30分間身を置く。





リラクゼーション?

その空間の音に包まれて、気付いたら没入してしまう人もいれば、自ら音に没頭する人もいると思います。

コーヒーを飲んでもいいし、本を読んでもいいし、仕事をしてもいいと思う。
眠ってしまっても。


数分だけ体験してみる、もいいと思っていましたが、
30分間の体験をされたおおたかの森ホールの皆さんからは、30分間の体験をマストとしたいとの評価をいただきました。


この音の設置は、おおたかの森周辺に住む人に向けたものであるため、大きく告知されることは無いと思います。
ストリートピアノの様に、「本日『OTOBA - 森のまちの音』を設置しています」とSNSで投稿されるといった案内になるらしいです。



この様なちょっとした音の企画が増えるといいですね。



---
『OTOBA - 森のまちの音』
録音、編集、設置:久保二朗

もともと録音は《音場(OTOBA)~都心から一番近い森の記憶》制作のため足立美緒さんによるディレクションであり、一部ピアノの音も大町和海さんの演奏によるものです。
ご承諾くださったお二人に感謝。


おおたかの森ホール ホワイエでの制作風景
REAPERにてNovoNotes 3DXを使用しHPLバイノーラル化
3DXとEQと音量調整で空間の広さと立体感を調整していく


2023/08/12

HPL Processor Ultimateの使い道




NovoNotesさんからHPL Processor Ultimateプラグインが発売されました。

同じくHPLが実装されたNovoNotes 3DXとHPL Processor UltimateとのHPLの位置づけの違い。

3DXは音作りのためのいわばエフェクターとしての側面を持つバイノーラルであり、
HPL Processor Ultimateは完成したチャンネルベースをバイノーラルに変換するコンバーターです。

3DXは下の絵の様に、Mixした7.1.4chをバイノーラル化する際に、Scale機能で左右、前後、上下のバランスを伸縮させることができます。
さらに全体を前後や上下にずらすことが出来、本来のMixバランスから聴こえ具合を調整するエフェクターとして使用出来ます。


通常の状態

Scaleで前後左右上下を広げ、全体を少し前方と少し下方へ移動させた状態


それができるのは、各chが定まっていないオブジェクトの状態であるためで、その分音像はHPL Processor Ultimateと比較するとシャープではありません。

HPL Processor Ultimateはそうした調整は全く行えず、その代わりにベストなスピーカー配置で調整されたスタジオの如く、ヘッドフォンにMixそのものを色付けせずにシャープな音像で表現するマルチch→バイノーラルのコンバーターとして働きます。

スタジオの如くと言いましたが、どこかのスタジオをキャプチャーしたと言う意味ではありません。それだと色付けになります。
スタジオワークを可能にするリファレンスとして使用できるニュートラルな空間を持つという意味です。



これまでに日本音楽スタジオ協会JAPRSによる日本プロ音楽録音賞にて

第21回の
「飛騨高山ヴィルトーゾオーケストラコンサート2013」より
「プロコフィエフ:交響曲第1番 古典交響曲ニ長調 作品25
 第一楽章 Allegro」
飛騨高山ヴィルトーゾオーケストラ

第22回から第26回まで連続受賞されるエンジニア沢口真人氏が手掛ける作品

第26回に22.2chをバイノーラルMixで制作し受賞した「Lenna」Miyu Hosoi

第27回のImmersive部門最優秀賞の
「冨田勲・源氏物語幻想交響絵巻 Orchestra recording version」(RME-0015)より
「桜の季節、王宮の日々」
 冨田勲 / 藤岡幸夫 指揮・関西フィルハーモニー管弦楽団

など、これらの作品はすべてHPLバイノーラルが採用され音源化されており、そのプロセッシングに使用されていたのがHPL Processor Ultimateと同じHPLバイノーラルプロセッシング技術です。

また、NHK、WOWOW、中京テレビ放送、ニッポン放送ではこれまで主音声でHPLバイノーラルの番組を放送した実績があり、スピーカーでの再生も許されているバイノーラルプロセッシングと言われています。


そうした様に、高性能なバイノーラルコンバーターとしてのHPL Processor Ultimateの役目は、2ch、5.1ch、7.1.4ch、22.2chといったチャンネルフォーマットでMixされた音声をバイノーラル化し、制作時にモニタリングしたり、音源としてリリースしたりするのが主となりますが、HPLプロセッシングを生み使い続けている自分が普段どの様に利用しているのかを紹介しますので、HPL Processor Ultimateの使い道について参考にしてみてください。



HPL Processor Ultimateの使い道

#1
2ch~22.2chまでのMixをバイノーラル音源化しリリースする

特にサラウンド作品は広く一般に聴いてもらうことができません。
上記の受賞作の様に、7.1.4chなどで制作された音楽を仮の姿ではあるものの聴いてもらうためにはバイノーラル化が必要です。
しかしAppleによる空間オーディオなどリスナーの手元でのプロセッシングによるバイノーラルの質にはエンジニアとして納得できない面があったり、音響製品を指定されたりする環境は広く一般に聴いてもらうという思考に反するものです。
そのため音楽作品を大切に扱う人達を中心にHPLによるバイノーラル音源化がなされてきました。


#2
2ch~22.2chまでのMixモニタリング

スタジオに入る前のプリMixをHPL Processor Ultimateを使いヘッドフォンで行う。
DAWのモニターアウトに常時HPL Processor Ultimateを挿して置けば、自宅などでもサラウンドのプリMixを行なうことができます。
スタジオでそのMixを実際にスピーカーで展開すると、「同じ」部分と「違う」部分に気付きます。
これは何度かその体験を繰り返すことで慣れていきます。
スタジオもHPL Processor Ultimateもニュートラルな音場であるため、その補正は正確に身につきます。


#3
Mixチェック

バイノーラルモニタリングの利点は完全なリスニングポイントに常に居れることです。
それを活かしてのヘッドフォンMixや、スピーカーMix後のバランスチェックにも使用出来ます。
つまり、スピーカーがあるにも関わらず、あえてヘッドフォンでスピーカー再生バランスをチェックしてみる、という使い方です。

これは特に2chで有効です。
L/Rに対し完全なセンターに居る状態でのLRバランスやセンター定位の確認。

バイノーラルにしなくても確認できると思うかも知れませんが、バイノーラル化されていない2chのヘッドフォンサウンドは、そもそもMixバランスが大きく崩れています。
2Mixのバランスがヘッドフォンでも整うHPLバイノーラルでのスピーカー再生バランス確認は有効です。
特にHPLは他のバイノーラルよりもセンターの音が段違いに整っています。
ヘッドフォン、イヤフォンで音楽を聴くケースの多い現代では、この様な使い方は結構重要だと思っています。


#4
ライブ会場でのモニタリング

スピーカーモニタリング環境の悪い状況下ではHPLのヘッドフォンモニタリングが役立ちます。
FOHはもちろん、バックステージなど暗騒音の多い中スピーカーで繊細な音をモニタリングするのは難しく、それであればヘッドフォンでスピーカー再生バランスをモニタリングした方が良かったりします。
もちろんサラウンドMixであれば、仮設でサラウンドモニター環境を作ることがすでに困難なケースも多いことでしょう。
無論、そのバイノーラルMixをそのまま配信に回すこともできます。

ちなみにHPL Processor Ultimateを使う場合は、当然PCベースのシステムとなりますが、中継車への導入などハードウェアベースを望む場合は、HPLプロセッサーのAirfolc RA-6010-HPLを同様に使用することが出来ます。





#5
舞台やライブの現場で

舞台やライブの仕込みでは、音を出していい時間はタイムテーブルで決まっています。
しかしHPL Processor Ultimateを使用すれば、待ち時間ヘッドフォンによるMixの修正作業などが行なえ、ゲネプロまでの限られた時間内でより完成度の高い音響を作り上げることが出来ます。
リハを録音して、待ち時間中にその音源を使ってサラウンドMixを修正していく、と言ったことをよく行います。

会場が広い場合は、先に説明した3DXのScale機能を使って空間を広げたバイノーラルモニタリングの方が合う場合もあります。


#6
アーカイブ

以前、サンレコの記事 https://www.snrec.jp/entry/interview/roth-bart-baron_haku-binaural で「思い出のバイノーラル化」をしているとインタービューに答えたことがあるのですが、関わったサラウンドプロジェクトは必ずバイノーラル化して持っています。
後から2次利用の話が出た場合はもちろん、何かの確認目的のために誰かが音源を聴くと言った場合に、サラウンドだと聴いてもらうことや使ってもらうことが簡単に出来ません。
HPL Processor Ultimateでバイノーラル化した音源を保管して置けば、様々な要望に対応することが出来ます。

ティザー動画を作ると言った場合も、サラウンドのコンテンツであるならば動画もバイノーラルにしておきたいものです。





#7
Atmosの音源や配信を試聴する

普段YouTubeの音楽ライブもHPLバイノーラル化して視聴しています。
その方が映像との距離感が合うので。
今後はAtmosでも配信も増えると思うので、そうした配信に対しブラウザの出力をループバックしHPL Processor Ultimateの入ったプラットフォーム送ればサラウンドで視聴することができます。
もっとも、KORG Live Extremeでの配信であれば、HPLで配信されていますので、そのままブラウザで視聴できますが。

https://www.live-extreme.net/hpl



#8
プライベートで

CD、サブスク、YouTube、ラジオ、テレビ、可能な限りHPLを通して視聴しています。
2Mixがヘッドフォンにおいても正しいバランスで再生されるので、本来の音で音楽が聴けるというHPLのコンセプトがありますが、それはもちろんのこと、映像コンテンツであれば通常は画面に対して音が耳元でなる不自然さから解放されますし、ラジオのようにモノラルでトークであっても聞きやすく、長時間聴いても聴き疲れないと当初から言われています。

ブラウザなどからHPL Processor Ultimateを挿せるプラットフォームにループバックするなどのハードルはありますが、一度HPLで慣れてしまうと戻れないです。
ユーザーさんの中には音楽音源をすべてHPL化したものをプレーヤーで持ち歩いている人もいらっしゃいます。




以上、ざっと思い出した使い方になります。
他にも思い出したら加えます。

HPL Processor Ultimateは単純なバイノーラルモニタリングプラグインですが、そうしたツールは様々な使い方に順応するものです。
是非工夫して使ってみてください。


最後に、
2014年にHPLバイノーラルプロセッシングを作ってから、立体音響制作のスタンダードツールとして開発されたNovoNotes 3DX、高画質高音質配信のKORG Live Extreme、放送局など設備用として開発されたAirfolc RA-6010-HPL、そして今回のHPL Processor Ultimateのリリースにより、自分が立体音響制作に必要だと考えるバイノーラルツールが一通りリリースされたことになります。

自分の目線から、音楽制作のためのバイノーラル技術はあまりにもいい加減なものに映っています。

エンジニア、プロデューサー、音楽関係者の皆様、Dolby Atmosなどのイマーシブオーディオ制作を行う際には、ヘッドフォンは空間オーディオ任せにしてしまわずに、HPL Processor Ultimateを使ってヘッドフォン用の完成音源を作ってください。
そして出来ればそれを流通させ、本当の意味で誰でも楽しめるイマーシブオーディオ作品をリリースしていただけたら幸いです。





2023/07/14

バイノーラルの定説"HRTFを替えてはいけない"





スピーカーメーカーはスピーカーユニットと最適なエンクロージャーを設計し、多くの試作を行い、繊細な調整のもと一つのスピーカーを仕上げます。

そのスピーカーに対し、他に好みのスピーカーがあるからといってそちらのスピーカーユニットを外して持ってきて、単に入れ替えたところでいい音にはなりません。






普通に考えてオリジナルよりも音は悪くなることが容易に想像できます。








バイノーラル技術において、HRTFを個人のものに入れ替えるというのはそういうことです。


皆さんご存じの「HRTFを自分のものに入れ替えると定位が改善される」は学術として定説です。

同様に「HRTFを入れ替えると音が変わってしまう」
これも音楽でバイノーラルを扱ったことのある者にとって定説です。

しかしこの事は伏せられています。

「学術として定説だからHRTFは個人適応させるべきだ」と、そうしたバイノーラルプロセッシング技術やソフトウェアが生まれても、すべて上手くいかないのは当たり前なのです。
スピーカーユニットは入れ替えないのに、何故HRTFは入れ替えていいと思っているのでしょうか?


要するに
定説の誤った解釈が起きている。


昔からバイノーラルは事あるごとに注目されてきました。
"髪をチョキチョキ"、"マッチ箱を頭の周りでカサカサ"、"耳元でのささやき" など、皆さんも一度は聴いて驚いたことがあると思います。

なぜそのように聴こえるのか、またさらに正確な定位を作るにはどのようにしたら良いのか、そうした研究の元、人の頭の大きさや顔や耳の形、あらゆるものが異なるため、そのHRTFは自分のものが絶対に良い、という結果が出たのです。


しかし

それは主に音像定位の話です。

音楽は定位だけを聴くものではありません。

それなのにバイノーラルにおける音像定位の定説を、音楽を聴くためのバイノーラル技術にもそのまま適用してしまっています。
何も疑わずに。定位さえ改善されればすべてOKとし。
音が変わってしまうことも黙認し。


HPLが音楽に特化したバイノーラルプロセッシングと言っているのは、定位だけでなく、音楽をバイノーラル化してヘッドフォンやイヤフォンで聴くために必要な様々な要素に対し目を向けて設計しているという意味です。


スピーカーメーカーが、ユーザーに対しユニット交換を推奨するでしょうか?

最初に話した通り、スピーカーユニットと最適なエンクロージャーを設計し、多くの試作を行い、繊細な調整のもと「この音を聴いて欲しい」と仕上げられたスピーカーに対し、「ユニット替えた方がいいですよ」という設計者はいないと思います。

ですので間違った定説を音楽のバイノーラルに対し用いるのは止めてください。

音楽のバイノーラルの定説は"HRTFを替えてはいけない"です。

HRTFを替えても良いとされるバイノーラルプロセッシング技術は、よく考えずに設計されたスピーカーと同じですので性能は悪いと思って間違いないです。


でも、そうしたソフトウェアを持っているからと言ってがっかりすることはありません。
エフェクターとしての使い道がありますから。


2022/12/10

360 Reality Audio に8chキューブMixを配置する際の注意点

BP3600
スーパーカーディオイド4本で空間を録るというよりは8方向を録るマイク

先日の国際放送機器展InterBEEにて、オーディオテクニカさんが8chキューブのマイクロフォンを展示されていました。

これをAtmosの7.1.4等のフォーマットに対しどう扱うかは一旦置いておき、ブースのデモでは360 Reality Audioを使い、マイクと同じ8chキューブにWalkMix Creatorで各chを配置してバイノーラル化した音を試聴できました。



そこで疑問に思ったことがあったので確認。



以前ブログにも書いた通り、360 Reality Audioのバイノーラルは指定した音源の角度とバイノーラル化された音像とに開きがあります。

「空間オーディオ制作のためのバイノーラル比較」参照


90度(真横)に指定した音像が110度くらいに聴こえる、135度に指定した音像が155度くらいに聴こえる。


ということは、8chキューブもフロントL/Rを45度、リアL/Rを135度で配置してしまうと音場は歪んでいるはずです。



結果としてはやはりそうで、

聴感で斜め後ろの135度が135度として聴こえるようにするには、おおよそ122度に指定する必要がありました。


テストの方法としては、実際に組んだ8chキューブに対してどの程度ズレているかを比較試聴。

WalkMix Creatorで122度にすると、実際の135度のスピーカーとおよそ同じ位置に音像が定位します。

ちなみにNovoNotes 3DXで135度に設定すると、3DXのバイノーラルの音像は実スピーカーの位置とほぼ一致します。



フロントL/Rを45度 リアL/Rを135度とした8chキューブ配置(紫)
聴感では見た目よりフロントはワイドにリアはナローに聴こえる


フロントL/Rを40度 リアL/Rを122度とした8chキューブ配置(緑)
聴感ではこれで正しい8chキューブの音場となる



この様に、立体音響の標準フォーマットと言える8chキューブを扱う際、BP3600の様なマイクアレイや、Ambisonicsを8chキューブに変換したり、8chキューブのMixをしたりといったプロジェクトを360 Reality Audioで扱う場合は注意が必要です。


もちろん、他のスピーカー配置のフォーマットに対しても同じことが言えますが、8chキューブはより没入感のあるフォーマットであるため、それを無駄にしたくはありません。



これはバイノーラル、つまりヘッドフォンで聴く場合の話になります。


そもそも360 Reality Audio のスタジオのスピーカー配置13chに、丁度よくこの8chマイクアレイを割り当てることは出来ないので、WalkMix Creator内でどの様な8chキューブに配置したとしても、スピーカーモニタリングでは正確に再現されません。

その上ヘッドフォン内でも正確には再現されないとなると困りますね。

どこにも整合性が無いというのが現状です。


と、ここで思ったのが

本当にヘッドフォン内の定位と13chスピーカーでの定位とが聴感で違うのか?

ということ。


スピーカーモニタリングとヘッドフォンモニタリングとの整合性を高めるために、あえてバイノーラルの定位を崩していて、それによって実は同じ様に聴こえる、ということは無いでしょうか?


そうであれば、辛うじて13chのスピーカーアレイでオブジェクトベースのMixをしていると言えなくもない...



無いでしょうね


どなたか試しているなら教えてください。



360 Reality Audioの空間オーディオ作品は、特別な機会を除き、一般リスナーが13chスピーカーで聴くことはありません。

市販のヘッドフォン、あるいは市販の特殊なスピーカーによる再生だけです。


であるなら、360 Reality Audioは始めからヘッドフォンモニタリングでMixすることが、リスナーに同じサウンドを届ける明確な手段となります。


13chのスピーカーを配備するスタジオでMixしても、ヘッドフォンでのように空間的なMixも出来なければ、そのサウンドはバイノーラル化したときに別のバランスとなってリスナーに届いてしまいます。


つまりスタジオは要らないと思います。



この8chキューブMixを360 Reality Audioに変換する際の問題を、もっと早く検証すべきでした。

分かっていたのに。


ただ、これは聴感上正しいかどうかの話であって、サウンドとして有りか無しかという話ではありません。

正しくないことで、生まれる良いサウンドもあるということです。





2022/11/03

Ambience Enhancerをどう使う?



2022年10月
NovoNotesよりAmbience Enhancer Standardが発売されました。

2chのみ対応のAmbience Enhancer liteはすでに先行発売されており、多ch対応(24chまで)版がStandardになります。

このAmbience Enhancerがちょっと変わった仕組みであるため、立体音場の表現力について理解が無いとすぐにこのプラグインの味を引き出せないかも知れません。
アンビエント成分を調整することで、響きを減らしたり増やしたりし空間を変える。
2chステレオ音源に対するAmbience Enhancer liteの効き具合はそのようなイメージでしたが、Ambience Enhancer Standardを使用する立体音場では、同じ技術であってもその効き具合は変わります。


NovoNotesのAmbience Enhancerとは?

エンハンスとしてイメージするものは、周囲、環境、空気感、残響、といった音の空間性の部分かと思います。

NovoNotesの説明では
「Ambience Enhancer は入力された音声を分析して、アンビエンス成分と直接音に分解します。」
となっており、そのアンビエンスにだけ何かしらの処理を施すことで空間が調整可能としているプラグインです。

”残響をコントロール”と簡単に説明されているのを見かけますが、それは違うと思います。


まず、ホールで観客がざわついているAmbisonicsの音源をAmbience Enhancer Standardを通して聴いて見ましょう。

音源はA-formatマイク録音された素材で、それをB-format変換(1次Ambisonics) → 8chキューブデコード(3DX)した立体音場の音源を使用します。
その8chキューブの立体音場に対し、Ambience Enhancer Standardのパラメーターを調整してみます。


このような処理で検証



まずはAmbience Gainを-3dBに設定してみます。
アンビエンスを-3dB減らすということです。
アンビエンスを減らした分、Output Gainを3dB上げてみました。
これは何となくそっちの方がいいかなと思っただけで、正しいかどうかは分かりません。

試聴音源は、Ambience Enhancer Standardを通した8chキューブの立体音場を3DXでHPLバイノーラル化していますので、ヘッドフォンで試聴してください。







次は逆にアンビエンスを3dB増やしてみます。
Ambience Gain = +3dB (応じてOutput Gainを-3dB)







いかがでしょうか?
かなり変わりますよね?

もう一つ別の音源で試します。
こちらもデモでよく使う美術館で大きな音や足音をAmbisonics収録したものです。
同様にしてHPLバイノーラル化しています。
Ambience Enhancer Standardの設定は同じです。

まずはAmbience Gain = -3dB




続いてAmbience Gain = +3dB





いかがでしょうか?

Ambience Enhancerでアンビエンスを増減させることは、単に残響を盛ったり抑えたりしているのではなく、空間の広さそのものに変化を与えていることが分かると思います。

絵にするとこのような感じです。
UIの表示とは逆のようなイメージがあります。


点線が元の空間の広さ




このように元の空間よりも広く表現する、あるいは逆に狭く表現する、と言った使い方が出来ると思います。
ちなみにAmbisonicsの録音源に対しては、Ambience Gain +-3dBが元の空間を崩さずに調整できる範囲だと思います。


録音したAmbisonicsの音源では全体にAmbience Enhancerを使うことになりますが、3DのMixを行う上では、より遠くに感じさせたい音、より近くに感じさせたい音、それぞれに異なる設定のAmbience Enhancerを使うことで奥行きにさらなる立体感を与えることが出来そうです。


そして、空間が伸縮すると言うことは、そこにある音の距離感も変わります。

こちらはパルス音を使ってAmbience Gainを調整している動画です。
このパルス音のサンプルもただのステレオ音源では無く、3DXを使って8chキューブの立体音場の右に定位させている状態です。
Ambience Gainを小さくすると音が中心に寄って来て、大きくすると離れていくのが分かります。
パンニングしているのでは無く、空間の伸縮によるものです。





これは逆に言うと、Ambience Enhancerでは距離を変えずにアンビエンスのみを調整することが出来ないということになります。
DryとWetのバランス(直接音とアンビエンス成分)を調整することが出来ませんので、元の音像の距離感は変えたくないのであれば、Dryのトラックを用意してMixすると言った工夫も必要なケースが出てくるかもしれません。


3D Mixの例として、立体音響ラボのジングル(Miyu Hosoi, evala)を聴いてみましょう。

まずはオリジナル。





続いてAmbience Gainを-6dB。





Ambience Gainを+6dB。







Ambience Gainを+にする音、-にする音、をMixの段階で使い分けたり、Ambience Gainの値をオートメーション化していくことで、遠近の表現をかなり増せると思います。

ここまでで、Ambience Enhancer Standardは空間伸縮ツールであることが分かったと思います。


最後に、その他の機能、Ambience Low Pass、Ambience Delayについて。

Ambience Low Passは、Ambience Gainを上げた時に空間を自然な感じにしたいなら4000Hzあたりまで下げるとか、細かな味付けに有効です。

Ambience Delayはちょっと難しいです。

アンビエンスだけにディレイを掛けることで初期反射を調整するようなもののようですが、最大50msまでのショートディレイが直接音との音量バランスを調整出来ないまま掛かってしまうため、ほとんどの設定で定位が無くなってしまいます。
例えば左に定位させた音にAmbience Delayを掛けると、アンビエンスなので対面からもディレイ成分が再生され、その結果左にあったはずの音がセンターに定位してしまいます。
最大の50msにすれば、何とかステレオ感あるショートディレイの音になりますが、それ以外に使い道がわかりません。
アンビエントにディレイを掛けるなら、直接音とアンビエンス成分の音量バランスを調整できたり、各スピーカーごとにディレイ値を設定できる、あるいは空間的にランダムな反射となるようアンビエントが計算されるなど、Ambience Delayに関しては早い段階で改善が必要と思いました。

先ほどのジングルに50msのAmbience Delayを掛けた音を最後に聴いてください。
定位は崩れますが、音数が増える効果はあるので面白いです。








いかがでしたでしょうか?

立体的なスピーカー配置において空間を扱うプラグインはまだまだ少ないですし、立体音響作品を作っていて、特にヘッドフォンでバイノーラル作品を作る場合は距離感の出し方に手を焼いている人も多いと思います。
そんな時、Ambience Enhancer Standardを試してみてはいかがでしょうか?


NovoNotes
Ambience Enhancer Standard










2022/08/18

3DXで7.1.4chをバイノーラルモニタリングするには




2022年9月号のサウンド&レコーディング・マガジンに載っている、ミキシングエンジニアの奥田泰次さんとグレゴリ・ジェルメンさんによるNovoNotes 3DXのレポート「プロ・エンジニアが語る!立体的な音場を創出するプラグインNovoNotes 3DX」を読んで、両氏ともに3DXを使ってサラウンドをバイノーラルモニタリングしていることを知り、ちょっと予想外でした。
もしかして、そうした使い方を皆さんするのかな? と。

HPLを作った身としては、3DXの5.1chや7.1.4chなどからのバイノーラル化は、本来のHPLの音ではないので、そう思われたくないなという想いが半分、それでも使えるんだ?という想いが半分です。

各チャンネルフォーマットをきちんとバイノーラルモニタリングするには、専用機であるHPLバイノーラルプロセッサー「RA-6010-HPL」が必要です。
※現在はNovoNotesよりHPL Processorプラグインが発売され、HPL本来のバイノーラルサウンドでモニタリングが行えるようになりました。

3DX内で本来のHPLの音質を持つのは8ch Cube → HPLの場合だけです。
(詳しくは「HPLのグレード」を参照)


とは言え、
100万円するRA-6010-HPLはそう簡単に買えるものではないので、3DXでバイノーラルモニタリングしてMixできるなら、それも一つの方法かと。
少なくともスタジオに入る前のプリMixとしては、十分に使えるのでは?と思いました。

で、実際に3DXの7.1.4chのHPLバイノーラルと、専用機であるHPLバイノーラルプロセッサー RA-6010-HPLのHPLバイノーラルとを比較してみました。


まず、RA-6010-HPLによる7.1.4ch入力→HPLの音です。
声とピンクノイズをch順に再生していますので、ヘッドフォンで試聴してみてください。





続いて、3DXによる7.1.4ch入力→HPL出力の音です。

※3DXではサブウーファーchが全周波数帯域をパスしてしまうので、事前にハイパスしておく必要がありますが、今回はしていません。





まぁ確かに他のバイノーラルアプリに比べたら、いいかもしれませんね。



3DXのパラメータを調整して、少しでもRA-6010-HPLの音に近づけないか、トライしてみました。

色々試したのですが、
最終的に行きついた設定がこちら




Scaleを
width = 1.5
depth = 1.3
height = 1.2
にしました。





L/C/Rの音像がRA-6010-HPLに比べ3DXの方が上がってしまうので、本当はPositionのZを-0.4とかにしたいのですが、音が少し変わるので今回はやめました。
そこはお好みで。

これで定位のバランスは近い状態です。
左右の距離感がどう調整してもRA-6010-HPLのそれに近づけず、3DXの方が全体的にナローです。

RA-6010-HPLのフルHPLバイノーラルプロセッシングによる7.1.4chの音と、3DXの音との大きな違いは、まず明確な音像です。
RA-6010-HPLの音像が点音源でシャープであるのに対し、3DXは少し面で鳴っています。

そしてもう一つは音質。
今回のテストでは分かりづらいと思いますが、音楽をMixした時の音質が、RA-6010-HPLと3DXとでは差があります。

3DXは音質が良いと評判ですが、RA-6010-HPLのバイノーラルはさらに良いです。
完パケのマスターをバイノーラル化するための機材なので当たり前です。


今回は7.1.4chで試しましたが、5.1chなどの他のフォーマットでも3DXのパラメータを同じ設定にすれば同様の効果が得られると思います。

3DXでバイノーラルモニタリングをする際の参考にしてみてください。