2020年
1月
インビジブルシネマ「Sea, See, She - まだ見ぬ君へ」 / evala (See by Your Ears)
2020年の始まりは衝撃でした。
それまで、See by Your Earsプロジェクトの中で、視界ゼロの環境を作り、音のみでファンタシーを生み出す「耳で視る」作品Anechoic Sphereシリーズを音響面でサポートして来た自分にとって、スパイラルに訪れた100人の聴衆を同時にファンタジーの世界へ導くのはかなりのチャレンジとなる。
「大きな耳をもったキツネ」を代表とするAnechoic Sphereシリーズは1人ずつ体験する作品。
立体音響ラボでのevalaさんとのトークセッションの中でも言っていますが、スパイラルでも「耳で視る」体験にならければ意味が無い、と思うからです。
作品鑑賞者1人に対し、完全な音響システムを組めるAnechoic Sphereとは違い、リスニングポイントの定まらない広い空間で、それがどこまで実現できるのか？
自分の手も見えない暗闇での70分間
耳で視るファンタジーはやはりそこにあった。
恐らくそれはヘッドフォン環境においても同じ結果を出せると思う。
そう確信できたのは大きな収穫でした。
恐らくそれはヘッドフォン環境においても同じ結果を出せると思う。
そう確信できたのは大きな収穫でした。
「Sea, See, She - まだ見ぬ君へ」のテクニカルな話は、当ブログの「立体音響システムの考え方 - 「Sea, See, She - まだ見ぬ君へ」編」で書いていますのでご参照ください。
2月
集客的にも成功しアンコール上映の声が上がっていた中、すぐさまRITTOR BASEにて上演されることとなった「聴象発景 Rittor Base Ver.」 / evala (See by Your Ears)。
2019年の秋、中津万象園の広大な日本庭園にインストールされた「聴象発景」を、御茶ノ水の地下という全くの異空間であるRITTOR BASEで新たに構築した45分の作品です。
中津万象園で聴象発景を聴いた時、「これは無響室でも成立する作品」とすぐに思ったので、RITTOR BASEでの再構築に何の不安も無かった。
テクニカルな話としてみても、スピーカー選択から始めたスパイラルでの「Sea, See, She - まだ見ぬ君へ」とは違い、慣れ親しんだサウンドのRITTOR BASEでの音響調整はとても楽。
というか特に何もしてません。
なのでスパイラルから僅か2週間で実現できたわけです。
そしてこの「聴象発景 Rittor Base Ver.」は、2021年HPL音源としてリリースされますのでお楽しみに。
2月末には
Media Ambition Tokyoの展示作品として「Forest/Naotaka Fujii+GRINDER-MAN+evala」をインストール。
以外にも、evala氏とのバイノーラルによる作品制作はこれが初。
とにかく音にストイックなevala作品においてのバイノーラル化はこれまで何度もテストを繰り返しています。
しかしまだ世には出ていない。
それだけ高いレベルでの話なのですが、初めてのバイノーラル作品としてVRであるForestは良い機会を与えてくれた作品と言えます。
テクニカルに関してまず一番のポイントはヘッドフォンの選択。
ここ最近リファレンスにしているSHURE SRH840を使うことで、evala氏によるヘッドフォン内での空間ミックスをし易くする。
スピーカー同様、「よい音で鳴る」ではなく「よい音で鳴らせる」機器選び、まずそれが一番重要です。
Ambisonicsを使いヘッドトラッキングにより回転する空間を作り出していますが、音像移動のための3DパンニングはAnyMix Proを使い、その後でAmbisonicsエンコードを掛けて回転する空間に乗せています。
それぞれを8chキューブ配置にスピーカーデコードした純3D空間を、HPLによりバイノーラル化。
3月
新型コロナが世界的な広がりを見せたころ、「ふさぎ込む必要はないことを少し示すだけ」「インターネット上で無目的な創造の場を公開する」とし、細井美裕氏はJEMAPUR氏と共に10時間に渡る配信「1 Evening」を公開しました。
このイベントは"楽しかった"のでコンセプト通りとも言えます。
13時からRITTOR BASEより映像は10時間配信し続け、1時間おきに約10分間のライブを行うこのイベント。
アーカイブは最後の1回「Lenna (8.1ch Reconstruction)」のみRITTOR BASEのYouTubeチャンネルにありますが、他9回のライブはJEMAPUR氏がRITTOR BASEの8chキューブ配置の音響システムで生成するサウンドに細井氏のヴォイスが加わるとてもクオリティの高いライブで、その日その時間にしか視聴できない「あそび」だったため今後公開されることもありません。
また「あそび」たいですね。
テクニカルとしては、JEMAPUR氏のプリミックスは3次Ambionicsで行われ、それをRITTOR BASEの音響PC上で8chキューブ配置にスピーカーデコーディングし、RITTOR BASE既設のCODA D5-Cubeスピーカーによる8chキューブスピーカーシステムで音場生成。
配信用にはその8chキューブからHPLによりバイノーラル化。
ちなみにこの配信以降RITTOR BASEの配信ライブは、基本的にHPLプロセッシングがなされたバイノーラルサウンドで配信されています。
配信時にも特にアナウンスされていませんが、ライブの音を配信するにはそれがベストとRITTOR BASEでは判断していただきました。
そしてこのあと約2か月半、外出を自粛します。
もともと時短生活なので自宅と会社は徒歩圏内
そこを往復するだけの毎日でした。
その期間は開発案件のオンラインミーティングや音源制作、実験など行っていましたが、もともと毎月決まった売り上げのある仕事で無いため焦ることはありませんでしたが、多様な仕事をしていると言っても、今年はやはり前年の?程度の利益となることを予測。
それをどう乗り切るか。
「今年は諦める」
今年の事よりも次年度に取り戻す事を早々に考え始め、「今年は投資する」ことに。
自粛期間中よく考えていたのは、立体音響ワークショップの事です。
立体音響、広くは空間音響に興味ある人達を育て裾野を広げたい。
しかも世の中間違った解釈が多く、正しく判断するための知識が必要です。
6月
自粛が緩和し最初の仕事はトクマルシューゴ氏の新曲「Canaria」のVRミュージックビデオ制作。
これはYouTubeの360度動画再生機能を使い、映像と音声をそれに対応させたVRミュージックビデオです。
ポップミュージックをいかに3Dミックスするかというそもそもの課題もありますが、YouTube上で視聴者が視点を動かしたときに音場も動くVRミュージックビデオの制作は、普段2Mixに慣れ親しんだエンジニアにはまずその環境を理解しようとする気持ちが重要となります。
これまでフロント2スピーカーの方を向いてる状態での完成を目指していた作業が、右を向いたら、上を向いたら、下を向いたら、どう聴こえるのかをチェックしないといけない。
それは標準的なミキシングスタジオではモニターすることができません。
Canariaでは、レコーディングスタジオに8chキューブ配置のスピーカーシステムを仮設し、その中でミックスを行いました。
8chキューブ配置は前後左右上下に均等にスピーカーがあるため、360度の空間を生成できます。
それにより上記のようなモニタリングが、実際に左を見たり、上を見たりすれば行えます。
立体音響の基本はまずこの8chキューブ配置を試すことにあります。
まずこれをクリアしたら、最大の問題である仕上がり不明問題ｗ。
YouTubeの360度動画のアップはいくらスタジオで8chキューブ配置のモニターで最善を図っても、スピーカーデコーディングする前のAmbisonicsエンコード状態のままYouTubeへアップするため、そのAmbisonicsからバイノーラル化までのプロセスを、YouTube側に託すことになります。
残念ながらバイノーラルプロセッシングの性能は悪く、且つ効果を優先しているため、前後左右の違いが実際よりも盛られています。
どちらから音がするかは分かりやすくなるが、音質は極端に変わる。
それが現状です。
それでも新たなエンタテインメントの一つとして止めずに続けることが、その後の発展に繋がると思うのですが、どうなんでしょうね。
また、1次Ambisonicsで納品するには当然DAWもそれに対応している必要があります。
よってミックスを担当したエンジニアの葛西敏彦氏も、普段はProToolsで作業を行うところをNUENDOでミックスされています。
制作の模様は、立体音響ラボにてトクマルシューゴ氏、葛西敏彦氏を招いてのトークセッションをご覧ください。
2020年6月のブログ「公共空間での立体音響調整」は、実際のインストール現場の作業と並行して書かれたもの。
改装されたアトリウムは壁面にキネティックウォールとプロジェクションマッピング用のシステムが導入された。
そしてその音響システムは8chキューブ配置。
公共空間では初めてとなる設備です。
しかしまだここの8chキューブで立体音響作品は作られていません。
運用が今後どう展開されるのかは分かりませんが、公共空間に立体音響作品をインストールできる初めての場所です。
他大の学生でもコラボは可能かもしれません。
門を叩いてみては？
（叩き方は知りませんw 「使わせろ！」かな）
8月
春の自粛期間中に構想していた立体音響ラボをRITTOR BASEにて開催。
本当は参加者を募り、仕事もそう多くないだろうから2ヵ月くらいかけてワークショップや作品制作などを一緒に進めるラボを検討していたのですが、よい場所が無かったのと、仕事の予定が常に入っていたので、ギュッと凝縮した形でRITTOR BASEからの完全配信スタイルの開催をすることにしました。
一般的に「夏休み」とされる週でしたが、それとは無縁と思われるゲスト出演者の皆さんのスケジュールが何故が空いていて、出演依頼に全員即承諾というキセキ。
なぜ、立体音響ラボを行ったのか。
25年は立体音響と言われる音を扱って来た経験上、エンタテインメントの世界でそのプアな歴史の繰り返しが我慢できなかった、という自分自身とてもプアな理由があります。
分かりやすいところで言えば、10年周期くらいで「バイノーラルってすごい」みたいに囁かれ、髪チョキチョキみたいな音に感動した人が、これで音楽作ってみようと発想し（本人は新しいと思っている）、じゃあダミーヘッドで録音して作品を作ったら凄いよね、で実際は作っている最中にダメっぽいと気付き、でもその音源をあたかも凄い立体音響作品みたいにして発売し、もちろん評判は悪く2度と制作されない、みたいなことです。
そして10年後にまたそのことを知らない人が新たな発見として繰り返す。
しかしそれも、本当は良く分かっている人がちゃんとアドバイスしていたらもっと良い結果も出せたはず。
今アドバイスできる経験だけは豊富にあるので、そうしたものをアーカイブに残し、これから様々な音に出会うであろう若い人達の参考書の一つとなれば、少しは明るい未来があるのではないかと考えたからです。
他にもありますよ。
バイノーラルプロセッシング作ったら売れると思ったメーカーが過去の資料を引っ張り出してプロセッシングプログラムを作り、普段音楽制作に携わっているわけではないバイノーラルの研究者の監修のもと「バイノーラルサウンドって多分こんなもんだろ」というプラグインを販売してしまう、とか。
性能が悪いのをHRTFを個人適応していないからとし、適当な計測によるHRTFの乗せ換え機能を設け逃げ道を作っている、とか。
5.1chにハイトchを加えて上方向に立体的になっただけでイマーシブと名付け、凄い臨場感とか言ってしまうとか。
発言がかなり危なくなって来たのでこの辺で止めますがｗ、
要するにこれら全ては「知っていれば」そんな事にはならないものばかり。
なので「基礎＝知る」事をテーマにした立体音響ラボを開催したのでした。
立体音響ラボの構成は、
それらを解説する立体音響ワークショップ。
立体音響作品を制作したことのあるアーティストとエンジニアを招いてのトークセッション。
そして実際に作ってみる「8chキューブでの立体音響制作」生配信。
このラボで事実をありのまま見せることで、現状を知ることが出来る理想的なプログラムだと思っています。
いずれも1時間半から2時間あるアーカイブですが、現在11個のアーカイブがRITTOR BASEのYouTubeチャンネルで公開されていますので、是非ご覧ください。
（ヘッドフォン/イヤホンでご視聴ください）
そしてこの立体音響ラボでの出会いにより、急遽2週間後の蓮沼執太フィル「オンライン公演 #フィルAPIスパイラル」の配信を、立体音響ラボでの制作体験を活かしAmbisonicsとHPLによるバイノーラル配信で行うことに。
リハーサル前に蓮沼氏とエンジニアの葛西敏彦氏とで配信の音作りに関して打ち合わせしている姿を憶えています。
これまでのミックスとは全く異なり、その中で蓮沼執太フィルのこれまでのサウンドをどう実装するのか。
その後リハーサルで「久保さん、聴いて！」と自信ありげにヘッドフォンを渡す葛西氏の顔はこの先も忘れないでしょう。
システムとしては、各楽器に立てたオンマイクの2MixをHPLバイノーラル化、ホール中央に設置したSOUNDFIELD SPS200マイクからの1次AmbisonicsをHPLバイノーラル化、それぞれの2chの音量バランスを調整しています。
当時はAmbisonicsのエンコード＆デコードとHPLプロセッシングをお手製で行っていましたが、現在はNovoNotes 3DXがあるため、以下の構成で行えます。
HPL2ProcessorプラグインはAAXに対応していないので、PCでProToolsを使用する場合は、そこを3DXで代用します。
以後、無観客あるいは会場に足を運べない音楽ファンに、会場のリアルだけではない新たなライブ感を届ける事を目的とし、葛西氏と配信ライブ用バイノーラルサウンドを作っています。
また、このスパイラル公演の際、葛西氏がリハーサル時の配信ミックスを演者の皆さんに聴いてもらっていました。
みなさん「凄い」「気持ちいい」と言ってくれて、当時、無観客でのモチベーションの上げ方について話題があり、配信を視聴してくれる人に気持ちいい音が届けられていることを知ることがモチベーションに繋がるかも、と思ったことを憶えています。
9月
2月にMedia Ambition Tokyoで展示された「Forest/Naotaka Fujii+GRINDER-MAN+evala」が、富山県総合デザインセンターにインストールされ公開されました。
2月の展示ではヘッドフォンだけだったサウンド面を、4chスピーカーシステムを追加してより立体的な空間音響体験が出来るようアップデート。
9月末には「第23回文化庁メディア芸術祭」でアート部門の新人賞を受賞した細井美裕氏の「Lenna」を展示。
昨年のYCAMに続く、2度目の22chスピーカーによるインストールが行われました。
この9月中、メディア芸術祭の他にArs Electronica Festival 2020、東京芸術劇場コンサートホール Born Creative Festival、そして札幌文化交流センターSCARTSでもLennaが展示されることになり、Lennaチームはフル稼働。
企業の開発案件も自粛明け一斉にスタートし始めた時期だったため、僕は札幌だけ不参加となってしまいました。
このLennaの展示ウィークで僕が担当したのがArs Electronica Festival 2020での「Lenna[Sound Installation for Personal Computer]」。
細井氏はArs Electronicaで2つの作品を出品。
一つは無響室と残響室をオンラインで繋いだ配信「Vocalise」。
もう一つが「Lenna[Sound Installation for Personal Computer]」。
「Lenna[Sound Installation for Personal Computer]」は、展示会場に作品を見に行くのではなく、展示作品がパーソナル空間にやって来るというコンセプトで、MacBookPro 16inch 2019モデルに最適化したLennaを配信。
そのスピーカーで聴くと22.2chフォーマットで制作されたLennaが目の前に立ち上がるというもの。（他のノートPCでもそれなりに効果はでる）
聴けた人は殆ど居ないと思われるストイック作品ですが、2020で行った様々な立体音場生成の中で最も高い結果を出せた作品と言えます。
これはいずれ他の作品でも使っていきたい技術ですね。
また、その合間を縫って9/25には渋谷慶一郎氏のピアノソロライブ「Keiichiro Shibuya Playing Piano in the Distance」がRITTOR BASEから配信。
時間の都合でセットアップとリハーサルのみの参加となりましたが、8月の蓮沼執太フィルのライブ以来2度目のAmbisonicsとHPLによる配信ライブバイノーラルサウンドをエンジニアの葛西氏と作り上げました。
10月
怒涛の9月を乗り切りとすぐさま10月5日に行われた「立体音響ラボ vol.2」。
8月の立体音響ラボではあえて封印したバイノーラルの話をこのvol.2で2回の立体音響ワークショップとして配信。
とにかく有料無料問わず、世のすべてのバイノーラルプロセッシングにガッカリしている僕がw、自分のHPLを基準としてバイノーラルを知ってもらおうした企画。
一日に2時間の配信を2回行ったため、後半は声が枯れています。
その翌日、
白寿ホールで公開実験された、WOWOW、アコースティックフィールド、MQA、NTTスマートコネクトの4社による高音質ライブストリーミング。
ASCII.jp記事
マリンバ奏者名倉誠人氏の演奏を192kHzの7.1.5.1のAuro 3D 13.1chでライブMixし、それをHPL化、MQA化とリアルタイムエンコードした音声を、NTTスマートコネクトによってMPEG-4 ALS EncodeでMP4化し配信するというもの。
MQAデコードに対応したオーディオ機器であれば、192kHzの13.1chサラウンドサウンドをヘッドフォンで楽しめる、世界で最も高音質な配信実験と言える。
大きな問題は無く、恐らく近い将来一般に配信が開始されるものと思う。
ちなみにMQA対応の機器が無くても、通常よりも高音質な視聴が楽しめる。
10月末にはevala氏のプロジェクトSee by Your Ears名義による5時間配信「See by Your Ears presents “Hacking Tone Streaming”」をRITTOR BASEからお届けしました。
evala氏が訪れた国内外でフィールド録音してきたアーカイブを、立体音響システムを介しRITTOR BASEに立体音場として再生成し、それをHPLバイノーラルプロセッシング配信するもの。
いわば5時間の世界旅行のようなライブとなった。
システムとしては、evala氏のPCからのすでにバイノーラル化された2chと、1次Ambisonicsの4chをRITTOR BASEの音響PCで受け、AmbisonicsはHPLによるバイノーラルプロセッシングを行い、ミックスするという単純なもの。
僕は配信ミックスをモニタリングしながら主に低域の調整を行い、シーンごとに異なる空間表現を最適なものにするよう心掛けていました。
5時間。
2020年はフィールド録音素材を扱うことが多かった。
SOUNDFIELD SPS200、RODE NT-SF1、この2機種のAmbisonics対応のマイクを素材別に使い分ける。
フィールド録音は楽しい
しかし難しい
感覚と技術とタイミング
それを再生成するのも楽しい。
11月
11月は2つの屋外サウンドインスタレーションに関わった。
一つはGINZA SIX屋上庭園にインストールされたevala氏の新作サウンドインスタレーション「Inter-Scape - Grass Calls」。
本当はそこには無い何かの気配を感じたり、熱帯雨林となったり、風のざわめきや虫の音など、時には自然に時には不自然に繰り広げられるパブリックサウンドアート。
鑑賞する時刻や天候によっても感じ方は変わる。
こちらは2021/2/23まで展示されていますので、是非実際に足を運んでみてください。
朝7時から夜23時までオープンしています。
そしてもう一つのインスタレーションは、現段階では詳しくは触れずに置こうと思います。
ただ、とても良い企画演出のイベントで音響システムとサウンド調整を行わせていただきました。
どちらも12月1日オープンだったので同時進行していたのですが、作品としては全く異なるもの。
どちらの作品も屋外用360度スピーカーが使われており、2つのメーカーの音をチェックすることができたので、今後の屋外インスタレーションの音響プランに役立つよい経験にもなった。
左： FreeSpace 360P Series II
右： JBL Control 85M
オンライン開催となったInterBEE。
INTER BEE EXPERIENCEの講演のみ参加。
蓮沼執太フィル、渋谷慶一郎、両ライブ配信の経験をもとに、「ライブ配信における先端バイノーラルサウンドメイク」と題した解説とデモを、両ライブの担当エンジニアである葛西敏彦氏と行った。
システムは両ライブと同じですが、SPS200マイクを2本使い、ステージに近い位置と遠い位置でどう作用するかも含め、具体的なミックスの解説と生演奏をその場でミックスするデモ試聴を行った貴重な講演。
これも、無観客ライブの対策にとどまらず、ライブに足を運べない人への音楽サービスとして必要と考えています。
その配信を聴いた人が、次は会場へと足を運ぶ。
そこへ向けてのサウンドメイクと考えています。
アーカイブは2021年2月26日まで視聴可能。
INTER BEE EXPERIENCE バイノーラルサウンド／立体音響を体験する(2)
12月
7月にインストールされていた企業エントランスでのサウンドインスタレーション。
森の中に8chキューブ配置のスピーカーシステムを設置し、天候によっても変わる森の音をエントランスに生成。
そこに”何かいる”気配が音だけで演出されています。
こうした企業エントランスのインストール案件も今後増えるかも知れません。
12月は他にも色々あったのですが、まだ公開できないものばかりなのでまたの機会に。
2020年は、配信ライブでヘッドフォン、公共空間、ノートPCのスピーカーなどの環境に対し、他では無い立体音場を高いレベルで実現できました。
詳しくは書けませんが、ステレオスピーカー再生において自分でも驚くほどの奥行きを実現出来た開発案件もありました。
そうした経験は2021年どこかで形にできたらと思っています。
2021年に向けて考えると
基礎=知る事をテーマにした立体音響ラボで、立体音響制作のためのツールに関して苦言を呈していますが、それを払拭するツールが発売。
NovoNotes 3DX
立体音場生成の基礎となる8chキューブ配置にも対応した3Dパンナー
Ambisonicsの録音源の特長を損なうことなくサラウンドスピーカーへとデコード
それらをヘッドフォンにおいても色付け無く生成するバイノーラルプロセッシング
立体音響制作の質を1段も2段も上げることが出来るプラグインに技術協力をしています。
様々な現場でのインストール、立体音響ラボ、プラグイン開発
それらを2021年以降実らせたいと思います。
最後に、2020年何度もお世話になったRITTOR BASE。
専属のテクニカルエンジニアか！ と言うくらい使わせていただきありがとうございました。
2021年もよろしくお願いします。