今年は何と言っても配信に力が入ってた1年だった印象があります。
2020年にエンジニアの葛西敏彦さんと作り上げた、Ambisonicsと2MixのHPLバイノーラル化によるライブ感満載のサウンドメイクをブラッシュアップしていった1年でした。
2021年にその手法で行われた配信はこちら。
YAKUSHIMA TREASURE「YAKUSHIMA TREASURE ANOTHER LIVE from YAKUSHIMA」（屋久島）
蓮沼執太フィル「○→○」（オーチャードホール）
蓮沼執太フィル「浜離宮アンビエント」（浜離宮）
青葉市子「Windswept Adan」（オーチャードホール）
象眠舎「Live at Cotton Club」（Cotton Club）
この中で、唯一現場もサラウンドだったのが「YAKUSHIMA TREASURE ANOTHER LIVE from YAKUSHIMA」
蓮沼執太フィル「浜離宮アンビエント」（浜離宮）
青葉市子「Windswept Adan」（オーチャードホール）
象眠舎「Live at Cotton Club」（Cotton Club）
この中で、唯一現場もサラウンドだったのが「YAKUSHIMA TREASURE ANOTHER LIVE from YAKUSHIMA」
コムアイさんとオオルタイチさんのユニットYAKUSHIMA TREASUREのライブ収録を行うため、2020年12月（いきなり2020年を振り返ってしまうw）屋久島へ。
ライブと言っても観客が居るわけでは無く、屋久島のガジュマルの森で生演奏を一発録りし、それを後日最新のビジュアルエフェクトを施した新たなライブ映像体験を目指す作品として制作。期間限定で配信すると言うもの。
先に言ってしまうと、後日この作品は「カンヌ国際クリエイティビティ・フェスティバル」デジタルクラフト部門のブロンズを受賞することとなり、現在は受賞を記念して無料公開されています。
この作品でのポイントは2つ
まず屋久島ではライブとしての音響プランニングを行い、2019年のリキッドルームでのサラウンドライブをブラッシュアップした内容の音響システムをガジュマルの森に組みました。
スピーカーシステムとしては6ch（4chスクエア＋ハイト2ch）。
お二人のボーカルと生楽器をオンマイクで、ステージ寄りとFOH後方にA-formatマイクのSOUNDFIELD SPS200とRODE NT-SF1を設置し、オオルタイチさんのPCからのプレイバックを僕のPCで6chサラウンド化した音とMixしガジュマルの森に響かせた。
 |
| 上手く説明できない収録現場 - ガジュマルの森 |
音響チームは葛西敏彦さんを中心に、岡直人さん、馬場友美さん、そして僕。
何故わざわざ？ と思うかも知れませんが、そこは「ライブだから」です。
オオルタイチさんのPCから出力されるトラックはすべてステレオ素材なので、それをどの様なサラウンド表現で再生するかを現地に入ってから打ち合わせを行い、リハーサルまでの時間ホテルで一つ一つの音に対しての定位や動きの表現を考えました。
本番ではそれをリアルタイムでプロセッシングして音像移動のスピードやタイミングを操作しています。
何故わざわざ？ と思うかも知れませんが、そこは「ライブだから」です。
オオルタイチさんのPCから出力されるトラックはすべてステレオ素材なので、それをどの様なサラウンド表現で再生するかを現地に入ってから打ち合わせを行い、リハーサルまでの時間ホテルで一つ一つの音に対しての定位や動きの表現を考えました。
本番ではそれをリアルタイムでプロセッシングして音像移動のスピードやタイミングを操作しています。
ホテルでテストして現場で実践
そして2021年になってからスタジオで配信用のMix作業。
屋久島で6ch再生したサラウンドは、スタジオでMixし直すことはせずそのまま使い、空間を録った2本のA-formatマイクからのAmbisonicsは8chキューブへデコード。
それに楽器やボーカルなどのいわゆるステージMixの2chとバランスを整えてHPL化しました。
 |
| ProToolsからのプレイバックをBidule内でHPL化 6ch+Ambisonics+2Mix → HPL モニタリングは8chキューブスピーカー配置 |
スタジオでは、コムアイさん、オオルタイチさん、葛西さん、プロデューサーの黒瀬万里子さんと5人で、どの様な音に仕上げるかを何度も話し合いながら作業を進めました。
屋久島の音をそのまま臨場感ある形で再現しても、それは新たなライブ体験を目指す映像とかみ合わなくなってしまう。
2日間かけてかなり細かく詰めていった作品です。
しかし、新たなライブ映像体験という映像作品としての面を強くクローズアップしているため、音については十分に紹介してもらえなかったのが残念です。
通常のMVの様に完成した音楽作品に対する映像制作であれば、映像作品としてだけクローズアップして構わないと思いますが、この時は映像も音も総合的に新しいものとして一緒に制作しているので、音を殆ど取り上げないプロモーションスタンスには疑問を持っています。
音楽作品なのに。
蓮沼執太フィル、青葉市子、象眠舎の配信は、会場では通常通りのライブが行われ、配信はその臨場感を伝える鉄板方式となった、Ambisonics + 2Mix X HPLバイノーラルで行われました。
この方式、そう言えばちゃんと紹介していないですが、簡単に説明すると、音が良さそうな座席近くにA-formatマイクを設置し、ワンポイントで360度を記録するAmbisonicsからHPLバイノーラル化した音をメインとし、それに通常のステージ2MixをHPL化した音を少し足す、と言うもの。
それにより会場のライブ感、空気を配信で届けることができます。
蓮沼執太フィル「○→○」
※ヘッドフォンで
↑同じオーチャードホール↓
青葉市子「Windswept Adan」
※ヘッドフォンで
回を追うごとにノウハウが蓄積されたことで、比較的空間を作りやすい豊かな響きのホールだけでなく、象眠舎ライブの様に響きの少ないCotton Clubでも素晴らしい音場を作ることが出来るようになりました。
配信チームの体制も整ってきています。
また、象眠舎ライブでは初めてKORG社の高音質配信技術であるLive Extremeとタッグを組むことができたので、ロスレスでその空気感をリスナーに届けられたことはとても良い収穫となっています。
圧縮ではやはり空気感は削られてしまうので。
今後音楽配信はロスレスが増えると思うので、その時のHPLとの親和性は計り知れません。
こうした配信ライブの技術の話は、いずれ立体音響ラボか何かで詳しく話したいと思っています。
コンサートだけでなくライブパフォーマンスの配信もありました。
ELEVENPLAY x Rhizomatiks「border 2021」
evala「聴象発景 in Rittor Base - Live Performance ver」
borderは大掛かりでしたね。
会場にてWHILL（次世代型電動車椅子）に乗りHMDとヘッドフォンを装着した10人の体験者に向けてHPLバイノーラル。
会場全体をカバーするスピーカーからのサウンド。（WHILL搭乗者はヘッドフォンと会場PAの両方の音を聴く状態。両方が交わって一つのサウンドを作っている。）
そして生配信で体験する視聴者。
この3つ異なるサウンドをevalaさんが手掛け、WHILLとPAの会場の音の調整をevalaさんが、配信の音の調整を僕がしていました。
会場にてWHILL（次世代型電動車椅子）に乗りHMDとヘッドフォンを装着した10人の体験者に向けてHPLバイノーラル。
会場全体をカバーするスピーカーからのサウンド。（WHILL搭乗者はヘッドフォンと会場PAの両方の音を聴く状態。両方が交わって一つのサウンドを作っている。）
そして生配信で体験する視聴者。
この3つ異なるサウンドをevalaさんが手掛け、WHILLとPAの会場の音の調整をevalaさんが、配信の音の調整を僕がしていました。
ヘッドホンではHMDの映像と同期した音が再生され、会場のスピーカーからの音も合わさる事で完成された音楽となるので、ヘッドホンとスピーカーの間はシームレスな立体音場で境目はありません。
その辺りのevalaさんの調整は流石です。
そしてある1台のWHILLに乗る体験者視点と言う想定でMixされた音がHPLでバイノーラル配信されました。
その辺りのevalaさんの調整は流石です。
そしてある1台のWHILLに乗る体験者視点と言う想定でMixされた音がHPLでバイノーラル配信されました。
 |
| 会場のスピーカーEQ(左)/映像等との同期および配信制御(右) |
 |
| 生配信の音声を会場内で頻繁にチェック 気になるところがあれば調整 |
会場での仕込みとリハを重ねるごとに「それをするなら」と翌日はシステム構成を変更すると言うのを毎日繰り返していた記憶があります。
本番直前まで最善を探れると良いものができますね。
もっと色々出来そうです。
そしてPrix Ars Electronica の受賞を受けておなじみRITTOR BASEから生配信された「聴象発景 in Rittor Base - Live Performance ver」。
本番直前まで最善を探れると良いものができますね。
もっと色々出来そうです。
そしてPrix Ars Electronica の受賞を受けておなじみRITTOR BASEから生配信された「聴象発景 in Rittor Base - Live Performance ver」。
配信会場で8chキューブのスピーカーシステムを組み、その中でevalaさんがサウンドを聴きながら時折自身の動きをセンシングしたデータに同期した動的な音を織り交ぜる。
視聴者にはその音がHPLバイノーラル化されて届けられました。
 |
| VIVEトラッカーを操るevalaさん RITTOR BASEに組まれた茶室と万象園の写真が交わる配信映像より |
このセンシング部分、実は2回の配信の初回では行っていません。
初回配信後、翌日の2回目の配信に向けて、急遽evalaさんの手の位置と加速度をVIVEトラッカーを使ってセンシングし、そのデータをMaxで解析してNovoNotes 3DXの音像移動と音圧変化を制御するインタラクティブなプログラムを追加しています。
初回配信後、翌日の2回目の配信に向けて、急遽evalaさんの手の位置と加速度をVIVEトラッカーを使ってセンシングし、そのデータをMaxで解析してNovoNotes 3DXの音像移動と音圧変化を制御するインタラクティブなプログラムを追加しています。
Ambisonicsを活かした配信は、年中行っていて、RITTOR BASEからの立体音響ラボや、青葉市子さんのアダンの風アナログレコード鑑賞会、レコーディングを全配信したROTH BART BARON「ALL STREAMING PROJECT 2021」の第1部＝プリプロダクションパートのRITTOR BASEからの3日間などで、その現場の空気を届ける目的で使われています。
それにより視聴者も参加者としてその場に居る感覚が得られます。
Ambisonicsを放送で活かしているのは中京テレビ放送さん。
Ambisonicsのみならず様々な制作スタイルを試されており、HPLバイノーラルによる番組制作を数多く行っています。
実は立体音響に関しては先端な放送局。
大きな設備投資や番組制作予算が限られるからこその工夫があり、それがその時々で様々な手法による収録といった柔軟性を生み、立体音場の質ベースでフォーマット依存しない音作りに繋がっていると思っています。
夏には国内の現役トップスケーターによるアイススケートショー「THE ICE」愛知公演が、HPLバイノーラルによる配信と地上波で放送（副音声）されています。
実会場での公演にも2021年は多く参加することが出来ました。
ヌトミック＋細井美裕「波のような人」
渋谷慶一郎「Super Angels」（新国立劇場）
evala「Sea, See, She -まだ見ぬ君へ」（スパイラル）
細井美裕「(((|||」「Prologue feat.MACH2X」（EBiS303・第39回毎日ファッション大賞）
タイトルに「マルチチャンネルスピーカーと俳優のための演劇作品」とあるヌトミック＋細井美裕「波のような人」は、そのタイトルの捉え方でサウンドメイクも変わる難しい作品。正解はずっと見つからないのかも知れません。
エンジニアとしては十分にサポートできなかったので、次の機会を待ち望んでいます。
Miyu Hosoi YouTubeチャンネルより
巷で立体音響というワードを使ったライブや演劇があっても、上下方向の表現が無ければ僕はそう呼ばないですし、これまで関わった作品ではそうしてきました。
そしてついに新国立劇場のオペラで、立体音響を行うことになったのが「Super Angels」です。
 |
| Super Angels テクリハ？ |
オペラは初めてでした。
ヌトミックもそうですが、オペラもリハーサルで作り上げていく流れがあり、そうなると決まったそばからそれを実際に音にする。立体音響の場合、それを空間にどう存在させるかまでをすぐに決めることは難しい。
ヌトミックもそうですが、オペラもリハーサルで作り上げていく流れがあり、そうなると決まったそばからそれを実際に音にする。立体音響の場合、それを空間にどう存在させるかまでをすぐに決めることは難しい。
毎日持ち帰って考え、プログラムを作って翌日リハで確認する、を繰り返しました。
効率はめちゃくちゃ悪かったです。
特にオーケストラが入りすべての音が新国立劇場に響いたリハは2日間だけ。
その中で、作品にマッチする立体音場を作り込むのは不可能です。
効率はめちゃくちゃ悪かったです。
特にオーケストラが入りすべての音が新国立劇場に響いたリハは2日間だけ。
その中で、作品にマッチする立体音場を作り込むのは不可能です。
2日もある、と思うかもしれませんが、1シーンごとのリハは1日で2回通し程度。
つまり多くて1日2回しか同じ音を確認出来ないのです。
それでは最低限の立体音場しか作れません。（普通はそれも出来ないであろう）
つまり多くて1日2回しか同じ音を確認出来ないのです。
それでは最低限の立体音場しか作れません。（普通はそれも出来ないであろう）
それでも他には無い、滑らかでダイナミックな音像移動や空間表現を、経験値から作り出すことがなんとか出来ています。
オペラに新しいものを持ち込むなら、リハーサルの内容や進め方も新しいものにしないと少なくとも立体音響が作品に入り込むことは難しいと思います。
オペラに新しいものを持ち込むなら、リハーサルの内容や進め方も新しいものにしないと少なくとも立体音響が作品に入り込むことは難しいと思います。
 |
| MIDIコントローラーは シーンごとの音場の広がりや音像移動のスピードなどの制御に使用 |
3DXで立体音場を立体的に動かす（音声無し）
この公演で一番良かったのは新国立劇場の既存スピーカーシステム。
サラウンドメイクをするにあたり理想的な位置にスピーカーが設置されており、担当したサラウンドに関してはほぼ既設スピーカーのみで音場を実現しています。
例えば、シーリングのトップ➍、つまり真上だったり、シーリングのリアに2本あったり⓭⓮、それらを自由にアサインして使うことが出来ました。
特にシーリングリアのL/Rはサラウンドのメインとして使っていました。
 |
| Super Angelsのスピーカー配置(サラウンド用のみ) ➎➏スピーカー以外は新国立劇場の常設スピーカー |
僕はホールでLs/Rs➐～⓬の位置のスピーカーをあまり使いません。
そこから音を大きく出してしまうと、後方に座ったお客さんにはそのスピーカーからの音ばかり聴こえてしまうため、前方のステージを見ているのに後ろからの音を聴く、と言ったことが起きてしまいます。
なので、1階席、2階席、3階席、にそれぞれLs/Rsスピーカーは設置されていましたが、後ろの席で聴いてフロントのスピーカー群と合わさってサラウンド感がバランスよく得られる程度の少音量しか出していません。
その分シーリングリアをふんだんに使い、どの席からも体感出来るフロントボトムとフロントトップとシーリングリアを使ったサラウンドを多様していました。
そこから音を大きく出してしまうと、後方に座ったお客さんにはそのスピーカーからの音ばかり聴こえてしまうため、前方のステージを見ているのに後ろからの音を聴く、と言ったことが起きてしまいます。
なので、1階席、2階席、3階席、にそれぞれLs/Rsスピーカーは設置されていましたが、後ろの席で聴いてフロントのスピーカー群と合わさってサラウンド感がバランスよく得られる程度の少音量しか出していません。
その分シーリングリアをふんだんに使い、どの席からも体感出来るフロントボトムとフロントトップとシーリングリアを使ったサラウンドを多様していました。
例えば
➎→➊→➍→⓮といった音像移動
➎➏⓭⓮のスクエアと➊➋⓭⓮のスクエアとで作る空間の揺らぎ
など
もっと時間があれば（11日も通ったのにｗ）
やれることは多かったですね。課題です。
サウンド＆レコーディング・マガジン記事
渋谷慶一郎の新作オペラ「Super Angelsスーパーエンジェル」サウンド・プロダクションの裏側
立体音場の徹底的に作り上げているのがevala「Sea, See, She -まだ見ぬ君へ」です。
2020年1月の最初の公演から、映像も音響も暗闇も全てがブラッシュアップされた2021公演。
第24回文化庁メディア芸術祭のアート部門優秀賞を受けての公開です。
立体音場の徹底的に作り上げているのがevala「Sea, See, She -まだ見ぬ君へ」です。
2020年1月の最初の公演から、映像も音響も暗闇も全てがブラッシュアップされた2021公演。
第24回文化庁メディア芸術祭のアート部門優秀賞を受けての公開です。
 |
| 床全面パンチカーペットと後方も暗幕 この広さに約70席だけという贅沢空間 |
音響に関わる部分での2020年からの変更は、床全面パンチカーペットを敷き、後方にも暗幕を下げてスパイラル全体の吸音を増したこと。
それにより、劇的に音の立体的な明瞭度が向上しました。
その分音響調整も難しくはなりましたが、それも手中に収め、作品を大きくアップデートすることができました。
音の解像度と特に音の遠近に関しては、スパイラルの広さにあのスピーカー数で、ここまで表現できるのかと驚いたことでしょう。
それにより、劇的に音の立体的な明瞭度が向上しました。
その分音響調整も難しくはなりましたが、それも手中に収め、作品を大きくアップデートすることができました。
音の解像度と特に音の遠近に関しては、スパイラルの広さにあのスピーカー数で、ここまで表現できるのかと驚いたことでしょう。
 |
| この列の端2席で体感できる音場が他と少し違うことに関し その対策を考えている際に撮影した写真 |
再演決定！“耳で視る映画”evala/See by Your Ears『Sea, See, She - まだ見ぬ君へ』
細井美裕さんがコレクションムービーの音を担当するファッションブランドCFCLが、第39回毎日ファッション大賞の新人賞を受賞されたので、Dolby Atmosで制作した「(((|||」「Prologue feat.MACH2X」の2曲を表彰式にて上映することとなり、会場となったEBiS303のイベントホールにインストールしました。
細井美裕さんがコレクションムービーの音を担当するファッションブランドCFCLが、第39回毎日ファッション大賞の新人賞を受賞されたので、Dolby Atmosで制作した「(((|||」「Prologue feat.MACH2X」の2曲を表彰式にて上映することとなり、会場となったEBiS303のイベントホールにインストールしました。
この会場は約730平米とスパイラルの2倍以上の広さ。
同イベント内で兼用となるラインアレイのL/Rスピーカーをメインとして、会場所有のスピーカーをフロアレベルに4台、これをSide L/RとBack L/Rとして使用。
この会場にはシーリングを4分割するスピーカーが設置されており、Atmosのハイトchはそれらのスピーカーへ振り分けました。
同イベント内で兼用となるラインアレイのL/Rスピーカーをメインとして、会場所有のスピーカーをフロアレベルに4台、これをSide L/RとBack L/Rとして使用。
この会場にはシーリングを4分割するスピーカーが設置されており、Atmosのハイトchはそれらのスピーカーへ振り分けました。
「(((|||」のローを十二分に感じてもらうため、フロアレベルのスピーカー同様、サブウーファーを4台、客席を囲うように配置。
事前に葛西さんのスタジオで細井さん含め3人で音作りをしたため、本番当日の短い仕込み時間においてもとても良いサウンドをインストールできました。
その模様が分かる細井美裕さんのコラムはこちら
2022年はDolby Atmosのみならず、Sony 360RAと言った制作フォーマットにも関わっていきそうです。
まだまだあるのですが、もう振り返り疲れたので、最後にVRものを1つ紹介して終わろうと思います。
来年は1年まとめて振り返るのをやめ、その都度一つずつ解説したいと思っています。
第24回文化庁メディア芸術祭 エンターテインメント部門 新人賞
油原和記「Canaria」
まだまだあるのですが、もう振り返り疲れたので、最後にVRものを1つ紹介して終わろうと思います。
来年は1年まとめて振り返るのをやめ、その都度一つずつ解説したいと思っています。
第24回文化庁メディア芸術祭 エンターテインメント部門 新人賞
油原和記「Canaria」
以前、トクマルシューゴさんのVRミュージックビデオ「Canaria」は紹介したと思いますが、その360度アニメーションを制作された油原和記さんが新人賞を受賞。
そのメディア芸術祭の受賞展が9月末に日本科学未来館で行われ、HMDによる360度映像とHPLバイノーラルを使ったヘッドフォンによる360度音声のVRバージョンとして展示されました。
「Canaria」VR版を体験中の油原さん（音声無し）
もともと、YouTubeの360度動画用としてAmbisonicsで作られていたので、そのAmbisonicsの音場を体験者の角度情報を使い回転させ、HPLプロセッシングによるバイノーラルの360度音場として生成。YouTubeのそれと比べれば、立体音場、音質、すべてがアップグレードされたスペシャルバージョンです。
VRシステムバージョンのCanariaは以前から作りたかったので、油原さんが受賞された時にすぐ「VR版を展示しましょう！」と連絡して実現できたわけです。
さて、今回の2021年振り返りは、YAKUSHIMA TREASUREで始まりCanariaで締めることに。
この2つのVRミュージックが、自由度の高い音楽制作の活性化に繋がると嬉しいですね。
その他、今年も数多くの研究開発案件をエンターテインメント案件と並行して進めることができたことに感謝。
立体音響ラボも楽しかったです。
最後に、2021年は多くの受賞作品に関わることができた年でもあります。
関係者の皆様、お誘いいただきありがとうございました。
この2つのVRミュージックが、自由度の高い音楽制作の活性化に繋がると嬉しいですね。
その他、今年も数多くの研究開発案件をエンターテインメント案件と並行して進めることができたことに感謝。
立体音響ラボも楽しかったです。
最後に、2021年は多くの受賞作品に関わることができた年でもあります。
関係者の皆様、お誘いいただきありがとうございました。
以下2021年の受賞作品
Canne Lions 2021 Digital Craft部門 Bronze賞
YAKUSHIMA TREASURE
「YAKUSHIMA TREASURE ANOTHER LIVE from YAKUSHIMA」
STARTS Prize'21 Honorary Mention賞
ELEVENPLAY x Rhizomatiks
「border2021」
Prix Ars Electronica 2021 Digital Musics & Sound Art 部門 栄誉賞
evala
「聴象発景 in Rittor Base – HPL ver」
evala
「聴象発景 in Rittor Base – HPL ver」
第24回文化庁メディア芸術祭アート部門 優秀賞
evala
「インビジブル・シネマ Sea, See, Sheーまだ見ぬ君へ」
evala
「インビジブル・シネマ Sea, See, Sheーまだ見ぬ君へ」
第24回文化庁メディア芸術祭 エンターテインメント部門 新人賞
油原和記
「Canaria」
油原和記
「Canaria」
第27回日本プロ音楽録音賞 Immersive部門 最優秀賞
冨田勲/藤岡幸夫 指揮・関西フィルハーモニー管弦楽団
「冨田勲・源氏物語幻想交響絵巻 Orchestra recording version」(RME-0015)より「桜の季節、王宮の日々」
冨田勲/藤岡幸夫 指揮・関西フィルハーモニー管弦楽団
「冨田勲・源氏物語幻想交響絵巻 Orchestra recording version」(RME-0015)より「桜の季節、王宮の日々」
SynthaxJapan YouTubeチャンネル
冨田勲 源氏物語幻想交響絵巻 Orchestra Recording Version
藤岡幸夫 指揮・関西フィルハーモニー管弦楽団
特別先行試聴会ダイジェスト
※ヘッドフォンで