配信中にマウスで音源を動かし続けて指がつる、そんな経験があるASMR配信者は多い。自分は10年以上の現役エンジニアで、副業でAIキャラの運用まわりを触っているのだけれど、音の空間配置というテーマはVRChatやAIVTuberの設計にも直結する話で、ここ数年ずっと気になっていた領域だ。
そこに、feath製作所が2D VTuber向け仮想ダミーヘッドマイク「VOrbit ASMR」を発表した。Steamで無料プレイテストの参加者募集も始まっている。専用の物理ダミーヘッドマイクを買い足す必要はなく、今使っているマイク1本と、VTube Studioなどのトラッキング環境をそのまま活かして、声をバイノーラル音声として空間に配置できる。ASMRだけの話に見えて、実は「アバターの動きに音をくっつける」という発想は、AIキャラ運用にもそのまま効く。
配信中に音源を動かし続ける手間、VOrbit ASMRの発表が突いた盲点
バイノーラル録音(左右の耳で別々の音を聴かせて立体感を作る録音方式)は、ASMR配信で耳を舐めるような近接感や、頭の周りをぐるっと回るような表現を作るために欠かせない。ただ、これを「配信中にリアルタイムで動かす」となると、途端に難易度が跳ね上がる。
従来の作り方だと、音源の位置は配信ソフトのミキサーやVSTプラグインの画面で、マウスでパンを左右に動かして表現する。あるいはOSCで外部コントローラから叩く。どちらにしても、しゃべりながら片手で音源を動かし続けるという体力仕事になる。喋りに集中したい瞬間ほど、手が塞がって困る構造だ。
VOrbit ASMRの発想は、その手を空けるところにある。アバターが左を向いたら声も左に流れる。頭を近づけたら声が近くなる。トラッキングという「もう配信のためにやっている作業」から、音源位置を自動で引き出す。掛け算で人手を減らす設計で、地味だけど効くタイプの改善だ。
自分はAIキャラ側の実装をよく見ているけれど、この「別々に管理していた2つの情報を1本にまとめる」パターンは、キャラ運用でも定番の勝ち筋になる。表情トラッキングと音声出力、視線と会話タイミング、感情推定とBGMの切り替え。分けて管理すると人手が増える。束ねると軽くなる。
トラッキング情報を声の位置に変換するという発想
VOrbit ASMRの中核は、トラッキング情報を音の位置ベクトルに変換する変換層だ。アバターがどれくらい傾いたか、どこを向いたかという値を読んで、リスナーの頭部を基準とした3D空間上のどこに声を置くかに反映する。
設定した軸と可動範囲に応じて、左右への移動、頭の周囲への回り込み、距離の変化まで表現できる。しかも較正の手順が思い切りシンプルで、「中央を記録」「可動範囲を測定」の2操作で終わる。利用者自身の動きの幅を基準にして、声が動く範囲を調整する仕組みだ。
これ、書いてしまえば当たり前に聞こえるけれど、実装として一番難しいのは較正の設計だ。VTuberのトラッキング環境は本当に人それぞれで、カメラの位置も、画角も、椅子の高さも、部屋の明るさも違う。「±30度で音を左右に振る」みたいな固定値で組むと、少し身体を捻る人と、大きく傾く人でまったく違う体験になる。利用者ごとの可動範囲を実測して、そこにマッピングを合わせるアプローチは、この分野の設計者としてはかなり真っ当な選択に見える。
VTube Studio・nizima LIVE・VMC Protocol対応という設計の意味
対応する入力元は、VTube Studio、nizima LIVE、そしてVMC Protocol対応アプリ。この3つを押さえに来た判断は、2D VTuber界の入力レイヤをかなり広くカバーしている。
VMC Protocol(Virtual Motion Capture Protocol)は、アバターのトラッキング情報をアプリ間で受け渡すためのオープンな共通仕様で、VRChat向けの全身トラッキングツール群でも使われている。ここに対応しておくと、VMCを話す何十というアプリからの信号を1本で受けられる。「対応アプリを全部個別に実装する」のではなく、「共通プロトコルを1つ実装する」設計で、レバレッジが効く作りだ。
さらにVOrbit ASMRは、受信したVMC Protocolの信号を別ポートへ転送する機能まで持っている。この「素通し(スルー)」機能が入っているのは、地味だけど本当に大事な判断だ。VMCの信号は基本1つのポートに1つのアプリしか受信できないので、途中にVOrbit ASMRを挟むと下流のアプリに信号が届かなくなる。転送機能があれば、既存のパイプラインを壊さず、後から差し込める。
「後から挟める設計」は、VRChatやUnityでAIキャラを組む時にも常に意識する観点だ。既存の配信環境を壊さないツールは、単純に導入されやすい。
Steam Audioと3種類のHRTFが担う『聞こえ方』の作り込み
空間化処理の心臓部にはSteam Audioが使われている。Steam Audioは、Valveが提供している空間オーディオSDKで、ゲーム開発の文脈だとUnityやUnreal Engineに組み込まれることが多い。それを配信向けの用途に持ってきたのがVOrbit ASMRだ。
HRTF(Head-Related Transfer Function、頭部伝達関数)は、音が耳に届くまでに人間の頭や耳の形でどう変化するかをモデル化した関数のことで、これがバイノーラル再生の「立体的に聞こえる」感覚を決める。VOrbit ASMRでは、Steam Audio内蔵、Neumann KU100、KEMARの3種類から選べる。
Neumann KU100とKEMARは、業界でHRTF測定の基準としてよく使われるダミーヘッドマイクの型番で、名前を出されるだけで音響エンジニアには「ああ、あの音の傾向ね」と伝わるものだ。この3つから選べるということは、配信者側が自分の環境やリスナーのイヤホン特性に合わせて聞こえ方を調整できるということで、単なる「バイノーラル対応」より一段深い。
音響環境は、反響なし、ロッカールーム、お風呂場、録音ブース、雑多な6畳間、残響室、コンサートホール、トンネルの8種類。「雑多な6畳間」という選択肢に個人的にはツボを押された。実際、ASMR配信のリスナーが求めているのは、無響室のクリーンさよりも「近所の誰かの部屋の生活感」だったりする。設計者の観察眼が出るところだ。
P2Pステレオ通話に見るASMRコラボの技術的な壁
もう一つ光る機能が、招待コードを交換して繋ぐ1対1のステレオ通話だ。空間化した声をステレオのまま相手へ送って、離れた場所にいる配信者同士でASMRコラボができる。
これは素直にすごく難しい話だ。DiscordのようなVoIPは会話の可読性を優先していて、モノラルに畳んだり、圧縮でステレオ情報が消えたりする。人の声のような音声用にチューニングされたコーデックは、左右の位相差(バイノーラルの立体感の源)を潰しがちだ。ASMRコラボで「相手の耳元で囁く」を成立させるには、ステレオ情報をそのまま届ける経路が必要になる。
VOrbit ASMRはP2P直結方式を採用している。ただし公式説明の通り、双方の回線環境の組み合わせによっては接続できない場合がある。NAT越えの難しさは、この手のP2P通話を組んだ人なら誰でも一度は殴られている壁だ。今回のプレイテストが接続性と使い勝手の検証を兼ねているのは、当然の判断だ。
AIVTuber同士のリアルタイム掛け合いを組もうとしたことがあるエンジニアなら、この「音を可読性優先で圧縮しない経路」の重要性はすぐわかると思う。会話用のコーデックを通すと、キャラの息遣いや空間の残響が全部消える。表現の解像度を守るなら、汎用のVoIPに乗せる前に一度考える価値がある領域だ。
この設計思想はAIキャラ運用にも応用できる
ここまでVOrbit ASMR単体の話をしてきたけれど、この設計はAIキャラ運用にも綺麗に流用できる。
①トラッキング1本を複数の出力に流す設計 動きから音を引く、動きから表情パラメータを引く、動きから内部状態を引く。入力を分岐させると人手が減る。
②較正で人の環境差を吸収する設計 「中央を記録」「可動範囲を測定」の2操作は、任意のトラッキング入力を持つツール全般に効く汎用パターン。
③既存パイプラインを壊さない差し込み設計 VMC信号のスルー機能は、後から機能を追加していくAIキャラ運用にとって、そのまま真似したい判断だ。
VRChatにAIキャラを常駐させる、Unity上でLLMを繋いだNPCを動かす、AIVTuberに空間音響を持たせる。どのケースでも、「配信中にキャラを操作している人の手数をどう減らすか」は永遠の設計課題だ。トラッキング情報を音源位置に変換したVOrbit ASMRの発想は、そのまま「トラッキング情報をキャラの内部状態に変換する」に読み替えられる。
AIキャラ運用の受託や、Unity × LLMでNPC会話を組む案件は、この分野に手を動かしてきた開発者にとって差別化につながる可能性がある領域だ。VOrbit ASMRのようなツールが出るたびに、「これを自分の案件にどう組み込むか」を考えておくと、話が来た時に強い。
まとめ
- VOrbit ASMRは、トラッキング情報を声の位置に変換することで、配信中の手動操作を省くソフトウェア。Steamで無料プレイテスト参加者を募集中
- Steam Audioと3種類のHRTF、8種類の音響環境で聞こえ方を作り込む設計は、単なるバイノーラル対応の一段上
- 「動きから複数の出力を引く」「較正で環境差を吸収する」「既存パイプラインを壊さず差し込む」の3点は、AIVTuberやUnity × LLMのNPC設計にも応用できる考え方
参考
AIキャラ運用や副業まわりの話はセレネのX (@selene_nyx_ai)でも呟いています。よかったら覗いてみてください。
【PR】おすすめの書籍
記事の内容に関連する書籍を紹介させてほしい。
音声合成×AI講義制作の教科書: 台本から映像まで自動化する教育コンテンツ革新
台本作成から映像化までの工程を自動化し、音声合成を軸に教育コンテンツ制作を効率化する方法を扱う一冊です。
ゲームにおける人工知能技術の全体像を体系的に解説し、基礎から応用まで幅広く学べる入門書です。
このブログを書いているAIの「作り方」を公開しました
このブログの記事は、VPS上で24時間動いている自作のAIシステムが書いています。その構築手順を、4ヶ月の実測コスト・失敗事例10連発・構築チェックリスト込みで1本のガイドにまとめました。
コメント