2023/09/13に東京都内で開催された第28回日本バーチャルリアリティ学会年次大会（以下，「VRSJ AC 2023」）において，0-9studioはアコースティック・デジタルシンセサイザー/インタフェース『0-9studio Save』（以下「Save」という）の試奏機を出展しました．
Saveを出展した主な目的は，Save試奏機の展示を通じて，普段と異なる環境でも想定した通り機能するか，来場者の方々に楽器として気に入ってもらえるか，説明をしなくても無事に使ってもらえるか，等を確認することでした．VRSJ AC 2023 では，Saveの試奏機出展に加えて，予稿論文に基づく口頭発表，ポスター発表も行いました．大会の参加を通じてお世話になった VRSJ AC 2023 関係者各位，来場者の皆様に御礼申し上げます．貴重な機会をありがとうございました．
環境音を制御する「環境音源」方式のシンセサイザー/インタフェース
Saveの特徴は，［オシレーター，サンプラーなどの電子音源は，過去の電子信号を線形または単方向的に発信する技術であるのに対し，］現在の環境との間で双方向的（インタラクティブ）に働きながら，環境音を意図する成分に近似する楽音，雑音，噪音，等へと制御する点にあります．それによりSaveは，現在から未来に向かって生じる環境の経時変化に応じて動的に成分が変動するユニークな演奏音を発現させる楽器・聴覚インタフェース（楽音コントローラ；聴覚制御器），つまり環境音制御技術，として機能します．したがってSaveは，正確には，音声の合成（synthesis）をするというより，ある環境音を意図する成分へ近似する音声へとリアルタイムに制御（regulate）する楽器と考えられます．Saveは，このような環境音制御原理に基づき環境との間で双方向的に働きながら，そのキャリブレーションやパラメータ設定次第で既存のアコースティック楽器と同等またはそれ以上に動的に，ある環境音から意図する成分に近似する楽音，雑音，噪音，等を発現させることができます．演奏者はこのようなSaveの「楽音＝環境音」をキーボードを通じてピアノのように演奏できます．また，ノブ・スライダーを通じてシンセサイザーのように音作りもできます．今後は，さまざまなデジタル表現やデジタル機器への応用も考えられます．将来的な展開として，未来の環境の行動を予言して，その行動に起因する環境音を制御するという種の作曲を行うことも考えられます．
Saveの設営とフィードバック
Saveの試奏機（デモ機）は，今日2種類あります．ひとつ目の構成はラップトップコンピュータのキーボード，スピーカ，マイクを応用してシンセサイザーのように試奏できるようにした簡易版です．二つ目の構成は，音楽用機材を用いたハイエンド版で実質的に開発機と同等かそれに準ずる機能を有します．今回出展したSaveは，出展時点におけるハイエンド版でした．
搬入設営には搬入開始時刻からおよそ2-3時間かかりました．その主な理由として（1）全ての機材設置を完了後にアコースティック楽器のチューニングのように出音を調節するキャリブレーション作業が必要だったこと，（2）ケーブル，タペストリー幕，マイク，スピーカー，オーディオインタフェース，コンピュータ，ケーブル類，など様々な機材を扱うハイエンド版の展示だったこと，（3）各種機材の大小の梱包物の開封，梱包及び清掃を行う必要があったことを考えられました．特に（1）キャリブレーションについては，アコースティック楽器のチューニングのようにきりがない側面もありつつも，疎かにはできない繊細な作業で一定の時間を要します．現実的には実際のところSaveの演奏前には毎回，一定の時間を確実に設けてキャリブレーション用にある程度の時間を充てるか，限られた時間内で雑なチューニングをして諦めて見切り発車的な演奏を行うか，どちらかを選択しなければなりません．その意味でも，Saveはアコースティック楽器的な電子楽器です．
展示案内中は，おおむね絶え間なく様々な方に体験してしていただき，予想外なものも含め数多くの知見を得られました．試奏してくださった皆様に感謝いたします．一例だけ上げると，音楽の演奏とは原因から結果が生じる単一因果（「表現者の決定→聴衆」という種の単方向性）に基づかなければならない，チャンス（偶然性）が介在したり双方向的な音楽など楽理的にあってはならない，という種のご批判（*）を受けることはほぼ全くありませんでした．とはいえ，Saveは「環境/環境音の形態/成分をリアルタイムに制御する表現を提案するための楽器である」という点を，もっとスムーズにご案内することも今後の課題かなと思われました．総じて，「聴覚（音楽）インタフェースの出展者の方色々といらっしゃって，マルチモーダル（クロスモーダル）インタフェース的な観点の研究もあるようなのに，聴覚インタフェースの存在感が薄い気がする…」と一出展者として勝手に嘆いていた側面もありましたが，さまざまな人工現実感技術や多感覚などの観点からSaveという一風変わった楽器（聴覚制御器）を先入観なく楽しんでいただけたという面では非常に喜ばしく感じられました．ありがとうございました．
解体搬出には，およそ1‐2時間ほどかかりました．
* 音楽系の背景が強い演奏会場や展示場あるいは学会に行くと，実際に経験したことがあるのですが，「音楽とは○○であるべき」論的なご批判を受けることがありえます．今回の体験者の方の一部にも，楽器は「奏者の決定→聴衆」という単一因果に基づき演奏者の意図通りに正確な音が出るべき，というお考えをお持ちなのかなという反応の方もいなくはありませんでした．もちろんこれまで多くの場合，音楽や楽器はそのような自由意志が存在するという直感的現実（intuitive reality on free will）に基づいて構成又は設計されてきたため，当然の反応とも考えられます．対して0-9studio Saveは，自由意志についての［直感的現実をいたずらに批判するつもりは全くありませんが］パラドックスのような反直感的現実（counter-intuitive reality on free will）を示唆する楽器であると考えられるかもしれません．
よく聞かれた質問と回答（FAQ）
- Q1 どのような仕組みで音が出るのですか？
- A1 環境音がリアルタイムに意図する波形（成分）に近似する波形（成分）へと制御されています．
- Q2 環境音が思ったより聞こえにくく反映されていない気がします．
- A2 環境音（環境行動の音）だけでなく，様々なパラメーターの構成から影響を受けて合成音の成分が生じます．例えば，入力音のゲインを増幅すると入力音元来の成分が合成音へと反映され，聞き取りやすくなります．その他に，合成音の周波数・振幅の変動量を調節してゆらぎ幅を広げても，入力音元来の成分が合成音へと反映され，聞き取りやすくなります．もちろん，これらは制御の一例です．また一般論のため，あらゆる利用条件において常に有効であることをお約束するものでもありません．
- Q3 芸術的・技術的に，どのような系譜や系列に属する，あるいはどのような潮流の中で進化したと考えられますか？
- A3 「環境とSaveとの間の音を媒体とする双方向的（連続的；相互作用的）働きに基づいて，環境音を意図する成分に近似する合成音へ変換する」という技術原理については，アコースティック楽器や電話機といった音声通信技術に親和性を有すると考えられるかもしれません．いわゆるオシレーター（発振子）やサンプラーといった電子音源は，「電子的に信号を一方的に生成・再生する単方向的（一方向的；単一因果的）働きに基づいて，意図通りの音声信号を生成する」技術のため，技術として両者は代替可能性を有するにもかかわらず，原理的には対照的です．とはいえ公平にみて，「アコースティック楽器とデジタル楽器とのハイブリッド技術による楽器またはインタフェース」というのが，現時点でのSaveへの妥当な分析かもしれません．
- Q4 なんの役に立つのですか？例えば西洋音楽は「作曲家から聴衆へ」という単一因果に基づいて発達してきました．
- A4 Saveは環境音を制御する楽器・インタフェースであり，「非単一因果（双方向性；連続性；相互作用）に基づく新たな音楽文化の創作，発展，進化」に寄与します．不確定性を演奏する，あるいは非決定論に対峙するような，真理や芸術について懐疑的・前衛的・現代的な視点を有する表現者の皆様へ寄与します．0-9studioや0-9studio Saveは，インタラクティブアート含む科学や芸術の研究から生まれたもので，その由縁や発起趣意の一部はこの点にあります。もちろん，古典的表現者の皆様へも寄与しますし，そのための改良や機能の導入もおこなっています．音楽文化全体へ寄与できれば幸いです．
- Q5 楽理的にどのような意義があるのですか？
- A5 大げさな表現は差し控えますが，有理数以外の値（無理数）を扱う表現に適しているかもしれません．その他に，「環境/環境音が意図する形態/音声成分へと制御される」ことを予言する表現，システム，楽器，音楽，家電，ガジェット，玩具，ゲーム，エンタテインメント，等への応用を考えられます．もちろん上述の通り「表現者から聴衆へ」というような古典的な舞台芸術等への応用も考えられます．
Post by @0_9studioView on Threads
今後の課題・展望
反省点又は改良点としては，（1）キャリブレーションに関して0-9studioプライベートスタジオの調整に慣れておりダイナミックマイクのプリアンプのゲインを上げるのを最後まで失念していたこと，（2）人に応じて解説内容が良くも悪くも即興的でまばらだったこと，（3）ハイエンド展示の搬出入の効率化，などを考えられました．今後は，スタジオのような静かな環境を除き，マイクゲインを適度に上げなければなりません．解説については，予稿論文にある種の開発背景や先行技術に関する最低限の解説は機械的に行ってもいいかもしれません．例えば「古代シアターにおける音楽とは？；現代における芸術や科学とは？；今日における作曲家や演奏家とは？；21世紀の今日0-9studioが提案するものとは？；入力音増幅による環境音に基づく雑音発現デモ；ゆらぎ幅制御による合成音の変動量の変更デモ；ADSRその他エフェクトを利用した音作り；サブオシレーターの応用と比較」という解説など．技術改良については，今回の展示を通じて得られた知見をフィードバックとして推進予定です．
投稿者: @0_9studioThreadsで見る
今後の展望に関し，Saveのデモやモニター利用については，ラップトップ1台で可能なラップトップ版Save（簡易版），または今回のVRSJ AC 2023展示物に類するSave（ハイエンド版）のデモやモニター利用の実施提案を推進予定です．Save関連技術ライセンスについては，（1）作曲や録音（レコード）の作成，（2）電動車両等インタラクティブシステムへの導入，（3）電子楽器の音源への応用，等のいずれかへ応用していただける，ライセンシー様探しを推進予定です．共同研究については，技術原理的にアコースティック楽器のようにユニーク又は自然な楽音を発現させるSaveの特徴を活かす（1）作曲，（2）演奏，（3）鑑賞（現実や行動の誘発），等へむけた共同研究提案を推進予定です．Saveの特徴を活かしたユニークな聴覚系課題やその他課題の解決についても，随時推進予定です．
今後も0-9studioへのご指導ご鞭撻をどうぞよろしくお願いいたします．
リンク
環境音を楽音として制御するMIDIキーボード楽器（予稿論文）｜ https://conference.vrsj.org/ac2023/program/doc/2D2-09.pdf
第28回バーチャルリアリティ学会大会｜ https://conference.vrsj.org/ac2023/index.html
用語集
特定非営利活動法人日本バーチャルリアリティ学会（The Virtual Reality Society of Japan）｜バーチャルリアリティに関連する技術と文化に対する貢献を目的として平成8年5月27日に設立された学会です．学会誌，論文誌の発行；email等ネットワークを用いた情報発信；大会（学術講演会），VR文化フォーラム，講習会などの主催；「人工現実感」研究会，学生バーチャルリアリティコンテストなどの共催；海外との協力の推進 国際会議(ICAT, IEEE-VR等)の開催等；研究委員会の設置などの活動を行なっています．
0-9studio（ゼロナインスタジオ）｜環境/環境音の制御に関する研究開発所として特許等知財の取得管理，技術ライセンス，シンセサイザーの製造販売を行っています．取り扱う製品は，インタラクティブアート，インタフェースデザイン，コンピューターミュージック，前衛芸術，global art history，VR，AI，文化性（culturality），等に関連しています．
環境音源｜環境音（シアター，観客，等から生じる音）の入力，変換，出力を繰り返しながら，任意の成分に近似するアコースティック・フィードバックループを発現させる原理の環境音制御技術です．環境が音源のため，現在の環境⾳による合成⾳の変調「環境変調」（仮称）を可能にします．環境/環境音が意図する形態/音声成分へ変換されることを予言する表現，システム，楽器，音楽，家電，ガジェット，玩具，ゲーム，エンタテインメント，等への応用を考えられます．もちろん「表現者から聴衆へ」というような伝統的な単一因果に基づく舞台芸術等への応用も考えられます．
0-9studio Save（ゼロナインスタジオ・セーブ）｜環境音源に音作りや演奏のためのインタフェース（ピアノのように演奏するためのキーボード；音声制御のためのパラメータ・エフェクトを調節するノブ・スライダー）を加えました．既存のアナログ音源，デジタル音源，又はバーチャルアナログ音源とも異なる，世界初の環境音源方式のデジタル楽器です．ピアノやオルガンのように演奏するだけでなく，現在の環境音の成分を楽音，雑音，噪音，等へと変換して表現する可能性が広がります．
お問い合わせ｜https://0-9.one/contact （ホームページお問合せ欄）または hi [at] 0-9.one （電子メール）からお問合せください．
