能楽の所作パターンの多様性とサービスロボットへの活用（2023年度より継続）
- 研究代表者：成田雅彦（東京都立産業技術大学院大学名誉教授）
- 研究分担者：中川幸子（青山学院大学情報メディアセンター助教）
- 研究協力者：鈴木昭二（ロボットサービスイニシアティブ（RSi）代表)
- 研究協力者：山中玲子（法政大学能楽研究所教授）
【研究目的】
本研究の背景は，サービスロボットの身体性を活かし，人と相互にメッセージをやりとりする最適な動作やしぐさの実現を目指し，日本の伝統的な舞台芸術の蓄積や知見をロボットで活用する手法を明らかにし，活用できる形態に再構築することである [1，5]．これにはロボット設計者の視点でしぐさ選択の根拠となる意味情報や良質で多様な表現が必要となる．これは演出家の視点にも近い．
2023 年度能楽国際・学際的研究拠点 共同研究では， 能の演目レベルで多様性をもたらす有望な要素として，詞章に由来の所作と舞の所作の割合，移動の所作の割合，所作の演技時間の3 つを特定し，「詞章の所作と舞の所作」の区分の有用性を確認した [3，4]．また，大規模展示会にてロボット，LiDAR (Laser Imaging Detection and Ranging)と統計処理を用いた検証 [2]により，能の所作をロボットに適用したときの注目度や，シカケ，ヒラキ，ミル（うなずき）など個々の所作や効果の違いや特徴を数値的に明らかにした(今後発表予定)．また，伝統的な舞台芸術に共通で使える振り・所作の生成システムの検討をすすめた．これは，与えられたテキストをもとに振りを生成し，ロボットやエージェントなどを動作させるものである．
本申請では，昨年度の結果を踏まえ，多様性を生み出す各種の仕組みを検証，多様な所作パターン（一連の所作の列）の獲得と，「舞の所作」として演じられる個々の所作の割り付けの仕組みを明らかにする．また，ミル（うなづき）など意志を表す所作と文脈の関係を検証する．これらを基に，ロボット分野向け所作の生成システム[3]の設計指針を得る． 本研究は，工業分野での活用を志向し，検証方法にロボットによる演技と一般観客の反応を用いている点に特徴がある．
参考文献（*2023年度の成果）
[1] (ジャーナルレター) 成田雅彦，中川幸子，サービスロボットの視点から連想モデルを用いた人形浄瑠璃の振りの体系化，日本ロボット学会誌 Vol． 40 No． 3， pp． 263 ~ 266， 2022
[2] (ジャーナルレター) 成田雅彦，”大規模展示会における浄瑠璃人形を参考にしたサービスロボットの集客効果と2D-LiDARを用いた測定”，2023年41巻9号 p．797-800，日本ロボット学会誌，2023
[3]* (紀要) 成田雅彦，林久志，”伝統舞台芸術の振りの分析とサービスロボット向けプラットフォーム構想”，Vol．17 pp．42-47東京都立産業技術大学院大学紀要，2024
[4]*(国際会議) Masahiko Narita，Sachiko Nakagawa，Yasufumi Takama，“Proposal on a choreographic systematization for Service Robots with Referencing Noh and Ningyo Joruri，Traditional Japanese Performing arts”, Proceedings of 15th IIAI International Congress on Advanced Applied Informatics December 11-13，2023，Bali，Indonesia，IIAI International Congress on Advanced Applied Informatics，2023
[5] (ジャーナル論文) Masahiko Narita，Sachiko Nakagawa，Development of OSONO，a service robot with reference to“Joruri puppet”, and its Choreography, International Institute of Applied Informatics, Vol. 1, No. 1, 48 ~ 62，2021
【2024年度 成果】
- [g-1] Masahiko Narita，“A Noh’s choreography generation rule and systematization for Service Robots”, Proceedings of 16th IIAI International Congress on Advanced Applied Informatics, July 6-12，2024，Takamatsu, Japan. DOI 10.1109/IIAI-AAI63651.2024.00071
- [g-2] 成田雅彦， ”大規模展示会における能を参考にしたサービスロボットを用いた振りの注目度の測定と舞の振りの生成ルールの導出の試み”，2E2-01，第42回日本ロボット学会学術講演会，大阪， 2024/9/5
- [g-3] 成田雅彦， ”伝統舞台芸術を参考にしたロボットの振りの分析・生成”， 1E6-02， 第25回計測自動制御学会 システムインテグレーション部門講演会，盛岡， 2024/12/18
- [g-4] 成田雅彦， ”能の所作をサービスロボットへ適用できるか”， 日本ロボット学会 ネットワークを利用したロボットサービス研究専門委員会 2023年度第3回研究会，東京， 2024/3/25
a. 目標
本研究の背景となる狙いは，サービスロボットの身体性を活かし，人と相互にメッセージをやりとりする最適な動作やしぐさの実現を目指し，日本の伝統的な舞台芸術の蓄積や知見をロボットで活用する手法を明らかにし，活用できる形態に再構築することである．前年度(23年度)の共同研究では,能の所作の集客性や，個々の所作や効果の違いを，ロボットを用いた実証実験により数値的に明らかにした．本研究の目標は申請時，「（前年度(23年度)の結果は），「舞の所作」として演じられる個々の所作の割り付け理由は明確でなく，多様性や効果の探究は十分ではない」とし，「舞の所作」を中心に個々の所作がどのような理由で割り付けられているのか，また，多様性や効果の観点で，定型舞，一連の所作の列である所作パターンの多様性を明らかにし，ロボット分野向け所作の割り付けシステムの設計指針を得る.」としていた．一方，申請後，23年度の実証実験(図1)の結果に新たな概念「局所注目度」を導入することで，非接触で短時間の動きの変化に対する観客の反応を検出できることを確認した．従って，この結果を拡張し，目標を，「観客の反応の視点で，定型舞，一連の所作の列である所作パターンの多様性を明らかにし，さらに，この手法を人に適用できるよう拡張し，実際の能の演技の個々の所作や効果の違いを数値的に明らかにする」と変更とした．成果は，以下のとおりである．
b. 振りの注目度の時間的変化の測定
2023年度では,大規模展示会に於いて能の所作を適用したロボットが観客にどう受け入れられるかを「注目度」を用いて所作や効果の細かい違いを検証したが[g-4]，2024年度では局所注目度という概念を導入し，短時間の振り（動き）の変化に対する訪問客の反応の検出ができることを明らかにした．図2は，シカケ，左右（左），左右（右），打込，開きで構成される所作パターンをロボットが演じた35秒の，訪問者の局所注目度の6.8秒毎の変化である．この所作パターンでは開始から局所注目度が上昇し，その後維持され，開きと共に低下することが読み取れる. 時間的な分解能を上げると個々の所作単元のなかの腕などの動きに対応して局所注目度が変化していることもわかる．[g-1,2,3]
c. 能の所作パターンの生成ルールの導出の試み
b.の振りの注目度の時間的変化の測定結果は，時間的に初め緊張感を盛り上げ，持続し，リラックスで終わるという制約を生成ルールと考えられる．これに，能に広く現れる所作を合わせると舞踊的所作パターンを含む典型的なパターンが生成できる．[g-1,2,3]
d. 観劇する観客の反応の計測と予備実験
b.の振りの注目度の時間的変化の測定は，大規模展示会において展示ブースに固定されたロボットに対して，ブース前を通りかかる訪問者が反応して位置が変化することに基づいている．一方，舞台芸術では，観客の位置が座席に固定されているので，新たな視点が必要になり，同時に，多くの観客を対象にできることや，匿名性を確保することが必要になる．この解として，観客の反応を頭部の動きを後方から観察することで測定できるのではと仮説を立て検証した．検証は，秩父人形サミット(2024/11/10)にて横瀬の人形芝居，出牛浄瑠璃人形，白久の串人形芝居を対象に実施した．頭部の動きの表現は様々だが，頭部の傾き（図3）に注目すると，(1)観客は人形に追随し，たとえば高く手を挙げると関心が集まり，リラックスする動きには関心が緩む，(2) 演技の見せ場では観客の頭部の傾きの分散が減少し関心が高まっていることがわかる，などこの指標が観客の細かい反応の検出に用いることができることが明らかになった．
e. 能舞を観る観客の反応の計測実験
d.の結果にもとづき，能の演技に対する観客の反応を非接触で取得・分析した．具体的には，3名の演者よる羽衣のキリ，海人の玉の段の仕舞を対象とし，10名を被験者で，2024/12/4に矢来能楽堂にて実証実験を行なった．結果，(1) 観客の頭部の傾きの変化は演者の動きによく追随し，さらに観客の傾きの分散が小さい時が演技で盛り上がりに対応し，リラックスする動きには，観客の動きのばらつきが大きくなるなど観客の注目度が演技に細かく反応していることがわかる．(2)ベテランの演者ほど，演技全体の注目度が高さや，注目度の強弱の幅の大さに相関が強いなど，演者の特質が現れているようにも見える．これらの成果は精査し論文化し発表する予定である．
f. 成果まとめ
(1)非接触・匿名性が高く，多くの観客の短時間の反応を獲得する汎用的な手法が得られた．これは，能だけでなく，人形浄瑠璃などの舞台技術を含め観客の反応を容易に客観的に測定でき，今後の研究に有意義である．
(2)上の手法を用いて，演技が観客にリアルタイムに伝わりどのように反応するかという実例が得られた．今後，本成果で得られた個々の所作の注目度や多様性の要素の組み合わせを用いた解明を試みる．また，より有効な方法，有効な活用方法など新たな視点も加えていく．
