The rhythm we hear: sound, neural processing and perception

私たちが聞くリズム:音、脳内情報処理、知覚

脳は流れてくる音のリズムをどのように処理するのでしょうか?研究により、先行する音がリズム知覚に影響を与えることが明らかになりました。

The original English version of the interview can be found here.

リズムは私たちの言葉や音楽にとって不可欠です。しかし、私たちが聞いていると思っているリズムは、実際の音のリズムと異なることがあります。蓮尾絵美先生は、私たちの脳がどのようにリズム知覚に関する処理を行うか、そして先行する音は私たちが知覚するリズムにどのように影響するかを研究しています。

研究分野は何ですか?

私はリズム知覚と時間知覚の研究をしています。私たちは日常生活で言葉を使ってコミュニケーションを取っていますが、ご存知のとおり、音楽だけでなく音声においてもリズムは重要です。日本語では「ネコ」と「根っこ」、「おじさん」と「おじいさん」は違う意味になります。リズムが変わると意味が変わる言葉って結構あります。

リズムは音楽においても不可欠です。リズムの知覚は、1秒よりも短い数百ミリ秒の時間間隔の知覚に基づいています。したがって、私の研究対象は、非常に短い時間間隔の知覚です。多くの人は、演奏されるリズムと私たちが知覚するリズムが同じであると考えています。しかし、少し違う場合もあることが研究によってわかりました。

Prof Emi Hasuo at the Faculty of Design
物理的なリズムと知覚されるリズムが異なる場合があります。

ぜひご自身の耳でご体験ください。2つのデモがあります。各デモで「ピッ」という音が3回鳴ります。3回の音の間には2つの隣接する時間間隔があります。2つの時間間隔の長さが同じか異なるかを聞いてみてください。

1番目:

2番目:

最初のデモは明らかに非等間隔に聞こえましたが、2番目のデモはより等間隔に聞こえませんか?

物理的な (実際の)時間間隔を見ると、最初のデモでは、一つ目の時間間隔が二つ目の間隔より60ミリ秒長く、物理的に非等間隔でした。おそらく、そのように聞こえたのではないかと思います。2番目のデモは、最初のデモの音を単純に時間的に反転したものでした。したがって、物理的には2番目のデモも非等間隔で、二つ目の時間間隔は一つ目の間隔より60ミリ秒長くなっていました。不思議なことに、2番目のデモでは、物理的に非等間隔なリズムが、等間隔に近く聞こえます。言い換えれば、物理的なリズムは私たちが聞くリズムとはわずかに異なる時があります。

2つの隣接する時間間隔の長さが似ているため、その違いが聞こえないのではないかと感じるかもしれませんが、それだけではありません。それだけであれば、最初のデモも等間隔に聞こえるはずです。実際には等間隔ではないにもかかわらず、等間隔に聞こえるのは私たちの知覚の特性です。実際のリズムと私たちが聞いているリズムが異なるのは、私たちの脳が時間的な情報をそのように処理しているためです。おそらく、脳は言葉や音楽のリズムを処理するときにも、同じような処理を行うのでしょう。では、リズムを知覚する際に脳内でどのような処理を行っているのでしょうか。それを調べるため、実験心理学や神経生理学の手法を用いて研究を行っています。

デモは、以下の本を参考に蓮尾絵美が作成:
聴覚の文法 (2014) 中島、佐々木、上田、レメイン. コロナ出版.
(https://www.coronasha.co.jp/np/isbn/9784339013283/) 

このテーマに興味を持ったきっかけは何ですか?

最初からリズムの研究をするつもりではありませんでした。私が初めて研究というものに興味を持ったのは子供の頃でした。医師であり研究者でもある父の影響も大きかったと思います。幼い頃から、父は私と一緒に周りにある植物や動物などを観察し、その特徴や仕組みを教えてくれました。私は自然や生き物に興味を持ち、その仕組みに興味を持つ環境で育ったと言えます。

当初は研究者になることは考えておらず、高校と大学学部は、音楽を専門的に学べる学校で、ピアノ演奏の勉強をしていました。毎日ピアノを練習し、たくさんのレッスンを受けました。そういった経験を経て、同じ演奏でも人によって聴こえ方が違うのではないかと思うようになりました。たとえば、私のピアノの先生は非常に小さな違いを聴き分けることができました。非常に細かいことにも気づいてくれました。

弾いている本人にも聞こえていなかった違いも聴き分けるので、すごいと思いました。とてもよく訓練された耳を持っていらっしゃったのだと思います。このような経験をきっかけに、人間の聴覚に興味を持ちました。そこで、大学院の修士課程と博士課程の5年間は、九州大学に通い、聴覚心理学の勉強をしました。当時の指導教官の研究テーマの一つがリズム知覚でした。そうしてリズム知覚研究に出会ったのです。

リズム知覚や時間知覚に関するこの研究は、とてもきっちりしています。実験に用いる刺激は単純で、実験心理学の古典的な実験方法によく適合します。厳密に統制された実験から得られるデータは単純明快で非常に美しいものです。単純な実験から人間の知覚の本質に迫ることができるのがとても楽しくて、ずっと研究を続けています。

研究はどのように行うのですか?

Prof Emi Hasuo at the Faculty of Design
実験用の防音室の内部。

実験参加者に音を聴いてもらい、その音について何か回答をしてもらう、というような実験を行っています。当初、私の研究では、物理的に非常に単純な音を用いていました。基礎研究には適した音ですが、日常生活では聞くことのない、実験室のみで遭遇する音です。そこで、研究が進むにつれて、もう少し日常の音と結びつくような複雑な音を使い始め、基礎的な研究で得られた知見が、日常生活における私たちの知覚にどこまで当てはまるかを調べるようになりました。

これを一歩ずつ進めています。

最近は個人差にも興味があります。実験ではとてもシンプルな音を使っていますが、こんなシンプルな音でも人によって聞こえ方が違うようです。何がその違いを生み出しているのかを、今調べています。おそらく言語や音楽訓練など、これまでの聴覚経験によるものだと思いますが、このような研究結果が音楽教育や語学教育への応用につながることを期待しています。

音と音楽を理解する上で、神経科学と知覚はどのように重要ですか?

音楽も言葉も人間が発する音であり、コミュニケーションのために使われます。コミュニケーションを成立させるには音自体も重要ですが、それを受け取る人がいなければコミュニケーションは成立しません。したがって、音がそれを受け取る人にどのように聞こえるかは非常に重要な問題です。それを調べるのが、神経科学と知覚の研究です。

先生の最近の出版物は、この現象に対する私たちの理解をどのように深めますか?

私の2020年の論文 Certain non-isochronous sound trains are perceived as more isochronous when they start on beatでわかったことは、リズムが物理的に同じでも、異なって聞こえる場合があるということです。

Research equipment and juggling childcare
実験に使用される音は厳密に測定され、制御されます。

具体的には、物理的に少し非等間隔なリズムパターンを作り、そのリズムパターンの前に拍を感じさせる先行音を追加しました。我々が発見したのは、このリズムパターンは、拍によっては、等間隔に近いように聞こえることもあれば、明らかに非等間隔に聞こえることもあるということでした。つまり、物理的に同一のリズムが、先行する音によって異なるものに聞こえました。私たちはこの現象を今回の研究で初めて発見しました。このような現象は、実際の音楽にも存在すると思います。これは興味深いですし、脳の中で何が起こっているのかを調べるのが楽しみでもあります。

実際、この現象は、リズム知覚に関連する脳活動を調べるのに非常にありがたい面があります。リズム知覚に関する通常の神経科学実験では、実験参加者が何らかのリズムパターンを聞いている間の脳活動を記録します。この場合、記録される脳活動には、音の物理的特性の処理に関連する活動と、リズム知覚に関連する脳活動の両方が含まれることになります。つまり、今見えている脳活動が実際にリズム知覚を反映しているのか、それとも音自体に関する他の処理を反映しているのかを判断することは非常に困難です。

しかし、私たちの現象では、物理的なリズムのパターンを同じに保ちながら、知覚されるリズムを変えることができます。これにより、音の物理的性質に関連する活動とは別に、リズム知覚に関連する脳活動を捉えることが可能になります。これは、リズム知覚に関する神経科学研究にとって画期的な進歩につながる可能性があります。

今年の4月に着任し、現在は九州大学での研究を計画しています。同じ建物には聴覚心理学の先生が2名いて、防音室もいくつかあります。私もその先生方の防音室を一緒に使わせていただく予定です。脳の研究については、別の建物のブースを使用します。

あなたは九州大学で博士研究員(医学研究院と芸術工学研究院)の研究を経験し、カナダのラヴァル大学で心理学の博士研究員を経験しました。 カナダの大学の研究環境は日本と違いますか?

長年ポスドクとして働いてきましたが、どこにいてもポスドクの生活は同じだと思います。自分で実験を計画し、結果を分析して、結果を発表します。それはどこでも同じです。それがわかりうれしかったです。

言語の問題に関して言えば、ラヴァル大学はケベック州にあり、フランス語圏に属します。私はフランス語が全く話せないので、学生たちや研究室のみんなが楽しく英語で話してくれてとてもありがたかったです。日常生活では少し言葉の壁がありましたが、とても良い経験になりました。

もちろん、文化の違いもありました。たとえば、日本で実験を行う場合、実験参加者は通常、時間通りに到着します。数分遅刻することもありますが、カナダでは大胆に遅刻する実験参加者もいました。場合によっては2時間遅刻することもありましたが、それでも何とかなっている、自由さがよかったです。また、日本で研究していたらきっと出会うことのなかった(国籍、年齢、職業、専門分野などが異なる)さまざまな方々と仲良くなることができたのは、ケベック生活のいちばん大切な経験たったと思います。今でも交流を続けている方もおり、本当に親切な方々に恵まれたカナダ生活でした。

小さなお子さんがいらっしゃると伺いました。 親の責任と仕事のバランスをどのように取っていますか?

Research equipment and juggling childcare
先生のオフィスには子供が遊べるようにマットが敷かれています。前任者が残したダイヤル式電話で遊ぶそうです。

両立できている自信はありませんが、子供が健やかに育ってくれてこそ仕事が成り立つと個人的には思っています。大変な労力がかかるので、子供を優先しなければなりません。

前職では裁量労働制で働いていたので、子どもを早く保育園に迎えに行くことができました。今は夕方に授業があるので、夫に子守りと世話をお願いし、私は仕事に戻ります。春のガイダンスでは、子供を連れて参加したこともありました。そうすることができて幸せだと感じていますし、感謝しています。

夫の職場では勤務条件を柔軟に対応してもらえるのでとても感謝しています。子供が大きくなったら、もっと仕事に力を入れて同僚に恩返ししたいです。私の周りを見ていると、子育てと大学教員の仕事を両立させることは非常に難しいように思えます。それが可能であることを学生の皆さんにも示したいです。

サポートは非常に必要ですね。

Prof Emi Hasuo at the Faculty of Design
この春から九州大学で仕事をできることをうれしく思います。

はい、そうです。私たちだけではどうすることもできないので、社会の協力が得られればいいのですが。私の家族はここに引っ越してきたばかりなので、今、子供のためのルーティンを作っているところです。子供は徐々に新しい学校と生活に慣れてきています。今後、オフィスで仕事をする時間が増えると思いますが、今のところ、私は子供を預けず、夫婦で放課後の子供の世話をしています。

ポスドクの勤務環境が良くなく、博士号の取得を目指さない学生もいると聞きます。この仕事に就く前に、どのようにして課題を乗り越えてきましたか?

とても深刻な問題だと思います。全く課題を克服できた気がしません。幸運にも最終的にこの仕事に就くことができましたが、それまでには本当にたくさんのことがありました。私は8年前に結婚しましたが、当時は夫もまだ任期付研究者でした。基本的に私は夫についていったので、夫の仕事が変わったら一緒に働ける新しい仕事を探しました。私たちにとって一緒に暮らすことが重要です。

有期契約雇用の意味は、当然、短い契約ですから、常に次の仕事を探さなければません。次の公募がいつどこで出るか分からないので、常に応募していました。来年自分がどこにいるのかも分かりませんでした。応募できそうなものがあれば応募しましたが、夫とどこに住むかも分からず、色々と不安でした。

Prof Emi Hasuo at the Faculty of Design
年代を超えたビンテージ音響機器が多数あります。

仕事を見つけるのにとても苦労しました。非常勤の話をもらった場合でも、急に遠方へ引っ越さなくてはならなくなるかもしれない事情を説明し、場合によっては着任直前に断わる選択肢を与えてくれたところもありましたが、仕事を見つけるのは簡単ではありませんでした。

出産したとき、私は無給の研究者でしたし、産休もありませんでした。当然、子どもを預けることができなかったので、子どもの世話をしながら家で執筆することが多かったです。

その後、幸運にも日本学術振興会の産後復帰研究者支援制度のRPD研究員に採用されることができました。しかし、残念ながら、これも有期でした。パンデミックの影響で研究を中断せざるを得ず、2年間は無給でしたが、幸いな事にパンデミックの間もその身分を維持することができました。それも終わりに近づいたとき、ここ九州大学で助教の公募を見つけ、これが最後のチャンスだと思いました。このポジションを見つけられたのは非常に幸運でした。当時私たちは広島に住んでいました。夫が広島で仕事をしていたので、多くの方にご迷惑をおかけするかと思いましたが、本当に最後のチャンスと思い応募させていただきました。

このポジションに就けなかったら、別の道を歩むしかないと思っていました。本当に、本当に大変でした。ポスドクの状況は難しい問題であり、苦しんでいる人がたくさんいます。私は親切な先生方や同僚に恵まれ、助けて頂きながら、ポスドクとして研究を続けることができましたが、それほど幸運ではない人がたくさんいることを知っています。これは研究者個人の問題や責任ではなく、社会的な問題だと思います。

すぐに結果が出る研究は注目を集めますが、派手でなくても重要な研究もたくさんあります。一見地味に見える研究も大切です。私は社会がそのようにサポートしてくれる世界に住みたいと心から思っています。この問題について話していると、本当に苦しんでいる知り合いの研究者の顔が浮かびます。心の中には、たくさんの友人や同僚への思いがあります。世の中の価値観やサポート体制が変わることを願っています。

夫の職場は在宅勤務に理解があり、パンデミック後も労働条件の改善策を継続的に実施してくれました。現在は必要に応じて週に1、2回、広島の職場に通っています。そのおかげで私たちは家族として一緒に暮らすことができています。もし今この仕事に就けていなかったら、研究者としての道を諦め、他の選択肢を考え直すところでした。

あなたの研究はVision 2030 にどのように貢献しますか?

Vision 2030は、異なる研究分野を結びつけることで生まれる総合知によって、社会課題を解決することを目指しています。私の研究は、芸術としての音楽と、心理学や神経科学などの実証科学とを結びつけることによって、人間そのものについての理解を深めるものです。今後は個人差の分析を進めることで、一人ひとりに合った音環境の提案や支援に繋げていきたいと思っています。このような取り組みを通じて、持続可能な社会の発展と実現に貢献していきたいと考えています。

Vision 2030についてはこちら

蓮尾先生の研究についてはこちら.

蓮尾先生の論文: Hasuo, E., & Arao, H. (2020). Certain non-isochronous sound trains are perceived as more isochronous when they start on beat, Attention, Perception, & Psychophysics, 82(4), 1548–1557. https://doi.org/10.3758/s13414-019-01959-2.