五感情報通信技術に関する調査研究会 報 告 書 ( 総務省 ) 平成12年11月 実際に人間がどのように五感情報を脳内で知覚しているかという生理学・心理学的な面での解明が非常に難解であることはもちろんであるが、これらの成果を部分的であるにせよ、五感情報のセンシングや再生を支える工学的技術に応用していこうというプラグマティズムが今求められているのではあるまいか。 はじめに 第1章 五感情報通信とは........... 1 1−1 より自然なコミュニケーションを目指して.......... 1 1−1−1 自然なコミュニケーション ........... 1 1−1−2 本研究会の目的と検討事項 .......... 1 1−2 五感情報通信とは ........... 2 1−2−1 五感とは ........ 2 1−2−2 情報通信の観点からみた五感の特性
.................. 3 1−3 五感情報通信に関連する技術開発の歴史 ......... 6 1−4 五感情報通信の今後に向けて......12 第2章 研究開発の現状....13 2−1 概要 .....................13 2−1−1 脳からみた五感情報通信とは .............13 2−1−2 脳における感覚情報処理 ......14 2−1−3 科学感覚(味覚、嗅覚)情報の重要性
.................23 2−1−4 情報通信技術 ...............25 2−2 視覚 ..................30 2−2−1 生理学・心理学・その他 ..............30 2−2−2 情報通信技術 ................31 2−2−3 他感覚との融合 .......36 2−3 聴覚 ................37 2−3−1 聴覚の仕事 ............37 2−3−2 音メディアを扱う情報通信技術の動向
................38 2−3−3 聴覚生理学・心理学の動向 ............40 2−3−4 聴覚と他の感覚との相互作用............43 2−3−5 まとめ .................45 2−4 味覚 ..................47 2−4−1 はじめに ............47 2−4−2 味覚の総論 ............48 2−4−3 味覚の各論−主として神経・中枢での情報処理・生理
.............51 2−5 嗅覚 .................60 2−5−1 生理学・心理学 .............60 2−5−2 匂いの通信 .............65 2−6 触覚 ............69 2−6−1 生理学・心理学・その他 .............69 2−6−2 情報通信技術 ...............73 2−7 感覚間の相互作用 ..................83 2−7−1 間接知覚論での相互作用 ...............83 2−7−2 直接知覚論とその枠組みでの相互作用の議論 ..........84 2−8 海外における研究開発動向 .................98 第3章 五感情報通信の実現イメージ ...... 100 3−1 五感情報通信に対するニーズ ...... 100 3−2 五感情報通信の実現イメージ ..................
102 3−2−1 五感情報通信の類型化 .......... 102 3−2−2 具体的な実現イメージ ......... 110 第4章 今後の研究課題と目標 .......... 115 4−1 五感情報通信技術の技術開発ロードマップ ......... 115 4−2 五感情報通信の実現に向けた個別要素の研究課題
............... 118 4−2−1 工学的アプローチ ......... 118 4−2−2 生理学・心理学的アプローチ....... 119 4−3 五感情報通信によるコミュニケーションの実現に向けた研究課題 ....
119 4−3−1 短・中期的な研究課題 ............. 120 4−3−2 中・長期的な研究課題 ............. 121 4−4 研究開発の推進方策 .............. 122 4−4−1 研究開発推進のための考え方 .......... 122 4−4−2 研究開発推進のために各研究セクタに期待される役割
............ 122 4−4−3 研究開発体制 .............. 124 4−4−4 効果的研究推進のために留意すべき事項 ...... 128 付 録 ............. 129 1.五感情報通信に関連する基礎研究・技術開発の歴史(詳細版)......
131 2.海外における研究動向........... 141 3.国内における研究動向 .................. 145 4.調査研究会開催要綱等 ............. 155 5.調査研究会検討経過 ............. 159 |
第1章 五感情報通信とは 1−1 より自然なコミュニケーションを目指して 1−1−1 自然なコミュニケーション 人間は、対面コミュニケーションの場面で、眼や耳だけでなく、自らの有する全ての感覚器を用いることにより、相手との情報交換を図っている。その際に、それぞれの感覚器で獲得された情報が脳機能により統合され、現実感が育まれる。ところで、近年、社会・経済・生活場面での情報通信の役割が増大しつつあり、遠隔地間におけるコミュニケーションをリアルタイムでかつ、対面コミュニケーションと差異の無い環境を提供する技術開発が活発になっている。 情報通信技術の進展と社会への浸透、および今後の自然なコミュニケーションに関して俯瞰(ふかん)すると、視覚情報と聴覚情報に、嗅覚情報、触覚情報、味覚情報、その他深部感覚情報や平衡感覚情報を加えた五感情報を統合的に通信に利用することが必要である。五感情報の統合的な利用が、対面コミュニケーションにきわめて近い、より自然なコミュニケーションを遠隔地間でも行うことを可能とする ・ 我が国が取り組むべき研究開発課題と研究開発の推進方策 |
1−2 五感情報通信とは 1−2−1 五感とは 本報告書においては、五感を情報通信の対象と捉え、五感情報通信について検討する。五感を情報通信の対象と捉える場合、センシングした五感に係わる情報を符号化し、符号化された情報を通信路により伝達を行い、再現デバイスが符号化された情報を再現する。そのため、センシング技術および再現技術に関する技術開発が必須である。さらには、センシングおよび再生を適切に行うためには、それらについて人間のメカニズムを明らかにすることが重要であり、脳内処理を解明する必要がある。 私の感想・・・人間のメカニズムを解明するというのは、人間の五感を符号化、それを送信、パソコンで再現すると言う意味だろうか?。催眠術だって、自分の意志で「催眠にかかりたい」欲求と、「催眠に絶対にかからないぞ」という反発で結果が違ってくる。脳内処理の解明が、人間の「こころ」の働きまでも変えることは不可能じゃないかと思うのだが・・ |
1−3 五感情報通信に関連する技術開発の歴史 五感情報通信に関連する技術開発は、19 世紀初頭から行われた。19 世紀初頭に、ヤングにより色の三原色説が唱えられ、視覚機構の解明の端緒となった。19 世紀には、電話、電信、無線電信、蓄音機等今日の情報通信技術の基礎となっている技術が発明された他、脳において運動野や言語野が発見されるなど、生理学の基盤が確立された。20
世紀前半には、ラジオやテレビが実用化され、真空管や電子複写機が発明された。 1−4 五感情報通信の今後に向けて 人間は、常に全ての感覚を通して獲得される情報の中で生きている。感覚には、視覚、聴覚をはじめとして、多くの種類があり、それらを介する情報の統合化が日常的に行われている。一方、情報通信技術においては、現在まで、実現の技術的難度が比較的低いという主たる理由により、視覚と聴覚に訴える技術開発が主流であった。テレビ、ラジオ等の放送、電話やテレビ電話等の通信、電子メールやストリーミングといった情報技術に立脚した通信のいずれにおいても、訴えかける感覚は、視覚と聴覚に偏向していた。
|
2−1−2 脳における感覚情報処理 (1) 感覚の種類と符号化 五感情報通信では、生体が受容する感覚情報を総合的に通信伝達しようとするものであり、生体が受容する感覚情報を知ることはその第一歩である。表2−1に示してあるように、感覚は、それを受容する感覚受容器の存在部位により、特殊感覚と一般感覚に分類され、一般感覚はさらに体性感覚と内蔵感覚に分類される。特殊感覚は、視覚、聴覚、嗅覚、味覚、および平衡感覚に、体性感覚は、さらに皮膚感覚と深部感覚に分類される。これら感覚の種類を感覚種とよぶ。 生体の内外の感覚情報を受容する感覚機能は、生体が外界環境に反応し、生体内の内部環境の恒常性を維持していくために必要不可欠の機能である。とくに五感(味覚、嗅覚、皮膚感覚、視覚、聴覚)はわれわれが姿勢を正しく持ち健康を維持し安全に活動する上で重要な感覚である。皮膚感覚のうち触覚は物理的刺激である圧力や振動等の変化に対応する感覚であり機械的感覚(Mechanical senses)とも呼ばれる。
|
(3) 脳における感覚の情報処理 一般的に、感覚システムは、感覚器官
→ 皮質下中継核 → 大脳皮質第一次感覚野 → 単一種感覚連合野 →多種感覚連合野 → 超感覚性皮質、大脳辺縁系という経路をとる(図2−1)。 視覚経路では、さらに背側路と腹側路に分かれ、それぞれ視空間情報と物体情報処理に関与している。それに伴いニューロンの応答特性も変化し、大脳皮質第一次視覚野(17 野)には網膜の特定の位置に投影された線分の傾きや運動方向に対して選択的に応答するニューロン(特徴抽出ニューロン)が存在するが、腹側路の視覚連合野である下側頭皮質のニューロンは、様々な図形パターンやヒトの顔など特定の視覚パターンに応答する。 これら各感覚連合野からの情報は、多感覚連合野(上側頭溝皮質など)、さらには超感覚皮質(頭頂葉後部皮質や前頭連合野など)および大脳辺縁系に統合される。超感覚皮質は、特定の感覚情報によらない空間や言語などの概念的情報処理や、それらの結果に基づいた意志決定や行動出力の形成に関係している。例えば、空間概念は、視覚、、聴覚、および体性感覚のいずれからでも形成可能であり、特定の感覚に依存しない概念である。 一方、大脳辺縁系(扁桃体や海馬体など)にもすべての感覚情報が収束しており、扁桃体では入力された感覚情報の快・不快などの生物学的価値評価に、海馬体ではこれらすべての感覚情報を記憶情報に符号化することに関係している。五感情報通信では感覚間の相互作用による包括的情報通信を目指しているが、そのような相互作用が生じるのは感覚情報が収束している多感覚連合野、超感覚連合野および大脳辺縁系-視床下部であると考えられる 私の感想・・・人間はストレスが強すぎると満腹中枢がやられて、食べても食べても、満足感がない。何か口寂しい。俗にいう妬け食いである。体に悪い。むしろ、心配事があるときは、食べないほうが健康的である。逆に激やせも節食中枢の破壊である。い五感の総動員が関与しているということか。 (4) 学習、記憶と認知機能 大脳皮質は、単に感覚情報を処理するだけでなく、活動依存性自己組織化(ニューロンが活動することによりシナプス神経回路をニューロン自身が形成していくこと)による学習・記憶に重要な役割を果している。すなわち、脳内の感覚情報処理経路は、この処理経路自体が感覚入力により興奮することから、これをそのまま活動依存性自己組織化に基づく学習・記憶の神経回路とみなすことができる。 たものであることを考えると、一種の記憶障害として捉えることができる。 このように、脳の認知機能は学習・記憶機能と表裏一体の機能である。最近の非侵襲的脳機能検査法を用いた研究によると、特定の画像を被験者に繰り返し呈示して被験者がその画像に慣れ親しんでくるにしたがい、その画像に反応する脳の領域が拡大してくることが報告されている。五感情報通信だけでなく一般に人為的に感覚刺激を呈示する場合には、脳の特性をよく理解し、脳に対する影響を考慮する必要があると考えられる。 (5) 認知の脳内機構 感覚情報は、すでに述べたように階層的に処理される。この感覚情報処理システムは、モジュール(コンピューターにおける独立した処理システム)化された並列処理システム からなり、各々のモジュールがそれぞれ異なる特徴抽出を行っている。まず、各感覚種ごとに分かれた大きなモジュールがあり、各感覚種に関係するモジュールは、たとえば視覚では物体の色、形、テクスチャー、奥行き、空間的位置などの特徴抽出にかかわる細分化されたモジュールからなる。 |
2−1−3 化学感覚(味覚、嗅覚)情報の重要性 食事摂取では五感を総動員しており、その相互作用について述べてみたい。以下に述べるように食事摂取では五感における複雑な相互作用が絡んでおり、それを再現できる情報通信システムは世界で最も先進的なシステムになるはずである。 この両中枢には、味覚、嗅覚、視覚、聴覚、舌の触覚、および消化器からの内蔵感覚情報が収束しているだけでなく、体液(血液および脳脊髄液)中の個々の栄養素、代謝産物、成長因子やホルモン等の液性因子に反応するよう分化した化学感受性ニューロンが存在する。 (1) 伝送技術 情報通信は、今や世界の隅々にまで張り巡らされつつあるインターネットの利用が前提となる。インターネットは、狭義には経路制御プロトコルとしてIP(Internet Protocol)を用いる、文字などのデータ通信に適したパケット交換方式のコンピュータネットワークである。 1) 視覚と聴覚 3次元の座標値、速度、圧力の情報の通信が主体となる。通信対象となる物質(金属、木、繊維、布地等)や要求される精度、きめ細かさ(微妙な肌触り等)により、要求される通信帯域は大きく異なる。1994 年に行われたマルチメディアコラボレーションシステムを利用して同一構造物の形状と色を遠隔地にいる複数者によって共同設計する実験においては、離れた地点の4
人が10Mbps のEthernet を通して、全員データグローブをつけて同時にほぼリアルタイムに操作できた、という報告がなされている。しかし、きめ細かい微妙な感触・タッチまでを伝えるにはその百倍以上のGbps 以上の帯域が必要となると言われているが、現状では厳密な評価は未だなされていない。 化学反応そのものは通信できないため、送信側で感知した味覚嗅覚の化学反応に関する情報を符号化し、それを他の感覚と同様ビット列で通信することになる。受信側では、送られてきた化学反応の情報に基づき、対応する味や香りを生成することになる。化学反応はもちろん、微妙な味や香りをどのように符号化するかについては今後の中長期的研究に委ねられる。
|
2−2 視覚 2−2−1 生理学・心理学・その他 視覚に関する基礎研究の歴史は長く、特に1960 年以降は非常に盛んに研究が行われている。内容的には、感覚、知覚から認識、情緒へと階層的に進展してきているのが特徴である。視覚の時間・空間周波数特性、輝度・色度情報の性質、ノイズの影響、立体視、図形知覚、文字認識などの視知覚の基本性質は、おおむね1960
年後半までに解明された。 (1) イメージセンシング技術 イメージセンシング技術は、 (a)機械型 (b)高速度・電子ビーム型 (c)低速度・電子ビーム型 (d)光導電形型 (e)固体撮像デバイス型 の流れで進化してきた。機械型は1884 年に発明されたニポウ円板を使用する方式が有名である。この方式は、ニポウ円板上の細孔で光学像を走査する方式である(上記(a)に相当)。 画像符号化技術に関しては、代表的な活動としてJPEG、MPEG がある。これらの方式ではその基本技術として「DCT」および「DCT+MC」技術を用い、画像コンテンツの扱いを大幅に容易化することに成功した。しかしその反面、MPEG-1
誕生以降、多くの研究開発がなされているのにも関わらず最近10 年間の進歩は「DCT+MC」の効率を大きく超える高能率、汎用画像符号化方式は出現していない。 再生技術(ディスプレイ技術)は、用途に応じて非常に様々な技術が存在するが、ここでは五感情報通信との関連で言えば、 (a)高精細ディスプレイ (b)3D
ディスプレイ (c)その他のディスプレイ(CAVE、HMD、視線一致型) などがある。 (a)の高精細ディスプレイに関しては、例えば3840×2070(HDTV
品質の4 倍の解像度)のディスプレイの開発が報告されている。このディスプレイでは、複数台のプロジェクタから投射した画像を画素単位でスクリーン上で合成する手法であり、重畳投射型と呼ばれる。 また、IPD と同様の目的を実現する技術としてHMD(Head MountedDisplay)がある。HMD はもともと1968 年に頭に装着する3 次元ディスプレイとして発表され、その後VR 技術の発達とともに没入感を要求されるVR の視覚ディスプレイとして様々なシステムが研究開発されている。 現在のHMD はおおむね両眼視差を利用して立体視を実現するものであり、これまで島津製作所、オリンパス、Virtual Research 社、Kaiser ElectroOptics 社等で開発が行われている。一方、立体視にはこだわらず、両眼に同一映像を表示して見かけ上大画面映像を実現するHMD もいくつか市販されており、オリンパスのEye-Trek、ソニーのGlasstron などが有名である。 一方、人間同士のコミュニケーションを前提とした場合、視線一致など従来のディスプレイとは異なる要求条件を満足しなければならない。このような背景から、特に高臨場感ビデオ会議システムを前提に、いくつかの視線一致ディスプレイが開発されている。これらのディスプレイでは、一般に、 ・ 視線一致 ・ 実物大映像 ・ 接近感 を満足することが望ましいと考えられている。視線一致については、ハーフミラーを用いたシステムが最も広く知られている。しかし、ハーフミラーを用いると、カメラへの光量が不足したり、画面が奥まって見えるなどの問題点があり、十分な臨場感は得られない。また、ハーフミラー型以外では、透明/散乱を交互に繰り返す液晶スクリーンを用いたシステム、視線を検出し仮想空間上での視線一致を実現するシステム、小型ディスプレイを複数用いディスプレイ1 つあたり会議参加者1 人を映し出すシステムなどの研究例がある。 2−2−3 他感覚との融合 他感覚との融合では、視覚と聴覚を融合したシステムは歴史が古く様々なシステムが開発されているが、聴覚以外の感覚では、触覚との融合システムについて近年若干の研究事例があるだけで嗅覚や味覚との融合システムについてはほとんど皆無である。視触覚融合システムとしては、東芝において開発された3D CAD システム(Tangible Modeling System)(図2−7)がよく知られている。このシステムでは、ユーザがディスプレイ内の仮想物体を実際触ることができ、直接手で変形したり、書き込みをしたりすることが可能である。これらのシステムは3D CAD のみならず、教育用途、エンターテイメント等様々な用途での利用が期待できる。 |
2−3 聴覚 2−3−1 聴覚の仕事 聴覚系は、音を通じて身に迫る危険を察知して回避行動を起こしたり、餌を見つけたり、異性を誘引して繁殖のためのプロトコルを確認したりするために発達してきた遠方感覚系である。その主たる役割は、外界の状況を把握するための情報や、相手が伝えようとしているメッセージを解読する一助となる情報を、耳に到達した音から適切、頑健、かつ迅速に脳内で再構成することにある。 この聴覚系の機能としてよく取り上げられるのは、音がどの方向から来たのかを判断する音源定位機能と、何の音であるかを判断する音源識別機能の二つである。音源定位には左右の耳に到達する音の音圧差や時間(位相)差が利用され、音源識別には音を生み出した物理現象に起因する音の時間・周波数的特徴が利用されている。しかし、この音源定位と音源識別だけが聴覚系の機能ではない。相手が伝えようとしている音声メッセージを解読するコミュニケーション音の処理は音源識別機能の一つである。 コミュニケーション音はカテゴリー知覚がなされ、言語処理系を駆動するとともに、その受け手は同じコミュニケーション音を出す発声システムを持つ。そこで、コミュニケーション音処理機能は、一般音の識別機能とは別に考えたほうがよい。また、聴覚系は自らの発声音を常にモニタして発声を安定させている。このような発声音制御も聴覚系の機能の一つである。 このほか、聴覚系は常に音を聞いていて新奇な物音が聞こえるとその音に対して自動的に注意を向ける仕組みがある。これは音を通じた早期警報機能で、この警報は他のモダイリティに負荷がかかる作業中でも注意を喚起するが、その重要性の割にあまり注目されていない。 また、ガラスをひっかく音を聞くと背筋がぞくぞくしたり、音楽を聞くとリラックスしたり気分が高揚したりする。このように音は感情を喚起し、その結果として自律神経系の活動や私たちの行動に影響を与えるが、その処理にかかわる聴覚の情動系賦活機能についてもあまり注目されていない。 2−3−2 音メディアを扱う情報通信技術の動向 音が距離と時間を超えて扱うことができるメディアとなったのは19 世紀後半で、この100 年の間に音を伝送したり蓄積したり加工する技術は飛躍的に進歩した。その結果、電話、放送といった音メディア情報サービスやCDやMD を装備したオーディオセットは広く普及し、日常の生活基盤の一部となっている。そして、表面的には聴覚の役割や特性が改めて問題にされることは少なくなっている。だからといって聴覚研究が不要であるわけではなく、聴覚研究は今後の情報通信技術を発展させるうえで、視覚研究などとともに、重要な位置を占めている 電話の黎明期においては、音声の効率的な伝送を実現するために基本的な聴覚特性を参考にした。ごく最近では、長年の聴覚マスキング研究の成果に基づいてMPEG 符号化に代表される高品質高能率符号化技術が開発され、通信やMD、DVD 等のオーディオ機器に利用されている。 また、聴覚末梢系における音響? 神経信号変換の仕組みに基づいた人工内耳が開発され、感音性難聴患者が失った音の世界を取り戻すとができるようになった。聴覚の音源定位と音源識別機能については工学的な研究が進み、私たちの聴覚系とは異なった音情報処理方略を利用したコンピュータの「耳」が実現されつつある。 音源定位機能については複数のマイクロフォンとディジタル信号処理技術を利用したビームフォーマーやソナーなどが開発されており、私たちの耳よりも優れた音源定位能力をコンピュータの「耳」に付与できるようになっている。 音源識別機能については確率・統計的なパターン識別技術を利用した音声認識システムの性能が向上し、単語や文章を読み上げた音声は相当程度認識できるようになりつつある。しかし、話し言葉を認識すること、さまざまな音が混じりあい残響がある実環境の中から目的とする音を取り出すこと、音の一部が欠損していてもそれらを補って聞くことなどはまだ現在のコンピュータの「耳」には難しい課題である。 また、定常的に聞こえてくる音を無視して新奇な音に対して注意を向けるような仕組みを持つコンピュータの「耳」もまだ無い。一方、私たちの聴覚特性に適合するよう音メディアを処理することによって、ユーザーの利便性を向上させようとする工学的な研究も進んでいる。 長さを保ちつつ話し声のスピードを変換する話速変換装置、聴力損失に合わせてラウドネス補償を実現するディジタル補聴器、外国語のニュースや講演を日本語に翻訳して音声や文字で呈示する音声翻訳装置、音を利用した避難誘導装置などがあげられる。 最近では、臨場感通信システム、ヴァーチャルリアリティシステムやテレイグジスタンスシステムに必要な三次元音響空間の再現技術に関連して、聴覚の空間音響処理の仕組みに熱い視線が向けられている。これまでのマイクロフォン、スピーカー、イヤフォンといった電気音響変換器は電話帯域(3kHz)、放送帯域(6kHz)、オーディオ帯域(20kHz)をベースにしてきた。 しかし、通信ネットワークのブロードバンド化、記憶装置の大容量化、20kHz を超える音を録音再生できるDVD オーディオとスーパーオーディオ装置の出現などにより、対象とする音メディアの周波数帯域は広がりつつある。20kHz を超える超音波領域の高周波音の知覚上の効果については諸説ありまだ決着を見ていないが、扱う音メディアの広帯域化に対応した新しい電気音響変換器の開発や規格の制定も必要である。 2−3−3 聴覚生理学・心理学の動向
蝸牛の基底膜振動系は入力音を周波数成分ごとにふるいにかける多数の帯域フィルタバンクとして機能している。各フィルタは対数的な周波数軸上に並び、帯域幅は低域ほど狭く周波数的にも時間的にも非対称な応答特性を持ち、非線形で時変なフィルタリング特性を持っている。そして、各フィルタの出力である基底膜の変位はそれぞれの場所にある内有毛細胞の受容器電位に変換され最終的には一次聴神経の発火を引き起こす。このような生理的実体を反映した聴覚末梢系モデルを用いて、入力音に対する一次聴神経の発火パターンをシミュレートすることも容易にできるようになった。また、計算論的な観点からの聴覚モデルの研究も進められている。 蝸牛神経核から大脳皮質一次聴覚野までを聴覚中枢系と呼んでいるが、この部分の仕組みに関しても徐々にいろいろなことが分かりつつある 生理学的には小型哺乳類の各神経核ニューロンの電気生理学的特性と神経核間の接続に関する知識が蓄積されつつあり、心理物理学的には「見えない電極」と呼ばれる残効(after effect)現象を利用した実験を通じて、動的かつ適応的な音情報処理の仕組みが解明されつつある。 すなわち、聴覚末梢系フィルタの出力は単に周波数スペクトル情報をトノトピィ(tonotopy)を保持して聴覚野へ投影されているのではなく、末梢系フィルタの出力が複雑に相互作用して音の高さ(ピッチ)、振幅変調成分(AM)、周波数変調成分(FM)、両耳間時間差成分(ITD)やその時間変化成分(ΔITD)といった情報を処理するモジュールが形成されていることが分かってきた. さらに、それらのモジュール内の個々のチャンネルの処理特性が、時空間的な音条件によって時々刻々とダイナミックに変化して効率的な情報処理を実現していることも少しずつ分かってきている。 おそらく、一次聴神経の発火頻度・発火間隔情報として符号化された音メディア情報は、蝸牛神経核と上オリーヴ核で各モジュールで扱う特徴の元となる形に整形され、外側毛帯核、下丘と内側膝状体以上で各モジュール毎の処理が行われるとともに、複数モジュール出力を統合して諸物理属性や生物学的に意味のある音情報の情報媒介変数を抽出して一次聴覚野に投射しているのではないかと考えられる。 また、聴覚野や脳幹の各神経核からは下位の神経核に対して多くの遠心性神経の投射があり、上オリーヴ核からは蝸牛の外有毛細胞を制御する遠心性神経の投射まである。これらの遠心性神経系は、脳幹神経核における情報処理を調節して短期的な再組織化を引き起こし、その結果として皮質も再組織化される。そして入力音と行動とが連合すると、短期的な再組織化が固定されて、動物は音の意味を学習するとも言われている。 さらに、内側膝状体では視覚、体性感覚情報とのインタラクションがあるし、上オリーブ核、外側毛帯核、下丘からは視覚、体性感覚、運動系などの情報がまとまる上丘への投射がある。そして上丘からは旧皮質の情動系への神経投射がある。 一次聴覚野以降を高次聴覚系と呼ぶ。世界的な脳科学研究の高まりに伴って神経科学の対象は末梢系からより高次系へと移っている。コウモリやフクロウといった特殊な聴覚機能を持つ動物の聴覚野における情報表示についての理解は進んでいるが、サルやヒトの聴覚野については音情報の表現のされ方や情報処理機能単位もまだ分かっていない。 近年、PET やfMRI を利用してヒトの脳活動を非侵襲に計測することが比較的容易にできるようになり、言語音や視聴覚相互作用などの処理部位の推定が進められつつある。しかし、大脳皮質活動を非侵襲に観測する技術は時間・空間分解能の点でまだまだ未熟であり、その高次聴覚系の処理メカニズムに関する構成的な議論ができるようになるのはもう少し先のことと思われる。 なお、世界的に見ても聴覚研究者数は視覚研究者数の十分の一程度と少なく、視覚に比べると科学的データの積み重ねも仕組みの理解の度合いも遅れている。特に、我が国では、音を操る技術の開発に従事する音響・音声工学研究者は多いが、音を聴く仕組みを探る聴覚科学研究者は少ない。大学や大学院における聴覚科学教育も欧米と比較すると十分ではなく、改善が望まれる。 2−3−4 聴覚と他の感覚との相互作用 2−3−5 まとめ 聴覚だけといった単一のモダリティだけを扱う場合にはさほどでもないが、五感を総合的に扱う技術開発に際しては、ユーザである人間の五感情報処理の仕組みをよくよく把握しないと百害をもたらす機械を生み出しかねない。人間の情報処理の仕組みを総合的に理解することを通じてこそ、豊かな人間性を育み自然と調和する、安全で快適な五感情報通信技術を発展させることができるのである。 日本音響学会誌の聴覚と音響工学関連の特集 1. 特集? 音響学における20 世紀の成果と21 世紀に残された課題? ,日本音響学会誌 vol.57, No.1, pp.3-112(2001) 2. 小特集? 聴覚と脳? ,日本音響学会誌 vol.57, No.3, pp.215-257
(2001) 3. 小特集? 音声研究の新たな方向を探る? , 日本音響学会誌 vol.56, No.11,
pp.746-782 (2000) 4. 小特集? 音響教育の現状と展望? ,日本音響学会誌 vol.55, No.3,
pp.181-220 (1999) 5. 小特集? 感性の領域に迫る音処理技術? ,日本音響学会誌 vol.54, No.7,
pp.506-538 (1998) 6. 小特集? 聴覚の基礎研究が切り開く新たな展開? ,日本音響学会誌 vol.53, No.9,
pp.714-753 (1997) 7. 小特集? 音と映像の相互作用? ,日本音響学会誌 vol.52, No.1, pp.34-62
(1996) 8. 小特集? よりよい音を目指して? ,日本音響学会誌 vol.52, No.6,
pp.443-475 (1996) 9. 小特集? マルチメディアを支える高能率符号化? ,日本音響学会誌 vol.51, No.10,
pp.776-811 (1995) 10. 小特集? マイクロホンアレ? ,日本音響学会誌 vol.51, No.5, pp.384-414 (1995)聴覚生理学に関する文献 11. J. O. ピクルス "聴覚生理学," 谷口郁雄監訳(二瓶社, 大阪,
1995) 12. 力丸 裕 (1994): "音響・聴覚系の生理学," 視覚と聴覚、川人光男 他編(岩波書店, 東京, 1994)pp129-179 13. 平原達也, "聴覚のメカニズム," 視聴覚情報科学, ATR 国際電気通信基礎技術研究所編
(オーム社, 東京, 1994) pp.145-200 14. 小島久幸, "聴覚皮質の神経経路,"日本音響学会誌 vol.53,
No.5, pp.383-391 (1997) 15. 平原達也, "聴覚末梢系における音情報表現, " 日本音響学会誌
vol.51, pp. 565-571 (1995)45 聴覚心理物理学に関する文献 16. 柏野牧夫, "耳がよいとはどういうことか?? 聴覚の多様性と可塑性?
"NTT R&D, 49 (10), 575-581. (2000) 17. 柏野牧夫, "人間の聴覚系の科学? 空耳からみた脳の戦略? "NTT
R&D 47, 393-398. (1998) 18. 柏野 牧夫, 西田 眞也, "錯覚の情報学(1) 騒音の中でつながる途切れた音"日経サイエンス,30,
(2), 124-125. (2000) 19. 柏野 牧夫, 西田 眞也, "錯覚の情報学(3) 音源の位置で伸び縮みする聴覚の空間"日経サイエンス,30,
(4)68-69. (2000) 20. 柏野 牧夫, 西田 眞也, "錯覚の情報学(4) せわしない日常が取り違える動と静の世界"
日経サイエンス,30, (5), 130-131. (2000) 21. 柏野 牧夫, 西田 眞也, "錯覚の情報学(5) 「ち」「が」「い」と「ちがい」の際だった違い"
日経サイエンス, 30, (6), 90-91. (2000) 22. 柏野 牧夫, 西田 眞也, " 錯覚の情報学(7) 知覚系が頻繁に見せる”前後不覚”"日経サイエンス,30,
(8), 62-63. (2000) 23. 柏野 牧夫, 西田 眞也, "錯覚の情報学(8) 目と耳と手? 知覚の時差を脳が修正"日経サイエンス,30,
(9), 126-127. (2000) 24. 柏野 牧夫, 西田 眞也, "錯覚の情報学(9) 仮想現実感をつくり出す秘術は?"日経サイエンス,30,
(10), 126-127. (2000) 25. 柏野 牧夫, 西田 眞也, "錯覚の情報学(10) 知覚の仕方に個人差を生み出す環境"日経サイエンス,30,
(11), 112-113. (2000) 26. 柏野 牧夫, 西田 眞也, "錯覚の情報学(11) 断片情報を組み立て直し精緻に知覚"日経サイエンス,30,
(12), 76-77. (2000) 27. 柏野 牧夫, 西田 眞也, "錯覚の情報学(12) 錯覚こそ知覚系の戦略を探る手だて"日経サイエンス,31,
(1), 84-85. (2001)超音波知覚に関する文献 28. 吉川昭吉郎,"20kHz を超える音にまつわる問題"日本音響学会誌
vol.57, No.4, pp.263-264 (2001) 29. Tsutomu Oohashi et al., "Inaudible
High-Frequency Sounds Affect Brain Activity: Hypersonic Effect," Journal
of Neurophysiology, vol.83, pp.3548-3558, (2000) 30. 蘆原郁、桐生昭吾,"周波数帯域の各町に伴うスピーカの非線形歪みの増加,"日本音響学会誌
vol.56, No.8, pp.549-555 (2000) 31. 宮坂栄一,"高周波音の知覚について,"日本音響学会誌 vol.55,
No.8, pp.569-572 (1999) 32. 大橋 力,"インドネシアの打楽器オーケストラ”ガムラン”,"日本音響学会誌 vol.54, No.9, pp.664-670 (1998) 視聴覚相互作用に関する文献 33. 下條信輔、クリスチャン シャイア、ロミ ニジャワン、ラダン シャムズ、神谷之康、渡辺克巳,
"知覚モダリティを越えて:視聴覚に及ぼす聴覚の効果,"日本音響学会誌 vol.57, No.3, pp.219-225 (2001) 34. 積山薫, "視覚と聴覚の接点," 日本音響学会誌 vol.54,
No.6, pp.450-456 (1998) 35. 丸山欣哉、佐々木隆之, "視覚と聴覚間の相互作用諸効果,"日本音響学会誌 vol.52, No.1, pp.34-39 (1996) 36. 近藤公久、筧一彦, "音声情報と同時に提示される文字情報の音声知覚に与える影響"
日本音響学会誌vol.51, No.7, pp.548-557(1995) 37. 近藤公久, "マルチモーダルな知覚過程,"電子情報通信学会誌
vol.78, No.12, pp.1230-1233 (1995) |
2−4 味覚 http://hen2000.hp.infoseek.co.jp/hen/junkie.html
食品の成分は、塩・酸・甘・苦・うま味の5種類の味覚を与える物質に大別される。塩味物質は食塩や岩塩などであり、陽イオン(Na+, K+)と陰イオン(Cl−)の両者が塩の味質を決定する。酸味物質は酢酸(CH3COOH)や塩酸(HCl)などであり、H+が酸味を与え、残基が酸の味質を決定する。 (4) 脳での情報処理 味情報は神経の電気信号に変換され、最終的に大脳皮質味覚野へ達する。この経路の途中には複数の中継点があり、ここで神経をつなぎ換えている。つなぎ換えをすることによって、神経に様々な修飾が加えられその性質が微妙に変化する。このようなシステムは、われわれが多様な味を識別できるのに一役買っているのである。大脳皮質味覚野では入力された味刺激の情報を整理・統合処理した結果、“味覚”が感知される。この脳における情報処理の仕方を分子生物学のレベルで調べる研究こそ「味覚の神秘」の扉を開く鍵なのである。 味覚は飲食物(化学物質)の味を受容する口腔内感覚(化学感覚)であり、塩味、甘味、酸味、苦味およびうま味の五基本味に大別される。生理学的には、「味刺激を受容する味細胞の興奮が、味神経活動を経て脳へ伝えられる感覚」と定義される。 |
2) 味覚の伝道路における味情報処理
2) 下行性制御 図 2-17 無傷コントロールラット(点線)および除脳ラット
(実線)における延髄孤束核ニューロンの味覚応答性 除脳によって、孤束核ニューロンの味覚応答性が低下する。 SA1、サッカリンナトリウム(0.0025
M);Q、キニーネ塩酸;G、グルコース;F、フルクトース;S、ショ糖;H、塩酸;CA、クエン酸;NB臭化ナトリウム;SA2、サッカリンナトリウム(0.25 M);NS、硫酸ナトリウム;L、塩化リチウム;NC、食塩。
(Mark et al.: Brain Res. 443: 137, 1988)より引用・改変。
図 2-18 サル第二次皮質味覚野ニューロンのグルコース応答性の低下
リジンは必須アミノ酸の1つであるが、強い苦味を有することから、正常栄養状態の動物が好んで摂取することはない。しかし、ラットにリジン欠乏食を与えて飼育し、それと同時に13 種類の溶液(各種アミノ酸溶液、生理食塩溶液および水)を自由に選択摂取させると、数日以内にリジン溶液を探し出し定量的に飲む行動を学習する。
図 2-19 オペラントリック行動下ラット視床下部外側野ニューロンの味覚応答性の例
|
図 2-20 嗅覚の匂い受容、認識機構 図 2-21 嗅球の僧帽細胞が示す匂い分子応答特性の一例 図 2-22 大脳辺縁系の情報の流れ このシステムにおいては、測定匂いをあらかじめ用意しなければならないのは大きな弱点であるが、匂いセンサの寿命、安定性が不十分なこと、短時間で高い信頼性のもとに測定できること、受信側で再生を行うことを考えればその装置を匂い材料を良い素材を得ざるを得ないこと等から、この欠点は高忠実の通信装置には送信および受信側において配置すべきものと考えられる。 将来、センサの安定性、信頼性が向上すれば送信側は参照匂いを必要としないであろう。しかし高忠実度を要求すれば、このような参照匂いとの比較は不可欠と考えられる。森泉が開発中の高忠実通信装置に加え、最近匂いの配信装置が各種発表されている。 例えばフランステレコムは、匂いを放出するカートリッジを開発し、パソコンからの命令に従い受信者の鼻付近に匂いを放出する。これらの装置にはセンサと匂い認識部分がなく、通信装置とは言い難い。プログラムまたは送信側の命令に従い、一方的に匂いを放出するもので、配信(又は配達)装置というべきである。 しかし、匂い放出により受信者の情動に訴え、視覚・聴覚情報のリアリティが増すなら、マルチモーダル通信における補助手段として大きな意味がある。この手段の導入により匂い放出装置の需要が一挙に高まり、小型化が促進され、多様な匂いの放出が可能となるであろう。さらにこの発達により、能動センシング装置の性能が高まるため、森泉らが提案する匂い通信装置実用化が早まると期待される。 【参考文献】 [1]森泉豊栄、中本高道:“センサ工学”、昭晃堂(1997) [2]栗原堅三:“味覚・嗅覚”、化学同人、pp.137−147(1990) [3]栗原豊、外池光雄、“匂いの応用工学”、朝倉書店、(1994) [4]栗原豊、外池光雄、“匂いの応用工学”、朝倉書店、pp.14−23(1994) [5]立花隆:“脳を究める”、朝日文庫、p.222(2001) [6]森泉豊栄、“匂いセンシングシステム”、No.200、香料、pp.33−39(1998.12) |
2−6 触覚 2−6−1 生理学・心理学・その他 触覚は、人間の体が物に触れた時に生じる感覚である。ものに触れた時に感じとることのできる情報には、単に触れたということだけでなく、触れた対象の形状や材質あるいはその際の力などの感覚が含まれる。形状に関しても大まかな形状から表面の細かな肌理まで、また、材質に関しても軟らかさ、場合によっては重さなどが認識される。これらの事実からも明らかなように、その認識に関わる感覚は様々であり、また、体の至るところで感じとることができる。 生理学では、触覚や力覚のように体で感じる感覚を体性感覚と呼ぶ。体性感覚は、その感覚受容器の存在する部位の違いにより、皮膚感覚と深部感覚とに分類される[1]。皮膚感覚は皮膚および皮下組織に受容器を持つ感覚であり、触圧覚・振動覚・冷温覚などに分類される。皮膚表面は、体毛に覆われた有毛部と、これを持たない無毛部とからなる。有毛部は受動的な刺激を受ける部位に多く見られるのに対して、無毛部は指や手掌のように積極的な触作用を行なう部位に多く見られ、このために必要な構造上の特徴を有している。 皮膚感覚が性質の異なる複数の感覚から成り立っていることは、皮膚表面をプローブにより局所的に刺激する実験より明らかになる。これにより、皮膚表面上に、刺激に対して特に感度の高い点が存在することが示され、感覚点と呼ばれている。また、圧迫あるいは振動など、特定の刺激にのみ反応する受容器の存在が明らかにされている。なお、接触の感覚と圧迫の感覚とは意識のレベルでは区別される場合が多いが、刺激のレベルでこれを厳密に区別することは困難であり、これらの感覚を含むものとして触圧覚という用語が用いられる。 図 2-24 触覚受容器の構造(文献)[1]より 図 2-25 局在能(文献)[1]より) 図
2- 図
2-27 触力覚の帯域幅(文献[4,5]より)
図
2-28 触覚計測センサ(文献[6]より)
|
図
2-29 オプタコン(文献[21]より) 図 2-30 Texture
Display(文献[24]参照) 図 2-31 PHANToM(SensableTechnologies 社) 図 2-32 HapticGEAR(文献[34]参照) 力覚提示はテレロボティクス以外にCGの分野でも必要性が指摘されていた。その先駆けといえるのはUNC におけるGROPE プロジェクト[29]である。このプロジェクトはCGで表現されたものに接触感覚を付与することを目的として、仮想空間とのインタフェースのためのマスターアームの開発と、これを利用した操作に関する実験を行なっている。 力覚提示には機械的な装置が利用されるが、機構や力の伝達手段には様々なものが考えられる。比較的よく知られているものとして、エアシリンダを利用による握力提示を実現したDexterous Master[30]、ワイヤによる力の伝達を利用したSPIDAR[31]、2自由度のジョイスティック型力覚デバイスであるVirtual Sandpaper[32] 、パラレルアームを利用したSensableTechnologies 社のPHANToM[33]、ワイヤを利用して握力を提示するCyberGrasp[27]、ペン型グリップに力を返すHapticGEAR[34]などが知られている。 図 2-33 Surface
Display(文献[35,36]参照) 【参考文献】 [2]清水 豊:機械的刺激による触覚の心理物理特性;日本ロボット学会誌,
Vol. 2, No. 5, pp. 61 - 66 (1984). [3]田中 兼一,伊福部 達,吉本 千禎:触覚における凸点パターン認識特性;医用電子と生体工学,
Vol. 20, No. 5, pp.17 - 22 (1982). [4]Karun B. Shimoga:A Study
ob Perceptual Feedback Issues in Dextrous Telemanipulation:Part I. Finger
ForceFeedback;Proc. VRAIS'93, pp. 263 - 270, IEEE (1993). [5]Karun B. Shimoga:A Study
ob Perceptual Feedback Issues in Dextrous Telemanipulation:Part II. Finger
Touch Feedback;Proc.
VRAIS'93, pp. 271 - 279, IEEE (1993). [6]Howe, R.D., Pwine, W.J.,
Kontarinis, D.A., Son, J.S.:Remote Palpation Technology;IEEE Engineering in
Medicine and Biology, May/June (1995). [7]Ikei, Y., Wakamatsu, K.,
Fukuda, S.:Vibratory Tactile Display of Image-Based Textures;IEEE CG&A,
Vol.17, No.6,pp.53-61 (1997). [8]Koichi Hirota, Toyohisa
Kaneko:Implementation of Elastic Object in Virtual Environment;Proc. HCI '97,
Vol.21B,pp.969-972 (1997). [9]Salisbury, K., Brock, D.,
Massie, T., Swarup, N., Zilles, C.:Haptic Rendering: Programing Touch
Interaction WithVirtual Objects;Symposium on Interactive 3D Graphics, pp.123-130
(1995). [10]Zilles, C., Salisbury,
K.:A Constraint-Based God Object Method for Haptic Display;Proc. IROS '95,
pp.145-151(1995). [11]Ho, C., Basdogan, C.,
Srinivasan, M.A.:Haptic Rendering: Point- and Ray-Based Interactions;Proc.
PUG'97, (1997). [12]Koichi Hirota, Masaki
Hirayama, Atsuko Tanaka,Michitaka Hirose, Toyohisa Kaneko:Physically-Based
SimulationOf Object Manipulation;Proc. ASME2000, DSC-Vol.69-2, pp.1167-1174
(2000). [13]Morgenbesser, H.B.,
Srinivasan, M.A.:Force shading for haptic shape perception;Proc. ASME DSC,
Vol.58,pp.407-412 (1996). [14]田中, 広田, 金子:力覚表現を考慮した仮想物体の変形手法;情報処理学会論文誌,
vol.39, no.8, pp.2485-2493(1998). [15]Ogi, T., Hirose, M.,
Watanabe, H., Kakehi, N.:Real-time Numerical Simulation in Haptic
Environment;Proc. HCI '97,pp.965-968 (1997). [16]広田, 金子:柔らかい仮想物体の力覚表現;情報処理学会論文誌,
Vol.39, No.12, pp.3261-3268 (1998). [17]鈴木, 服部, 江積 ほか:触覚を伴った手術作業が可能なバーチャル手術システムの開発;日本VR
学会論文誌, vol.3, No.4, pp.237-243 (1998). [18]http://www.sensable.com [20]Burdea, G.: Force &
Touch Feedback for Virtual Reality;A Wiley-Inter-Science Publication, New York
(1996). [21]Bliss, J. C., Katcher,
M. H., Rogers, C. H., Shepard, R. P.:Optical-to-tactile image conversion for
the blind:IEEETrans. Man-Machine Systems, MMS-1, pp. 58-65 (1970). [22]Collins, C.C.:Tactile
Television - Mechanical and Electrical Image Projection:IEEE Trans. Man-Machine
Systems,MMS-1, pp. 56-71 (1970). [23]Shimizu, Y., Shimamura,
H.:Tactile pattern recognition by graphic display:Importance of 3-D information
for haptic perception of familiar
Objects;Perception & Psychophysics, Vol. 53, No. 1, pp. 43-48 (1993). [24]Yasushi Ikei, Kazufumi
Wakamatsu, Shuichi Fukuda:Texture Presentation by Vibratory Tactile
Display;Proc.VRAIS'97, pp.199-205 (1997). [25]奈良, 柳田, 前田, 舘:弾性波動を用いた皮膚感覚ディスプレイ;日本VR
学会論文誌, Vol.3, No.3, pp.89-97 (1998). [26]梶本裕之,川上直樹,前田太郎,舘すすむ:皮膚感覚神経を選択的に刺激する電気触覚ディスプレイ;信学論,VOL.J83-DII,
No.1, pp.120-128 (2001). [27]http://www.virtex.com [28]矢野, 小木, 廣瀬:振動子を用いた全身触覚提示デバイスの開発;日本VR学会論文誌,
Vol.3, No.3, pp.141-147(1998). [29]Frederick P. Brooks,
Jr., Ming Ouh - Young, James J. Batter, P. Jerome:Project GROPE - Haptic
Displays for Scientific
Visualization;Computer Graphics, Vol. 24, No. 4, pp. 177 - 185,ACM SIGGRAPH '90
(1990) [30]Grigore Burdea, Jiachen
Zhuang, Edward Roskos, Deborah Silver,Noshir Lagrana:A Portable Dextrus Master
with 82 Force Feedback;Presence,
Vol. 1, No. 1, pp. 18 - 28, MIT Press (1992). [31]佐藤 誠,平田 幸広,川原田 弘:仮想作業空間のためのインタフェースデバイス-SPIDAR-;信学技報,
PRU 89- 88, pp. 51 - 58 (1989). [32]M.Minsky, M.Ouh-yong,
O.Steel, F.P.Brooks, M.Behensky:Feeling and Seeing: Issues in Force
Display;Computer Graphics, Vol. 24, No. 2, pp. 235 - 243 (1990). [33]Massie, T. H.:Initial Haptic Explorations with the
Phantom:Virtual Touch Through Point Interaction;Master's Thesis,M.I.T. (1996). [34]Hirose, M., Ogi, T.,
Yano, H., Kakehi,N.:Development of Wearable Force Display (Haptic GEAR) for ImmersiveProjection
Displays;Proc. VR'99, p.79 (1999). [35]Michitaka Hirose, Koichi
Hirota:Surface Display and Synthetic Force Sensation;Advances in Human Factors/Ergonomics,
Vol. 19B,Human-Computer Interaction, pp. 645 - 650, ELSEVIER (1993). [36]Koichi Hirota, Michitaka
Hirose:Development of Surface Display;Proc. VRAIS'93, pp. 256 - 262, IEEE
(1993). [37]William A.
McNeely:Robotic Graphics: A New Approach to Force Feedback
forVirtualReality;Proc. VRAIS'93, pp.336 - 341, IEEE (1993). |
2−7 感覚間の相互作用 2−7−1 間接知覚論での相互作用 1、刺激は常にある程度の隣接性をもっている。刺激は「空間」のなかで同時的な構造やパターンをもっている。皮膚にあてられた鋭い棒や網膜に届いた細い光線は、境界や変わり目をつくり出すのであり、数学的な点をつくり出すのではない。 2、刺激は常にある種の連続性をもっている。刺激には「時間的」な構造がある。刺激には始まりを示す変わり目と終わりを示す変わり目がある。自然な刺激とは数学的な瞬間ではない。刺激には、同時的な構造があるのと同じように、必ず継時的な構造がある。3、結果として、刺激は常に不変と変化の両方の要素をもつことになる」と述べている。 (2) 5種の知覚システム Gibson
は環境への注意のモードとして5つの知覚システムについて考察した。それを以下に紹介する。 1) 聴覚システム 図 2-34 平衡胞と接触システムの共変(Gibson 1966 より) 平らな地面(左)と傾斜する地面(右) (1)本稿が紹介したGibson の議論は、Gibson,J.J.(1966)‘The
senses considered as perceptual systems' Greenwoodpress,publisher(westport,connecticut)にある。 (2)生態光学については、Gibson,J.J.(1979)‘An
ecological approach to visual perception'LEA 『生態学的視覚論』古崎敬ら訳 サイエンス社に詳しい。 (3)ギブソン派知覚システム研究の最新の成果のいくつかはは、『アフォーダンスの構想─知覚研究の生態心理学的デザイン─』佐々木正人・三嶋博之編訳
東大出版会2001 年 (4)共変についての議論はStoffregen,T.A.& Bardy,B.G.(in press) On specification and senses. Behavioral and BrainSciences. で展開されている。 |
2−8 海外における研究動向 ここでは特に、米国の公的機関を中心に、海外における五感情報通信技術に係る研究動向についての主要な事例を述べる(詳細については、付録2「海外の公的機関における五感情報通信技術に係る研究開発動向」参照のこと)。米国における五感情報通信技術に係る研究を実施する主要な公的機関としては、以下の5 機関が挙げられる。 ・ DARPA DSO(Defense Sciences Office):http://www.arpa.gov/ ・ NASA:http://ic.arc.nasa.gov ・ NIMH(National
Institute of Mental Health):http://www.nimh.nih.gov/ ・ DoE(Department
of Energy(のうちOffice of Biological and Environmental Research)):http://www.er.doe.gov/ 「環境を共有する通信」 (1) 解釈し働きかける通信 「解釈し働きかける通信 「仮想環境を構築する通信」とは、視覚、聴覚、触覚、嗅覚、味覚その他の感覚モダリティによる形成される感覚体験を蓄積し、コンピュータやネットワークにより構築される場において仮想空間を構築することを目的とした通信である。システムは、@
センシングデバイス、A 通信路、B データベース、C 表現デバイスから構成される。 「仮想環境を構築する通信」 (1) 五感情報の移行・統合を利用した通信 「五感情報の移行・ 統合を利用した通信」 |
3−2−2 具体的な実現イメージ 医療・福祉においては、遠隔医療・遠隔手術、および感覚トランスファやパワーアシスト等による障害者の活動支援において、五感情報通信技術に対するニーズが存在する。1) 遠隔医療 2) 障害者等に対する日常生活支援
・2015〜2030 年頃には、感覚の相互作用を利用したセンシング・再生が実現する。 ・2030〜2050 年頃には、五感通信ネットワークによる五感コミュニケーションが実現する。
・2040〜年以降には、脳への直接アクセスによる五感コミュニケーションが実現する。 (研究課題の具体例) ・各感覚の特性に応じたネットワークのQoS 制御、帯域制御技術等の開発 ・感覚情報符号化圧縮技術・伝送プロトコルの開発 ・触圧覚センサ、ディスプレイ技術の確立 10年〜20年後あるいはそれ以降の中・長期的な研究課題としては、要素技術の研究開発の進展を踏まえた、各感覚情報のセンシング・再生技術の確立とともに、感覚間の相互作用を実現するディスプレイ技術の開発、センシング技術の開発や五感情報通信ネットワークの各種制御技術の確立、符号化縮技術への相互作用を活用などが挙げられる。 ・触覚、味覚、嗅覚の符号化圧縮技術の確立 ・味覚、嗅覚のセンサ、ディスプレイデバイスの開発 ・再生技術の開発
・各感覚情報のセンサー・ディスプレイ、通信方式の開発を目的とした、感覚情報の基本的性質を理解するための、各感覚受容・認知の基本的特性の解明 ・ 五感情報が与える心理学・生理学的効果の解明 ・ 五感情報通信への応用を目指した、言語・非言語コミュニケーションの解明中 ・五感情報の統合的利用を目的とした、感覚情報の知覚、学習、記憶との照合などの脳高次統合機能の解明 |
4−3 五感情報通信によるコミュニケーションの実現に向けた研究課題 ・公共性が高い分野の研究開発 ・多様な分野に共通的・普遍的な研究開発 ・波及性が高く緊急性を有する研究開発 ・国自らが利用者となる分野の研究開発 五感情報通信の研究推進体制 図4−2
五感情報通信技術の研究開発の推進体制図 http://www.soumu.go.jp/main_sosiki/joho_tsusin/policyreports/chousa/gokan/pdf/060922_2.pdf |