五感情報通信技術に関する調査研究会 報 告 書 ( 総務省 ) 平成12年11月 産業革命が世界を農業社会から工業社会に移行させたように、情報通信技術(IT)の活用は、情報流通の費用と時間を劇的に低下させ、密度の高い情報のやり取りを容易にし、世界規模での急激かつ大幅な社会経済構造の変化を生じさせることとなった。このいわゆるIT革命がもたらし得るメリットとしては、経済構造改革の実現、産業活動の効率化や、さらには生活の利便性の向上や多様なライフスタイルの実現といったものがある。 既に、新聞、電話、ラジオ、テレビもしくは映画などの多様なメディアを通じて、われわれは大量の情報を日々入手しているが、先に述べたように、近年では特に、高度な情報通信ネットワーク技術をベースにしたインターネットが急速に普及し、この傾向は一層加速されつつある。しかしながらその一方で、こうした情報通信技術の進展にもかかわらず、われわれが情報通信技術により入手できる情報は、電話やラジオのように音声であったり、テレビのように音声と映像などであったりと、聴覚と視覚という非常に限定的な感覚情報にとどまっている。 われわれは五感(通例では、視覚、聴覚、触覚、嗅覚、味覚が五感として称されているが、本報告書では人間の感じるすべての感覚を五感として扱っている。)を通じて外界の情報を収集し、その情報により周辺の状況を分析し、適切に反応している。これまで情報通信の技術に求められていたものが、ある種の臨場感伝達であるとするならば、今後は触覚、嗅覚、味覚といった情報についても視覚や聴覚と同様に、技術の枠組みの中に取り込んでいこうとすることは極めて自然な行き方であろう。k 五感情報を通信するという技術は、これまで聴覚情報と視覚情報が中心であった情報通信の分野に新たなディメンジョン(次元)を付加するほど革命的なものである。それは、2次元の平面映像が3次元の立体映像になっただけで遙かに高い臨場感を生み出すという事例から想像されるように、計り知れない効果があるはずであり、そこには今までの情報通信でわれわれが体験してきたものとは全く違う世界が広がっていると期待される。 具体的には、この五感情報通信が実現することにより、教育、医療・福祉からエンターテインメントまでの幅広い分野において、より一層の利便性の向上が図られるものである。しかしながら、現在の情報通信技術の研究開発においては、この五感情報通信を実現するために必要とされる様々な技術について、個別の感覚毎の研究は進められているが、五感としての統合された体系的な研究が、国内外を問わずあまりなされていないのが実状である。 その主な理由は、各感覚器の刺激受容のメカニズムについての研究は、個別にはかなり進められてきたものの、こうした基礎科学の分野と具体的なシステム構築にかかわる情報通信技術の分野との間に、大きなコミュニケーションギャップがあったからである。 実際に人間がどのように五感情報を脳内で知覚しているかという生理学・心理学的な面での解明が非常に難解であることはもちろんであるが、これらの成果を部分的であるにせよ、五感情報のセンシングや再生を支える工学的技術に応用していこうというプラグマティズムが今求められているのではあるまいか。 ※プラグマティズム・・反形而上学的傾向の哲学思想。神・霊魂を研究対象とする学問ではなく、人間の感覚で捉えることができる世界を研究対象とする学問。 それだけに、五感情報通信技術として研究開発を総合的に立ち上げることにより、世界に先駆けてこの新たな分野を確立し、国際的な競争力を確保することが可能である。また、一連の研究においては工学的分野と生理学・心理学的分野との学際的な連携が重要であり、その結果としてナノテクノロジーやライフサイエンスのような分野への非常に大きな波及効果が期待されるものである。 ※ナノテクノロジー・・髪の毛の太さの約十万分の一という超微細な世界をコントロール、その性質を利用した技術 このような背景の下、総務省(旧郵政省)では平成12年11月から「五感情報通信技術に関する調査研究会」を発足させ、五感情報通信技術に関する内外の研究開発動向等を調査・分析するとともに、電気通信技術審議会答申「情報通信研究開発基本計画」(平成12年2月)を踏まえ、これまで五感情報通信技術に関する研究開発課題、研究の推進方策等について検討を行ってきたものである。 本報告書は、本研究会における検討結果をとりまとめたものであり、これにより我が国における五感情報通信技術の研究開発が推進され、21世紀に相応しい新たな情報通信社会が開かれることを強く期待する。 五感情報通信技術に関する調査研究会
座長 はじめに 第1章 五感情報通信とは........... 1 1−1
より自然なコミュニケーションを目指して..........
1 1−1−1
自然なコミュニケーション ........... 1 1−1−2
本研究会の目的と検討事項 .......... 1 1−2
五感情報通信とは ........... 2 1−2−1
五感とは ........ 2 1−2−2
情報通信の観点からみた五感の特性 ..................
3 1−3
五感情報通信に関連する技術開発の歴史 .........
6 1−4
五感情報通信の今後に向けて......12 第2章
研究開発の現状....13 2−1 概要 .....................13 2−1−1
脳からみた五感情報通信とは
.............13 2−1−2
脳における感覚情報処理 ......14 2−1−3
科学感覚(味覚、嗅覚)情報の重要性
.................23 2−1−4
情報通信技術 ...............25 2−2 視覚 ..................30 2−2−1
生理学・心理学・その他
..............30 2−2−2
情報通信技術 ................31 2−2−3
他感覚との融合 .......36 2−3 聴覚 ................37 2−3−1
聴覚の仕事 ............37 2−3−2
音メディアを扱う情報通信技術の動向
................38 2−3−3
聴覚生理学・心理学の動向 ............40 2−3−4
聴覚と他の感覚との相互作用............43 2−3−5
まとめ .................45 2−4 味覚 ..................47 2−4−1
はじめに ............47 2−4−2
味覚の総論 ............48 2−4−3
味覚の各論−主として神経・中枢での情報処理・生理
.............51 2−5 嗅覚 .................60 2−5−1
生理学・心理学 .............60 2−5−2
匂いの通信 .............65 |
( 総務省 ) 平成12年11月 産業革命が世界を農業社会から工業社会に移行させたように、情報通信技術(IT)の活用は、情報流通の費用と時間を劇的に低下させ、密度の高い情報のやり取りを容易にし、世界規模での急激かつ大幅な社会経済構造の変化を生じさせることとなった。このいわゆるIT革命がもたらし得るメリットとしては、経済構造改革の実現、産業活動の効率化や、さらには生活の利便性の向上や多様なライフスタイルの実現といったものがある。 既に、新聞、電話、ラジオ、テレビもしくは映画などの多様なメディアを通じて、われわれは大量の情報を日々入手しているが、先に述べたように、近年では特に、高度な情報通信ネットワーク技術をベースにしたインターネットが急速に普及し、この傾向は一層加速されつつある。しかしながらその一方で、こうした情報通信技術の進展にもかかわらず、われわれが情報通信技術により入手できる情報は、電話やラジオのように音声であったり、テレビのように音声と映像などであったりと、聴覚と視覚という非常に限定的な感覚情報にとどまっている。 われわれは五感(通例では、視覚、聴覚、触覚、嗅覚、味覚が五感として称されているが、本報告書では人間の感じるすべての感覚を五感として扱っている。)を通じて外界の情報を収集し、その情報により周辺の状況を分析し、適切に反応している。これまで情報通信の技術に求められていたものが、ある種の臨場感伝達であるとするならば、今後は触覚、嗅覚、味覚といった情報についても視覚や聴覚と同様に、技術の枠組みの中に取り込んでいこうとすることは極めて自然な行き方であろう。k 五感情報を通信するという技術は、これまで聴覚情報と視覚情報が中心であった情報通信の分野に新たなディメンジョン(次元)を付加するほど革命的なものである。それは、2次元の平面映像が3次元の立体映像になっただけで遙かに高い臨場感を生み出すという事例から想像されるように、計り知れない効果があるはずであり、そこには今までの情報通信でわれわれが体験してきたものとは全く違う世界が広がっていると期待される。 具体的には、この五感情報通信が実現することにより、教育、医療・福祉からエンターテインメントまでの幅広い分野において、より一層の利便性の向上が図られるものである。しかしながら、現在の情報通信技術の研究開発においては、この五感情報通信を実現するために必要とされる様々な技術について、個別の感覚毎の研究は進められているが、五感としての統合された体系的な研究が、国内外を問わずあまりなされていないのが実状である。 その主な理由は、各感覚器の刺激受容のメカニズムについての研究は、個別にはかなり進められてきたものの、こうした基礎科学の分野と具体的なシステム構築にかかわる情報通信技術の分野との間に、大きなコミュニケーションギャップがあったからである。 実際に人間がどのように五感情報を脳内で知覚しているかという生理学・心理学的な面での解明が非常に難解であることはもちろんであるが、これらの成果を部分的であるにせよ、五感情報のセンシングや再生を支える工学的技術に応用していこうというプラグマティズムが今求められているのではあるまいか。 ※プラグマティズム・・反形而上学的傾向の哲学思想。神・霊魂を研究対象とする学問ではなく、人間の感覚で捉えることができる世界を研究対象とする学問。 それだけに、五感情報通信技術として研究開発を総合的に立ち上げることにより、世界に先駆けてこの新たな分野を確立し、国際的な競争力を確保することが可能である。また、一連の研究においては工学的分野と生理学・心理学的分野との学際的な連携が重要であり、その結果としてナノテクノロジーやライフサイエンスのような分野への非常に大きな波及効果が期待されるものである。 ※ナノテクノロジー・・髪の毛の太さの約十万分の一という超微細な世界をコントロール、その性質を利用した技術 このような背景の下、総務省(旧郵政省)では平成12年11月から「五感情報通信技術に関する調査研究会」を発足させ、五感情報通信技術に関する内外の研究開発動向等を調査・分析するとともに、電気通信技術審議会答申「情報通信研究開発基本計画」(平成12年2月)を踏まえ、これまで五感情報通信技術に関する研究開発課題、研究の推進方策等について検討を行ってきたものである。 本報告書は、本研究会における検討結果をとりまとめたものであり、これにより我が国における五感情報通信技術の研究開発が推進され、21世紀に相応しい新たな情報通信社会が開かれることを強く期待する。 五感情報通信技術に関する調査研究会
座長 はじめに 第1章 五感情報通信とは........... 1 1−1
より自然なコミュニケーションを目指して..........
1 1−1−1
自然なコミュニケーション ........... 1 1−1−2
本研究会の目的と検討事項 .......... 1 1−2
五感情報通信とは ........... 2 1−2−1
五感とは ........ 2 1−2−2
情報通信の観点からみた五感の特性 ..................
3 1−3
五感情報通信に関連する技術開発の歴史 .........
6 1−4
五感情報通信の今後に向けて......12 第2章
研究開発の現状....13 2−1 概要 .....................13 2−1−1
脳からみた五感情報通信とは
.............13 2−1−2
脳における感覚情報処理 ......14 2−1−3
科学感覚(味覚、嗅覚)情報の重要性
.................23 2−1−4
情報通信技術 ...............25 2−2 視覚 ..................30 2−2−1
生理学・心理学・その他
..............30 2−2−2
情報通信技術 ................31 2−2−3
他感覚との融合 .......36 2−3 聴覚 ................37 2−3−1
聴覚の仕事 ............37 2−3−2
音メディアを扱う情報通信技術の動向
................38 2−3−3
聴覚生理学・心理学の動向 ............40 2−3−4
聴覚と他の感覚との相互作用............43 2−3−5
まとめ .................45 2−4 味覚 ..................47 2−4−1
はじめに ............47 2−4−2
味覚の総論 ............48 2−4−3
味覚の各論−主として神経・中枢での情報処理・生理
.............51 2−5 嗅覚 .................60 2−5−1
生理学・心理学 .............60 2−5−2
匂いの通信 .............65 2−6 触覚 ............69 2−6−1
生理学・心理学・その他 .............69 2−6−2
情報通信技術 ...............73 2−7
感覚間の相互作用
..................83 2−7−1
間接知覚論での相互作用
...............83 2−7−2
直接知覚論とその枠組みでの相互作用の議論
..........84 2−8
海外における研究開発動向
.................98 第3章
五感情報通信の実現イメージ ...... 100 3−1
五感情報通信に対するニーズ ...... 100 3−2
五感情報通信の実現イメージ ..................
102 3−2−1
五感情報通信の類型化 .......... 102 3−2−2
具体的な実現イメージ ......... 110 第4章
今後の研究課題と目標 .......... 115 4−1
五感情報通信技術の技術開発ロードマップ .........
115 4−2
五感情報通信の実現に向けた個別要素の研究課題 ...............
118 4−2−1
工学的アプローチ ......... 118 4−2−2
生理学・心理学的アプローチ....... 119 4−3
五感情報通信によるコミュニケーションの実現に向けた研究課題 ....
119 4−3−1
短・中期的な研究課題 .............
120 4−3−2
中・長期的な研究課題 .............
121 4−4
研究開発の推進方策 ..............
122 4−4−1
研究開発推進のための考え方 ..........
122 4−4−2
研究開発推進のために各研究セクタに期待される役割 ............
122 4−4−3
研究開発体制 .............. 124 4−4−4
効果的研究推進のために留意すべき事項 ......
128 付 録 ............. 129 1.五感情報通信に関連する基礎研究・技術開発の歴史(詳細版)...... 131 2.海外における研究動向........... 141 3.国内における研究動向 .................. 145 4.調査研究会開催要綱等 ............. 155 5.調査研究会検討経過 ............. 159
第1章
五感情報通信とは 1−1
より自然なコミュニケーションを目指して 1−1−1
自然なコミュニケーション 人間は、対面コミュニケーションの場面で、眼や耳だけでなく、自らの有する全ての感覚器を用いることにより、相手との情報交換を図っている。その際に、それぞれの感覚器で獲得された情報が脳機能により統合され、現実感が育まれる。ところで、近年、社会・経済・生活場面での情報通信の役割が増大しつつあり、遠隔地間におけるコミュニケーションをリアルタイムでかつ、対面コミュニケーションと差異の無い環境を提供する技術開発が活発になっている。 つまり、遠隔地間のコミュニケーションは、電話からテレビ電話へと進展することが自然な流れであり、将来的には画像や音声に加え、触感や味、匂い、その他深部感覚や平衡感覚に関してもコミュニケーション相手との間で交換・共有することが当然となることが予測される。 1−1−2 本研究会の目的と検討事項 情報通信技術の進展と社会への浸透、および今後の自然なコミュニケーションに関して俯瞰(ふかん)すると、 視覚情報と聴覚情報に、嗅覚情報、触覚情報、味覚情報、その他深部感覚情報や平衡感覚情報を加えた五感情報を統合的に通信に利用することが必要である。五感情報の統合的な利用が、対面コミュニケーションにきわめて近い、より自然なコミュニケーションを遠隔地間でも行うことを可能とする。 ※
私の仮定・・ハイテク機器を使った遠隔操作で、本人だけが認知できる @「声や音の送信(聴覚)」 A「画像の送信(視覚)」 B「匂いの送信(臭覚)」 C「性器などへの触手感の送信(触覚)」 D「辛い、甘いなどの食感の送信(味覚)」など、五感の研究が総務省主導で行われている。五感情報通信の統合的な生体実験は、公には行えない。よって、宗教団体などによる狂信者の仕業にすり変えられているかも。政府は「見て見ないふり」が出来る現法体制を変えようとしない。「思考盗聴」などのハイテク被害者を犠牲にしている。五感情報通信の個別のプロジェクトで、生体実験される人間が出てくることを想定して、「統合失調症」という病名も作られたと思われる。 また、五感情報通信の実現は、多大なる波及効果を生むことも想定される。他国ではあまり注目されていない基礎研究であることから、実用的な国際特許の取得が予測され、さらには、テレワーク、遠隔医療・教育、文化保存等幅広い応用分野の活性化が期待される。こうした分野の活性化は、それぞれに、新規産業の育成や地域振興につながるものである。 私の意見・・他国に先駆けて研究をする段階において、ネット上で騒がれている電磁波を使った肉体的攻撃、精神的虐待を、国連で取り上げられたら、日本政府は、たちまち、世界から激しいバッシングを受けることになる。実用的な国際特許の取得などというのは、大企業や、軍需産業などの利権に貢献するだけで、一般国民への恩恵は、すずめの涙程度のものであると思う。 以上の背景から、五感情報通信技術について、その将来展望を明らかにするとともに、実現に向けて取り組むべき研究課題や研究開発の推進方策等に関して、次の点について調査研究を実施した。 ・
五感情報通信技術に関する内外の研究開発動向 ・
我が国が取り組むべき研究開発課題と研究開発の推進方策 ・
五感情報通信技術の将来展望 本報告書は、五感情報通信の歴史および研究開発の現状を調査・整理した上で、将来の実現イメージと社会的インパクトを明確にし、研究開発課題の明確化、研究開発課題など研究開発の方向性を提言するものである。 1−2 五感情報通信とは―――― 1−2−1 五感とは 人間は、感覚器官を通して、周囲の環境に係わる情報を獲得している。主要な感覚器官は、眼、耳、皮膚、口、鼻等であり、これらの個々の感覚器官を通して人間が獲得する感覚そのものを、本報告書では「感覚のモダリティ」と言う。感覚のモダリティは、特殊感覚と一般感覚に分けることが可能である。特殊感覚は、視覚、聴覚、嗅覚、味覚、平衡感覚があり、一般感覚には、温・冷・痛等を感じる皮膚感覚、筋の伸張等を感じる深部感覚、および内臓感覚が含まれる。 ※ モダリティ・・話し手の推測の部分「きっと〜だろう」 ところで、人間が感知可能な情報は、物理化学的刺激を伴うものである。通常は、光刺激、音刺激、化学的刺激、機械的刺激、熱刺激の五つが、感覚器官により感受される刺激である。光刺激は眼に、音刺激は耳が感受することにより、視覚や聴覚等の感覚が形成される。さらには、機械的刺激や熱刺激は、皮膚が感受する。気化性の化学物質は、鼻が、可溶性の化学物質は口内で感受される。適切な量の刺激(適刺激)を受けて、それぞれの感覚器官が、感覚体験を構築する。 感覚器官と感覚のモダリティの関係は、感覚器官が受容した刺激により、感覚のモダリティ毎に感覚体験が形成されることが普通であるが、ある種の刺激は複数の感覚器官に作用すること、および刺激が無い場合でも感覚体験が形成されることがあるため、人間は全ての感覚器官を介して、それらが受容した刺激により形成される感覚のモダリティ全体により、感覚体験を獲得していることに注目すべきである。 本報告書で言う五感は、こうした感覚のモダリティ全体により構成されるものであり、感覚器官が受容した刺激により形成される視覚、聴覚、触覚、嗅覚、味覚といった五つの感覚に代表される人間の感覚全体を指している。 1−2−2
情報通信の観点からみた五感の特性 本報告書においては、五感を情報通信の対象と捉え、五感情報通信について検討する。五感を情報通信の対象と捉える場合、センシングした五感に係わる情報を符号化し、符号化された情報を通信路により伝達を行い、再現デバイスが符号化された情報を再現する。そのため、センシング技術および再現技術に関する技術開発が必須である。さらには、センシングおよび再生を適切に行うためには、それらについて人間のメカニズムを明らかにすることが重要であり、脳内処理を解明する必要がある。 ※センシング・・・センサーで物理量や音・光・圧力・温度を計測・判別すること。 私の感想・・・人間のメカニズムを解明するというのは、人間の五感を符号化、それを送信、パソコンで再現すると言う意味だろうか?。催眠術だって、自分の意志で「催眠にかかりたい」欲求と、「催眠に絶対にかからないぞ」という反発で結果が違ってくる。脳内処理の解明が、人間の「こころ」の働きまでも変えることは不可能じゃないかと思うのだが・・ そこで、五感情報のうち代表的なものとして視覚・聴覚・触覚1(平衡感覚、皮膚感覚、深部感覚)・味覚・嗅覚について、センシング技術および再現技術に係わる技術レベル、および脳内処理の解明のレベルについて鳥瞰(ちょうかん)する。先に述べたように、視覚と聴覚は光や音の物理的刺激により形成される感覚である。これらは、受容器の解明が進み、センシングデバイス、再現デバイスに関しても実用レベルとなっている。ただし、脳内機能に関する解明は十分でない。 触覚は、機械的刺激・熱刺激等の物理的刺激を入力とするが、受容器の解明が進んでおらず、センシングデバイスに関しては実用レベルとなっていない。再現デバイスに関しては一部で実用レベルになっているが、広く利用されてはいない。 私の感想・・・「電磁波犯罪はスミレの匂い」というHPをみると、触覚の送信が、どう悪用されるかが解る。このサイトの管理人も下腹部や性器への触手感を経験している。また、男性も、性器を握られたりするようである。 味覚と嗅覚に関しては、化学的刺激により形成されるが、受容器の解明が進んでおらず、センシングデバイス、再現デバイス等も研究途上である。さらに、各感覚モダリティに共通して、脳内過程に関する解明が進んでいない。今後、五感全体を統合した五感情報通信の実現に当たっては、脳内過程に関する研究が不可欠である。 表1−1に、感覚モダリティ、感覚器官、刺激、感覚の性質等の関係を情報通信の観点から総括する。さらに、図1−1に、感覚モダリティ別の研究開発の進展度合いのイメージを示す(詳細は第2章にて述べる)。
1−3
五感情報通信に関連する技術開発の歴史 五感情報通信に関連する技術開発は、19 世紀初頭から行われた。19 世紀初頭に、ヤングにより色の三原色説が唱えられ、視覚機構の解明の端緒となった。19
世紀には、電話、電信、無線電信、蓄音機等今日の情報通信技術の基礎となっている技術が発明された他、脳において運動野や言語野が発見されるなど、生理学の基盤が確立された。20
世紀前半には、ラジオやテレビが実用化され、真空管や電子複写機が発明された。
20
世紀後半となり、1950
年代にはカラーテレビが実用化され、視覚と聴覚における多くの機能を利用する遠隔地通信は当然の時代となった。また、聴覚においてはカクテルパーティ効果が発見され、以降の研究に影響を与えた。生理学・心理学面においては、ヒトの脳の機能地図が解明されるとともにレム睡眠が発見された。1960
年代から1970 年代にかけてはコンピュータの社会への浸透が進み、1969 年のARPANET
運用開始に端を発したコンピュータネットワークの発展、1975
年のマイクロチップの発明により、情報のデジタル伝送が実用化され、五感全体に情報通信の可能性が模索される時期となった。 生理学・心理学面においては、アフォーダンス理論、ニューロンの発見など神経細胞の機能解明、マガーク効果などの感覚間相互作用の発見等五感に共通した知見の蓄積が着々となされる一方、1970
年以降個々の感覚に関する機能の解明が推進され、視覚・聴覚については知覚に係わる機能の解明が進み、嗅覚・味覚に関しては認知に関する機能の解明が進んだ。 1989年には世界初の商用VR(Virtual
Reality)システムが発表され、以降マルチメディア情報通信の本格化に伴い、視覚については3D
映像の研究が、触覚については再現ディスプレイの研究が盛んになり、視覚・聴覚・触覚の3感を利用したシステムの実験が開始された。また、デジタル映像符号化方式(MPEG-1、MPEG-2)の標準化をはじめとする五感情報通信技術に関連する標準化作業についても進展が見られ始めている。表1−2に、五感情報通信に関連する基礎研究・技術開発の歴史を示す。
人間は、常に全ての感覚を通して獲得される情報の中で生きている。感覚には、視覚、聴覚をはじめとして、多くの種類があり、それらを介する情報の統合化が日常的に行われている。一方、情報通信技術においては、現在まで、実現の技術的難度が比較的低いという主たる理由により、視覚と聴覚に訴える技術開発が主流であった。テレビ、ラジオ等の放送、電話やテレビ電話等の通信、電子メールやストリーミングといった情報技術に立脚した通信のいずれにおいても、訴えかける感覚は、視覚と聴覚に偏向していた。 近年、触覚に対する支援技術が、シュミュレータ等においても実用化されているが、一般的な普及は進んでいる訳ではない。そこで、今後は、人間が日常的に行っている知覚体験を、情報通信技術により包括的に支援することが重要となる。視覚、聴覚に加え、触覚を通常利用可能とし、嗅覚や味覚および他感覚においては、匂いや味を符号化することを可能とすることにより、それぞれの感覚器官に訴えかけたり、複数の感覚器官に統合的に刺激を与えたりすることを可能とする技術開発が必要となっている。こうした状況下において、今後の五感情報通信技術の研究開発の今後を検討するため、以下第2章では研究開発の現状を、第3章では五感情報通信の実現イメージを、そして第4章では五感情報通信の研究推進方策についてべることとする 私の感想・・・臭覚や、味覚、触覚は、膨大な国家予算と、時間をかけて研究するに値するものかどうか疑問である。テレビやパソコンに、料理の匂いが送信されたり、事故現場からガスの臭いが送信されたり、悪臭が送信されたら、香りや臭いに抱く個々の感覚が無視されることになる。嫌いな料理の匂いや、嫌いな香りを、嗅ぐわされることになりかねない。ある意味、精神的虐待になりかねない。 私は今、創価学会の集団ストーカーに遭っている。加害者側から匂いの送信を二度経験している。「おしっこの臭い」と、「排気ガスの臭い」である。感覚伝送だから、いづれも10分位で消えた。全国にいる集団ストーカー被害者たちは、すでに五感情報通信プロジェクトの生体実験にされているのだ。 総務省はそれを黙認している。五感情報通信の研究の過程で、被害を想定して「統合失調症」という病気を創ったとしか思えない。被害者は警察に行っても相手にしてくれない。泣き寝入り状態だ。そのため、各地で意味不明の事件続出、自殺者増加。いじめ増発を、引き起こしている。国家の緊急事態発令が出てもいい位なのに、なぜ、総務省は見てみぬふりをしているのか解らない。 もしかして、五感情報通信プロジェクトに創価学会が膨大な資金援助をしていて、総務省が買収されたんじゃないでしょうね。フランスでは、創価学会はカルト認定されているのに、日本では、カルト集団の片棒を担いでいる公明党が政権入りしている異常さだ。総務省はそれらについて、見解を出して欲しいものである。 12 第2章
研究開発の現状 2−1 概要 ―――― 2−1−1
脳からみた五感情報通信とは ――――― われわれは、環境内である物体を見たときには、過去の経験や学習による記憶に基づき、何に使用するものか、手触りはどうか、美味しい食物かあるいは路傍の石のように無意味なものかなど数多くの関連事項を想起して、それが何であるかを理解する。たとえば、食事をする場合、茶わん、茶わんに盛られたごはん、箸など、各々が何であるか、その使用方法を含めて認知し、自然に茶わんを手に持って箸でご飯を食べる さらに、われわれは状況に応じて、たとえば、相手の顔の表情を見て喜んでいるのか、怒っているかなどを認知して臨機応変に行動できる。一方、認知障害の一種である視覚失認症の患者では、日常生活でもしばしば重大な誤りを犯し、歯ブラシを櫛と間違えたり、髭剃り用クリームを歯磨き粉と間違えたりする。すなわち、ヒトや動物が環境に応じて適切に行動するためには、感覚情報を単に知覚するだけでなく正しく認知することが必須の条件である。われわれが日常生活を難なく過ごせるのは、この脳の認知機能が常に正常に機能しているからである。 この際、外界環境から感覚情報を受容して脳が扱う情報量は、毎秒100 億ビットにも達すると言われている。ヒトの脳内には、約1000
億個以上の神経細胞(ニューロン)と大脳皮質だけでも10 の14
乗個ものシナプス(ニューロンとニューロンの結合部)があり、また、各々のニューロンはそのシナプス形成において10 の28
乗もの自由度をもつと考えられている。 脳内には、このような超並列的な情報処理システム(ニューラルネットワーク)が存在し、そのような膨大な情報のリアルタイム処理を可能にしている。これら認知過程は、後述するように感覚情報の知覚、学習、記憶との照合など脳の高次統合機能の総合されたものである。このようにわれわれは日常何気なく生活しているが、その本質は感覚器と運動器を介した外界環境との相互作用である。五感情報通信では、遠距離またはヒトが物理的に存在することが不可能な場所の外界環境情報を脳内に高精度に再現することにより、ヒトと外界環境との相互作用を飛躍的に増大させることを目指している。すなわち、五感情報通信はこの相互作用の距離 13 的な延長を図るものであるが、脳内で起こる現象の本質は変わらないと考えられる。この脳の仕組みを知ることは、五感情報通信において通信すべき情報の質および情報量の設定につながり、各種センサーや感覚の再生(再現)装置の設計にも直接関わる非常に重要な問題であると考えられる。本章では、以上の観点から脳内の感覚情報処理過程を中心に概説する。 2−1−2
脳における感覚情報処理 (1)
感覚の種類と符号化 五感情報通信では、生体が受容する感覚情報を総合的に通信伝達しようとするものであり、生体が受容する感覚情報を知ることはその第一歩である。表2−1に示してあるように、感覚は、それを受容する感覚受容器の存在部位により、特殊感覚と一般感覚に分類され、一般感覚はさらに体性感覚と内蔵感覚に分類される。特殊感覚は、視覚、聴覚、嗅覚、味覚、および平衡感覚に、体性感覚は、さらに皮膚感覚と深部感覚に分類される。これら感覚の種類を感覚種とよぶ。 このうち、*
印をつけた感覚は意識的に感知できる感覚である。これら感覚種には、それぞれ固有の受容器 があり、この受容器により物理・化学的情報である感覚情報が神経情報(神経インパルス)に変換される(この過程をトランスダクションという)。例えば、目は光刺激を、耳は音刺激を神経インパルスに変換するが、これら感覚受容器が変換する特定の感覚刺激を適刺激という。個々の感覚受容器における変換様式については、次節と各論を参照して頂きたい。
14 表
2-1 感覚の分類 表2−2は、感覚刺激の発生する場所により、感覚受容器を分類したものである。外界環境情報を受容する受容器が外受容器であり、これら外受容器が受容する感覚には、皮膚感覚、味覚、聴覚、視覚、および嗅覚が含まれ、一般に五感と呼ばれている感覚である。尚、平衡感覚(重力や回転および直線移動における加速度感)は平衡器官の有毛細胞で感知されるが、有毛細胞を刺激するには被験者自体を物理的に移動させる必要があり今後の課題である。
15 (2)
五感情報の特性とセンサー 生体の内外の感覚情報を受容する感覚機能は、生体が外界環境に反応し、生体内の内部環境の恒常性を維持していくために必要不可欠の機能である。とくに五感(味覚、嗅覚、皮膚感覚、視覚、聴覚)はわれわれが姿勢を正しく持ち健康を維持し安全に活動する上で重要な感覚である。皮膚感覚のうち触覚は物理的刺激である圧力や振動等の変化に対応する感覚であり機械的感覚(Mechanical senses)とも呼ばれる。 物理的刺激を電気的信号に変換する技術が進歩し、皮膚感覚はタッチセンサーや温度センサーとして実用化されている。視覚と聴覚は光と音の相違はあるが、遠方で発信された物理的エネルギーを空間内に容易に定位でき、極めて類似性の高い感覚である。 私の感想・・・銀行のATMが指でタッチして操作するが、真冬に指が凍っている時には、画面が反応しないときがある。温度センサーの働きである。集団ストーカーに遭っている被害者の中には、映像が送られてくるとか、24時間、声が聞こえてくるとかの報告がある。私自身も、部屋の空間で、人の声や、機械の操作音など聞いたことがある。現在は、車の騒音が聞こえてきて、寝れない日もある。自然の騒音なら、アルミドアを閉めると、ピタリと音はなくなる。しかし、電磁波による騒音は、窓を開けていても、閉じていても、騒音の大きさは変わらない。総務省が、この研究過程の実態を把握できない間に、電磁波ハイテク機器を悪用した組織犯罪が横行してしまっている。総務省は、早急に、その現実に目を向けるべきである。 視覚は、水晶体(レンズ)に入射した光が、眼底の網膜(カメラのフィルムに相当)にある視細胞や神経節細胞を刺激することにより得られるが、実際の画像としては脳(大脳視覚野)に投影されて知覚する。そして興味のある対象、例えばテニスボールの動き等を視覚の中で選択して見ることも出来る。網膜からの視覚情報は、脳の左右にある視覚野にそのまま右から右脳へ入力する一方、右から左脳にも交叉して入力され遠近感などの立体視を可能としている。この仕組みの一部に障害が生じると動体視力が低下し球技が困難になるだけでなく上手に物を手に取ったり危険を回避したりする能力が低下する。技術的には、すでに視覚ではカメラやコピ 16 ーさらにはテレビを用いて画像の広汎な伝播が可能になっている。聴覚では、音による刺激を中耳の鼓膜に共鳴振動させ、その振幅と波長よりそれぞれ音の強さと高さとして内耳の有毛細胞と聴神経が受容し、脳の聴覚皮質で言葉か、音楽か、危険信号か等の音の持つ意味を理解して行動に反映させる。 聴覚でも、今日携帯電話のように日常的に利用され、双方向の情報交換が可能になっている。しかし、種々のセンサーによりこれら物理的感覚を電気的信号に変換して情報を得ることは出来ても、感覚情報を認識し、過去の経験に基づいて行動を選択するための判断をしているのは、われわれの脳の高次機能である学習記憶によることを忘れてはならない。 嗅覚と味覚は化学物質の受容体への刺激により生じる感覚で化学感覚(Chemical
senses)と呼ばれる。嗅覚では、われわれの身近にある対象物が発する特有の化学物質を香りや匂い、あるいは危険を知らせる警報として理解する。動物相互の嗅覚刺激としてフェロモン等がある。これは雌雄が離れて生活し繁殖期に会合できる手段として発達したもので、高等動物では鼻孔内の鋤鼻器で受容し、性ホルモンの分泌を惹起して性行動を誘発する。ヒトでは鋤鼻器の存在は否定的であるが、同室する女性間では月経周期が同調していることからヒトにもフェロモン様の機能が存在すると考えられている。 味覚では、食事中に食物を口にいれて咀嚼し、唾液中に溶出する栄養素等の化学物質の刺激により食物か否か、食物なら何か、そして身体が求める栄養素を含むものかについて判断し、問題がなければ嚥下して消化吸収過程に入る。しかし、食中毒の経験など過去の体験から問題が生じる可能性がある場合は吐き出し、摂食を中断する。また、味覚情報は、消化液の分泌を盛んにして咀嚼後の消化吸収を促す。消化吸収過程では、消化物に含まれる電解質、糖やアミノ酸濃度に関する情報が、消化器官に分布する迷走神経などの自律神経系(内臓感覚)を介して脳に入力され、脳より再び各消化器系各臓器にフィードバックされ円滑な消化を促す。このような仕組みにより、吸収後の栄養素の代謝が調節され、食事の前後でも個々の栄養素の体液濃度が一定に保たれる(生体恒常性、ホメオスタシス)。 これら嗅覚、味覚、そして消化吸収過程で生じた内臓感覚は、すべて物質の化学的性質を伝える化学感覚であり、化学物質が受容体に結合することにより受容器細胞の膜電位が変化し神経インパルスに変換されて脳に情報として入力される。従って、身のまわりにある数限りない化学物質 17 に対して、それを認識し行動に反映させるためには、触覚、視覚、聴覚と同様に極めて高度の脳内感覚情報処理と過去の記憶情報に基づいた判断が必要となる。 (3)
脳における感覚の情報処理 一般的に、感覚システムは、感覚器官
→ 皮質下中継核 → 大脳皮質第一次感覚野 → 単一種感覚連合野 →多種感覚連合野 → 超感覚性皮質、大脳辺縁系という経路をとる(図2−1)。 図 2-
図
2-1 感覚システムの経路 各感覚情報はすべて感覚器官で神経インパルスに変換されるので、感覚器官以後はインパルス自体では感覚種の違いを識別できない。しかし、インパルスに変換された情報は、それぞれの感覚受容器から各感覚種ごとに異なる神経経路(異なる中継核)を経てそれぞれ異なる大脳皮質感覚野に到達する。大脳皮質には、それぞれの適刺激に応答して興奮する様々なニューロンが一定の順序で規則正しく配置されている。 例えば、大脳皮質視覚野では網膜の特定の部位を刺激したときに興奮するニューロンがその網膜の配置に対応して、体性感覚野では身体の特定の部位を刺激したときに興奮するニューロンが身体の配置に対応して配置されている。したがって、各受容器をその適刺激で刺激すると、大脳皮質第一次感覚野の特定のニュ 18 ーロンが興奮し、それぞれの知覚が生ずる。このように、各感覚を感じる仕組みは、異なる大脳皮質感覚野のニューロンが興奮することによるものであり、各大脳皮質を人工的に直接電気刺激すれば感覚を人為的に起こすことが可能である。最近この原理を応用して、視力を失った患者の大脳皮質視覚野を刺激して視覚を回復させる試みがなされている。第一次感覚野以後は、感覚情報が順次統合され、高次の情報に変換され ていく(図2−2)。
図 2-2 第一次感覚野以後の感覚システムの経路 視覚経路では、さらに背側路と腹側路に分かれ、それぞれ視空間情報と物体情報処理に関与している。それに伴いニューロンの応答特性も変化し、大脳皮質第一次視覚野(17
野)には網膜の特定の位置に投影された線分の傾きや運動方向に対して選択的に応答するニューロン(特徴抽出ニューロン)が存在するが、腹側路の視覚連合野である下側頭皮質のニューロンは、様々な図形パターンやヒトの顔など特定の視覚パターンに応答する。これら各感覚連合野からの情報は、多感覚連合野(上側頭溝皮質など)、さらには超感覚皮質(頭頂葉後部皮質や前頭連合野など)および大脳辺縁系に統 19 私の感想・・・人間はストレスが強すぎると満腹中枢がやられて、食べても食べても、満足感がない。何か口寂しい。俗にいう妬け食いである。体に悪い。むしろ、心配事があるときは、食べないほうが健康的である。逆に激やせも節食中枢の破壊である。い五感の総動員が関与しているということか。 このような視床下部の仕組みにより、血中栄養素やホルモン等の液性情報が直接両中枢のニューロンの活動性の変化に変換され、生体が欲求する栄養素に対応した食欲や嗜好性の変化が生じると考えられる。したがって視床下部では、五感は言うにおよばず、消化器からの内蔵感覚および中枢性化学感覚などすべての感覚間の相互作用に基づいて食物摂取を調節している。われわれは脳による生体恒常性維持の仕組みを食情報調節機構と呼び、栄養療法による脳機能のリハビリテーションの可能性を提案している。これは加齢やいわゆる生活習慣病と呼ばれる代謝性疾患により体液中の個々の栄養素の恒常性の乱れが生じた際に、生体欲求が高まり嗜好性を示す特定の栄 24 養素を通常より多く摂取し、脳の可塑性を惹起することにより生体恒常性の維持機能を高め、病態の進行を抑制もしくは予防に役立つのではないかと考えたことによる。五感情報通信にとって重要な点はまず生体における五感理解を深め境界領域を含め各情報の脳内処理と相互関係を研究により明らかにすることである。並行して現実に試作が可能で物理的感覚など五感の中で取り組みが比較的容易な領域を中心ににしてロボットを含め種々のインターフェイスにより日常生活に活用されるものに仕上げていくことにより近未来における化学感覚を含めた包括的な五感情報通信の全体像が見えてくると考える。 2−1−4
情報通信技術 (1)
伝送技術 情報通信は、今や世界の隅々にまで張り巡らされつつあるインターネットの利用が前提となる。インターネットは、狭義には経路制御プロトコルとしてIP(Internet
Protocol)を用いる、文字などのデータ通信に適したパケット交換方式のコンピュータネットワークである。したがって、インターネットは、もともとは動画や音声の通信用に設計されたネットワークではなく、WWW(World
Wide Web)の開発によって、急速に世界の情報ネットワークの主流となった1990 年代の半ば以降、QoS(Quality of
Service制御の名で、動画、音声、すなわち視覚と聴覚に訴えるインターネット上での情報通信の研究が活発に行われるようになった。 五感情報通信との関連では、通信・伝達へのニーズが高い視覚、聴覚に訴える動画、音声の通信については、アナログが主流の1980 年代以前から、電話やテレビ会議、テレビ放送などの様々な形で通信が実現されてきた。触覚については、仮想現実感(VR:
Virtual reality)システムが開発され始めた1980
年代末頃から、データグローブを使った遠隔物体設計のような、通信に関する研究も開始されたが、実用面では未だ緒についたばかりの段階である。通信・伝達へのニーズが視覚と聴覚に比べ相対的に低い、味覚と嗅覚については、通信に関する研究は殆どなされていない状況である。動画や音、音声のディジタル符号化の技術が人間の感覚レベルではほぼ確立しつつあ 25 るのに対し、味や香りは、その感覚からそれを伝えるための表現、符号化へのギャップが大きく、通信を実現するまでにはまだ幾つもの大きなブレークスルーが必要と考えられる。さらに、視覚、聴覚、触覚と、味覚、嗅覚には、感覚の伝達のための情報の符号化において大きな相違点がある。すなわち、前者の3感覚が人間の感覚にいかに近づけるかという情報圧縮の方式が主体で通信品質については比較的客観的な評価ができるのに対し、後者の2感覚は化学反応が伴うこと、感覚自体が人の好みに関連するため客観的評価が難しい、という点である。 感想・・・見る、聞く、触れるという感覚は、情報の圧縮が容易なのかもしれないと。美しい風景への感動は、ほぼ人間は共通している。美しい音楽の鑑賞も、ほぼ人間は共感できる。ミンクの毛布の手触りも、ほぼ人間に共通した感覚である。しかし、食べ物は好き嫌いがある。週間や、国によっても違う。香りも人それぞれ違う。 表2−4に、五感と通信・伝達のニーズ、現状の関係をまとめて示す。
1)
視覚と聴覚 動画や音を通信を通して人間の感覚に忠実に伝達するためには、通信帯域(速度に相当)のほかに、伝送遅延、遅延のばらつき(ジッタ)、誤り率/パケット廃棄率などのパラメータも品質の尺度となる。図2−3に、文字やイメージ(静止画)と対比させる形で動画、音声における伝送遅延と誤り率の関係を示す。通信帯域については、音声からハイファイオーディオに至る音は100kbps
程度でほぼ十分といわれている。動画については、テレビ録画 26 のVCR
の画質を得るには1.5Mbps(圧縮方式はMPEG-1)、テレビ放送並みの画質を得るには6Mbps(圧縮方式はMPEG-2)、HDTV
並みの画質を得るには22Mbps 程度(圧縮方式はMPEG-2)の通信速度が必要という評価がなされている。1.5Mbps
以下の例えば無線通信のような低速環境においても、品質劣化をできるだけ抑えた圧縮方式(MPEG-4)が、研究から実用化に移行しつつある段階である。図2−4に通信帯域と動画の符号化式との関係を示す。図にはTV
会議に相当する同時双方向通信の符号化方式も合わせて示す 27
現在、数km 以内のLAN(構内)環境では1Gbps 以上のEthernet
が実用化されており、多くの同時通信要求による輻輳が起こらない限り、HDTV 並みの動画も殆ど品質を落とすことなく通信が可能である。一方、家庭のTV
やパソコンでの視聴に対応する公衆網については、現在の電話回線では最大56kbps 程度のため動画の品質は低い(1 秒数コマ)。しかし、2000
年から徐々に導入されつつあるCATV を使ったケーブルイン
ターネットや、2001 年から急速に普及し始めているADSL(AsymmetricDigital Subscriber
Line)のような高速インターネットサービスを用いると、下りで最大数Mbps のため、VCR 並み以上の品質の動画配信が可能となる。さらに2002
年以降本格的な導入が予想されている光ファイバを用いたFTTH(Fiber To The
Home)と呼ばれる超高速インターネットサービスを用いると、下りで最大数10〜100Mbps 程度のため、HDTV
並みの品質の動画配信も実現可能となる。
2000
年末に政府から発表されたe-Japan のIT 基本戦略では、2005 年までに3,000
万世帯で高速インターネットサービス、1,000 万世帯で超高速インターネットサービスの導入を計画しており、2005
年頃には日本の9割以上の世帯でVCR
並み以上の品質で動画配信が可能になると予想される。しかし、利用者が適正な通信コストで動画、音声の配信を享受するには、現在の日本のような従量課金ではなく、米国で既に始まっている常時接続が必須となる。以上の通信帯域の議論は、通信したい動画が伝送路を占有するという仮定に基づいている。しかし、インターネットのようなオープンなパケット網では、多様なトラフィックが同時に混ざり合って輻輳するため、一般にはエンド-エンド間での通信帯域は保証されない。
このため、伝送遅延をできるだけ抑えるためのQoS 制御が重要となっている。インターネットにおけるQoS
制御の代表例として、パケットの優先的な転送・廃棄制御を行うDiffserv(Differentiated
Services)、基幹網において処理オーバヘッドの大きいIP
ルーティングを行わずに固定ルーティングで高速にパケットを転送するMPLS(MultiProtocol Label Switching)がある。世界に先駆けて広域インターネットがブロードバンド化している米国では、2000 年より、CDN(Content
Delivery
Network)と呼ばれる、輻輳が起こっても動画や音声をできるだけ品質よく家庭や企業に配信す
28
るネットワークサービスが開発され始め、以上に述べたDiffserv やMPLSのようなQoS
制御をはじめ、ネットワークやサーバ・ルータの負荷をバランスよく分散する制御、コンテンツやサービスプログラムのキャッシング制御(利用者に高品質の動画、音声を提供することを目的として、利用者からのアクセス頻度が高いコンテンツを前もってできるだけ利用者の端末に近いサーバに移動させておいて応答時間を早める)、
ミラーリング(キャッシングと同じく利用者への応答時間を早める目的でアクセス頻度の高いコンテンツを複数のサーバ上にコピーしておく)、通信帯域の保証制御などの技術に関しても研究開発が活発になっている。大規模網を対象としたこれらの様々な技術を効果的に組合せ、高品質なコンテンツ配信にどの程度寄与できるか、という評価がなされつつある。現在のペースでネットワークが高速化され、適正な通信コストが設定され、ここで述べたQoS 制御をはじめ各種の制御技術が効果的に活用されると、前述のように2005
年頃以降、各家庭への高品質の動画配信が可能になる。
2
触覚 3次元の座標値、速度、圧力の情報の通信が主体となる。通信対象となる物質(金属、木、繊維、布地等)や要求される精度、きめ細かさ(微妙な肌触り等)により、要求される通信帯域は大きく異なる。1994
年に行われたマルチメディアコラボレーションシステムを利用して同一構造物の形状と色を遠隔地にいる複数者によって共同設計する実験においては、離れた地点の4
人が10Mbps のEthernet を通して、全員データ
グローブをつけて同時にほぼリアルタイムに操作できた、という報告がなされている。しかし、きめ細かい微妙な感触・タッチまでを伝えるにはその百倍以上のGbps
以上の帯域が必要となると言われているが、現状では厳密な評価は未だなされていない。
感想・・・これが善用されればいいかもしれないが、現在、集団ストーカーの被害報告によると、触覚の送信被害を受けていると思われるものがある。女性の下腹部や性器、男性の性器に触手感を送信、「おや、感じてないみたい」など下品なやりとりが聞こえるというショッキングな報告などである。加害者たちは、姿が見えない位置にいる。遠隔操作で絶対に捕まらないことをいいことに、やりたい放題である。建築構造物の材質の感触やら何やらという前に、一番、大事な人権被害から解決して欲しい。
3)
味覚、嗅覚 化学反応そのものは通信できないため、送信側で感知した味覚嗅覚の化学反応に関する情報を符号化し、それを他の感覚と同様ビット列で通
29
信することになる。受信側では、送られてきた化学反応の情報に基づき、対応する味や香りを生成することになる。化学反応はもちろん、微妙な味や香りをどのように符号化するかについては今後の中長期的研究に委ねられる。
【参考文献】
2−2
視覚
2−2−1
生理学・心理学・その他
視覚に関する基礎研究の歴史は長く、特に1960
年以降は非常に盛んに研究が行われている。内容的には、感覚、知覚から認識、情緒へと階層的に進展してきているのが特徴である。視覚の時間・空間周波数特性、輝度・色度情報の性質、ノイズの影響、立体視、図形知覚、文字認識などの視知覚の基本性質は、おおむね1960
年後半までに解明された。続く1970 年代には、これらの研究成果をベースに次の段階として映像情報
の質を解明するための情緒段階の研究が進められた。具体的には、テレビ画像の鮮鋭度、新画質要因、広視野大画面効果、カラーテレビにおける好ましい色再現、臨場感、記憶色などの研究である。
また同時期に、情報受容の解明に関する研究も盛んに行われた。視覚情報が網膜から中枢に至るまでの過程についての解明が行われ、中心視と周辺視の役割、図形処理の過程、大きさや形の恒常性などについての研究事例がある。1980
年代には、眼球運動の測定技術が著しく進歩した。観察者がテレビ画像を見ているときの注視点分布や視線移動などが高速にできるようになり、様々な実験が行えるようになった。1990
年代に入り、マルチメディア情報通信の本格化に伴い、画像符号化と視覚特性の関係、視覚と画像評価の研究などが大きく進展した。また、3D
映像に関する研究が再び盛んになり、人間の奥行き知覚や3D
映像がもたらす臨場感や画面心理効果などの研究が行われた。さらに、視覚疲労や快適性な
30
ど3D 映像が人間におよぼす生理・心理的な影響に関しても研究が盛んになっている。
2−2−2
情報通信技術
(1)
イメージセンシング技術
イメージセンシング技術は、
(a)機械型
(b)高速度・電子ビーム型
(c)低速度・電子ビーム型
(d)光導電形型
(e)固体撮像デバイス型
の流れで進化してきた。機械型は1884
年に発明されたニポウ円板を使用する方式が有名である。この方式は、ニポウ円板上の細孔で光学像を走査する方式である(上記(a)に相当)。続いて1927
年ファーンスワースがはじめて電子式撮像デバイス・イメージディセクタを開発した。この方式は、ニポウ円板とは異なり、光学像をイメージ部で電子像に変換し、これを静電または電磁的に偏光し、像面に設けた細孔を通る電子流を信号として出力する方式である。このイメージディセクタは走査変換が容易であるなどの長所がある反面、放送用途には感度不足である問題点があった。感度不足の原因は、瞬間瞬間に細孔を通る電子流しか信号にならないため(非蓄積型)であり、これを解決するために各画素の信号を走査が完了するまで保持しておく新しい方式・アイコノスコープが発明された。しかし、アイコノスコープは当初期待されていたほどの感度上昇は見られなかった(上記(b)に相当)。
その後、アイコノスコープの感度不足(蓄積効率の不足)の問題点が、高速度の電子ビーム走査で発生した2次電子が走査された画素の周辺に降り戻り、蓄積電荷を放電してしまうことが原因だと解明され、これを解決すべく1939
年にオルシコンが発明された。オルシコンは感度不足の主原因である高速度電子ビームを改良し、低速度電子ビーム走査方式を実現した。しかしその反面、オルシコンは強い光があたるとターゲット電位が上がり
31
過ぎて高速度電子ビーム走査に転換してしまい、動作が不安定になる問題点が生じた。これを解決することを目的に、1946 年イメージオルシコンが発明された。このイメージオルシコンは戦後日本でテレビ放送が開始する時にも使用された方式であり、1958
年から国産のイメージオルシコンが実用レベルで使用されるようになった(上記(c)に相当)。一方、テレビのカラー化が進められカメラが多管式になると、構造や動
作が複雑でかつ放送前の調整に時間のかかるイメージオルシコンはニーズに適さなくなってきた。このような背景から、光導電形撮像管・プランコビンが開発された。このプランコビンは小型で軽量、調整が容易であったため放送局はこぞってこの方式を採用し、以降イメージオルシコンは急速に使われなくなっていった(上記(d)に相当)。
以上のような経緯を経た後に、固体撮像デバイス型が登場する。研究そのものは1963 年からワイマーらが開始していたが、特に1969 年にボイルがCCD
を発明してから急速に研究開発が進歩した。当初、固体撮像デバイスは解像度不足であったが、1985 年には40
万画素に達し、ビデオカメラ用途などで使用されるようになった。その後さらに改良が進み現在では民生利用で300 万画素レベル、超高解像度用途として4,000
万画素レベルのものまで登場している(上記(e)に相当)。
(2)
符号化技術
画像符号化技術に関しては、代表的な活動としてJPEG、MPEG
がある。これらの方式ではその基本技術として「DCT」および「DCT+MC」技術を用い、画像コンテンツの扱いを大幅に容易化することに成功した。しか
しその反面、MPEG-1 誕生以降、多くの研究開発がなされているのにも関わらず最近10
年間の進歩は「DCT+MC」の効率を大きく超える高能率、汎用画像符号化方式は出現していない。この間、ISO
等の国際標準化会合に提案されては消えた符号化方式は、それこそ枚挙にいとまがないが、いずれも特定の画像に対してのみ効果的な高能率或いは高画質の符号化方式であった。一般に、DCT
やWavelet
をはじめこれまでの符号化技術では、人間の視覚に影響が少ないと思われる高周波成分をカットすることに符号量圧縮を
32
行い、大幅な情報量圧縮を実現している。しかし近年、知覚できるか否かに関わらず、高周波成分を含む映像あるいは高解像度な映像が人間の感性に与える影響が大きいことも指摘されており、今後はこのような感性情報まで含めた符号化方式の開発が必須であると言える。
(3)
ディスプレイ技術
再生技術(ディスプレイ技術)は、用途に応じて非常に様々な技術が存在するが、ここでは五感情報通信との関連で言えば、
(a)高精細ディスプレイ
(b)3D
ディスプレイ
(c)その他のディスプレイ(CAVE、HMD、視線一致型)
などがある。
(a)の高精細ディスプレイに関しては、例えば3840×2070(HDTV 品質の4
倍の解像度)のディスプレイの開発が報告されている。このディスプレイでは、複数台のプロジェクタから投射した画像を画素単位でスクリーン上で合成する手法であり、重畳投射型と呼ばれる。具体的には、プロジェクタに使用しているTFT-LCD
パネルが開口部と遮光部から構成されているという特徴を利用して、スクリーン上で遮光部に相当する投射領域に他のプロジェクタの開口部からの投射領域を精度良く重ねることによって高精細化を実現している。
一方、(b)の3D
ディスプレイに関しては、一般にメガネ装着型、メガネ不要型に分類され、メガネ不要型では特にパララックスバリア方式、レンチキュラレンズ方式が有名である。3D
ディスプレイの原理は両眼視差に基づき立体感を表現することであるが、これらの方式では、一般に大画面化が困難であり、技術的には今後最も重要な課題である。また、近年ホログラフィに関する研究も盛んに行われている。従来の3D
ディスプレイが両眼視差のみを使用していたために自然な3D
像を表示できず長時間の使用が困難であったのに対し、ホログラフィでは両眼視差に加え、眼の輻輳と調節、運動視差等を支援しており、より自然な立体感を得ることができる。現在のところホログラフィ技術はデバイス開発等の面でまだ不十分ではあるが、原理的に理想的な3D
ディスプレイであることは確かであり今後の実用化研究に期待が集まっている。
33
一方、近年人間の奥行き知覚や3D 映像がもたらす臨場感、さらに、視覚疲労など3D
映像が人間におよぼす生理・心理的な影響に関しても研究が盛んになっており、多くの成果が発表されている。(c)に関しては、代表的な高臨場感ディスプレイとして、IPD(ImmersiveProjection
Display)、HMD、視線一致ディスプレイについて概説する。IPD
は、主に視野の広がり(視野角)、奥行き感(立体感)などの支援を目的に開発された没入型ディスプレイであり、代表的なものにCAVE(4面)、CABIN(5
面)(図2−5)などがよく知られている。さらに、6 面ディスプレイとしてCOSMOS も存在する。
図
2-5
CABIN また、IPD と同様の目的を実現する技術としてHMD(Head MountedDisplay)がある。HMD はもともと1968
年に頭に装着する3 次元ディスプレイとして発表され、その後VR 技術の発達とともに没入感を要求されるVR
の視覚ディスプレイとして様々なシステムが研究開発されている。現在のHMD
はおおむね両眼視差を利用して立体視を実現するものであり、これまで島津製作所、オリンパス、Virtual Research 社、Kaiser
Electro Optics
社等で開発が行われている。一方、立体視にはこだわらず、両眼に同一映像を表示して見かけ上大画面映像を実現するHMD
もいくつか市販されており、オリンパスのEye-Trek、ソニーのGlasstron
などが有名である。一方、人間同士のコミュニケーションを前提とした場合、視線一致など従来のディスプレイとは異なる要求条件を満足しなければならない。このような背景から、特に高臨場感ビデオ会議システムを前提に、いくつかの 34 視線一致ディスプレイが開発されている。これらのディスプレイでは、一般に、 ・ 視線一致 ・
実物大映像 ・ 接近感 を満足することが望ましいと考えられている。視線一致については、ハーフミラーを用いたシステムが最も広く知られている。しかし、ハーフミラーを用いると、カメラへの光量が不足したり、画面が奥まって見えるなどの問題点があり、十分な臨場感は得られない。また、ハーフミラー型以外では、透明/散乱を交互に繰り返す液晶スクリーンを用いたシステム、視線を検出し仮想空間上での視線一致を実現するシステム、小型ディスプレイを複数用いディスプレイ1 つあたり会議参加者1 人を映し出すシステムなどの研究例がある。 しかし、これらの手法を用いた場合、視線一致と実物大映像の双方を同時に実現することは一般に非常に困難である。また、同時に満たすシステムとして、特殊フィルムを用いたMAJIC システムがある。MAJIC
システムは、視線一致、実物大映像の2点を満足できるシステムであるが、原理的にディスプレイに近づくと自分の影がディスプレイに映ってしまうため、接近感については支援できない。一方、特殊なホログラムスクリーンを用いた「文殊の知恵システム」がある。これは世界ではじめて視線一致、実物大映像、接近感をすべて満足するシステムとして注目を集めている(図2−6)。 35 2−2−3
他感覚との融合 他感覚との融合では、視覚と聴覚を融合したシステムは歴史が古く様々なシステムが開発されているが、聴覚以外の感覚では、触覚との融合システムについて近年若干の研究事例があるだけで嗅覚や味覚との融合システムについてはほとんど皆無である。視触覚融合システムとしては、東芝において開発された3D CAD システム(Tangible Modeling
System)(図2−7)がよく知られている。このシステムでは、ユーザがディスプレイ内の仮想物体を実際触ることができ、直接手で変形したり、書き込みをしたりすることが可能である。これらのシステムは3D
CAD のみならず、教育用途、エンターテイメント等様々な用途での利用が期待できる。 36 2−3
聴覚 2−3−1
聴覚の仕事 聴覚系は、音を通じて身に迫る危険を察知して回避行動を起こしたり、餌を見つけたり、異性を誘引して繁殖のためのプロトコルを確認したりするために発達してきた遠方感覚系である。その主たる役割は、外界の状況を把握するための情報や、相手が伝えようとしているメッセージを解読する一助となる情報を、耳に到達した音から適切、頑健、かつ迅速に脳内で再構成することにある。 この聴覚系の機能としてよく取り上げられるのは、音がどの方向から来たのかを判断する音源定位機能と、何の音であるかを判断する音源識別機能の二つである。音源定位には左右の耳に到達する音の音圧差や時間(位相)差が利用され、音源識別には音を生み出した物理現象に起因する音の時間・周波数的特徴が利用されている。しかし、この音源定位と音源識別だけが聴覚系の機能ではない。相手が伝えようとしている音声メッセージを解読するコミュニケーション音の処理は音源識別機能の一つである。 コミュニケーション音はカテゴリー知覚がなされ、言語処理系を駆動するとともに、その受け手は同じコミュニケーション音を出す発声システムを持つ。そこで、コミュニケーション音処理機能は、一般音の識別機能とは別に考えたほうがよい。また、聴覚系は自らの発声音を常にモニタして発声を安定させている。このような発声音制御も聴覚系の機能の一つである。このほか、聴覚系は常に音を聞いていて新奇な物音が聞こえるとその音に対して自動的に注意を向ける仕組みがある。これは音を通じた早期警報機能で、この警報は他のモダイリティに負荷がかかる作業中でも注意を喚起するが、その重要性の割にあまり注目されていない。また、ガラスをひっかく音を聞くと背筋がぞくぞくしたり、音楽を聞くとリラックスしたり気分が高揚したりする。このように音は感情を喚起し、その結果として自律神経系の活動や私たちの行動に影響を与えるが、その処理にかかわる聴覚の情動系賦活機能についてもあまり注目されていない。 37
2−3−2
音メディアを扱う情報通信技術の動向 音が距離と時間を超えて扱うことができるメディアとなったのは19 世紀後半で、この100
年の間に音を伝送したり蓄積したり加工する技術は飛躍的に進歩した。その結果、電話、放送といった音メディア情報サービスやCDやMD
を装備したオーディオセットは広く普及し、日常の生活基盤の一部となっている。そして、表面的には聴覚の役割や特性が改めて問題にされることは少なくなっている。だからといって聴覚研究が不要であるわけではなく、聴覚研究は今後の情報通信技術を発展させるうえで、視覚研究などとともに、 重要な位置を占めている
38 電話の黎明期においては、音声の効率的な伝送を実現するために基本的な聴覚特性を参考にした。ごく最近では、長年の聴覚マスキング研究の成果に基づいてMPEG 符号化に代表される高品質高能率符号化技術が開発され、通信やMD、DVD
等のオーディオ機器に利用されている。また、聴覚末梢系における音響?
神経信号変換の仕組みに基づいた人工内耳が開発され、感音性難聴患者が失った音の世界を取り戻すとができるようになった。聴覚の音源定位と音源識別機能については工学的な研究が進み、私たちの聴覚系とは異なった音情報処理方略を利用したコンピュータの「耳」が実現されつつある。 音源定位機能については複数のマイクロフォンとディジタル信号処理技術を利用したビームフォーマーやソナーなどが開発されており、私たちの耳よりも優れた音源定位能力をコンピュータの「耳」に付与できるようになっている。音源識別機能については確率・統計的なパターン識別技術を利用した音声認識システムの性能が向上し、単語や文章を読み上げた音声は相当程度認識できるようになりつつある。しかし、話し言葉を認識すること、さまざまな音が混じりあい残響がある実環境の中から目的とする音を取り出すこと、音の一部が欠損していてもそれらを補って聞くことなどはまだ現在のコンピュータの「耳」には難しい課題である。 また、定常的に聞こえてくる音を無視して新奇な音に対して注意を向けるような仕組みを持つコンピュータの「耳」もまだ無い。一方、私たちの聴覚特性に適合するよう音メディアを処理することによって、ユーザーの利便性を向上させようとする工学的な研究も進んでいる。長さを保ちつつ話し声のスピードを変換する話速変換装置、聴力損失に合わせてラウドネス補償を実現するディジタル補聴器、外国語のニュースや講演を日本語に翻訳して音声や文字で呈示する音声翻訳装置、音を利用した避難誘導装置などがあげられる。最近では、臨場感通信システム、ヴァーチャルリアリティシステムやテレイグジスタンスシステムに必要な三次元音響空間の再現技術に関連して、聴覚の空間音響処理の仕組みに熱い視線が向けられている。これまでのマイクロフォン、スピーカー、イヤフォンといった電気音響変換器は電話帯域(3kHz)、放送帯域(6kHz)、オーディオ帯域(20kHz)をベースにしてきた。しかし、通信ネットワークのブロードバンド化、記憶装置の大容量化、20kHz
を超える音を録音再生できるDVD オーディオとスーパ 39 ーオーディオ装置の出現などにより、対象とする音メディアの周波数帯域は広がりつつある。20kHz
を超える超音波領域の高周波音の知覚上の効果については諸説ありまだ決着を見ていないが、扱う音メディアの広帯域化に対応した新しい電気音響変換器の開発や規格の制定も必要である。 2−3−3
聴覚生理学・心理学の動向 外耳・中耳・内耳を聴覚末梢系と呼ぶが、この部分の音情報処理の仕組みはかなり明確になってきた。 図 2-9 聴覚末梢系の構造 蝸牛の基底膜振動系は入力音を周波数成分ごとにふるいにかける多数の帯域フィルタバンクとして機能している。各フィルタは対数的な周波数軸上に並び、帯域幅は低域ほど狭く周波数的にも時間的にも非対称な応答特性を持ち、非線形で時変なフィルタリング特性を持っている。そして、各フィルタの出力である基底膜の変位はそれぞれの場所にある内有毛細胞の受容器電位に変換され最終的には一次聴神経の発火を引き起こす。このような生理的実体を反映した聴覚末梢系モデルを用いて、入力音に対する一次聴神経の発 火パターンをシミュレートすることも容易にできるようになった。また、計算論的な観点からの聴覚モデルの研究も進められている。 40
図 2-10 聴覚末梢系のブロック図
蝸牛神経核から大脳皮質一次聴覚野までを聴覚中枢系と呼んでいるが、この部分の仕組みに関しても徐々にいろいろなことが分かりつつある
図 2-11 聴覚中枢系の構 4
図 2-12 聴覚系の構図 生理学的には小型哺乳類の各神経核ニューロンの電気生理学的特性と神経核間の接続に関する知識が蓄積されつつあり、心理物理学的には「見えない電極」と呼ばれる残効(after
effect)現象を利用した実験を通じて、動的かつ適応的な音情報処理の仕組みが解明されつつある。すなわち、聴覚末梢系フィルタの出力は単に周波数スペクトル情報をトノトピィ(tonotopy)を保持して聴覚野へ投影されているのではなく、末梢系フィルタの出力が複雑に相互作用して音の高さ(ピッチ)、振幅変調成分(AM)、周波数変調成分(FM)、両耳間時間差成分(ITD)やその時間変化成分(ΔITD)といった情報を処理するモジュールが形成されていることが分かってきた さらに、それらのモジュール内の個々のチャンネルの処理特性が、時空間的な音条件によって時々刻々とダイナミックに変化して効率的な情報処理を実現していることも少しずつ分かってきている。おそらく、一次聴神経の発火頻度・発火間隔情報として符号化された音メディア情報は、蝸牛神経核と上オリーヴ核で各モジュールで扱う特徴の元となる形に整形され、外側毛帯核、下丘と内側膝状体以上で各モジュール毎の処理が行われるとともに、複数モジュール出力を統合して諸物理属性や生物学的に意味のある音情報の情報媒介変数を抽出して一次聴覚野に投射しているのではないかと考えられる。また、聴覚野や脳幹の各神経核からは下位の神経核に対して多くの遠心性 42 神経の投射があり、上オリーヴ核からは蝸牛の外有毛細胞を制御する遠心性神経の投射まである。これらの遠心性神経系は、脳幹神経核における情報処理を調節して短期的な再組織化を引き起こし、その結果として皮質も再組織化される。そして入力音と行動とが連合すると、短期的な再組織化が固定されて、動物は音の意味を学習するとも言われている。さらに、内側膝状体では視覚、体性感覚情報とのインタラクションがあるし、上オリーブ核、外側毛帯核、下丘からは視覚、体性感覚、運動系などの情報がまとまる上丘への投射がある。そして上丘からは旧皮質の情動系への神経投射がある。 43 話術効果などについては詳細に調べられている。一方、聴覚刺激が視知覚に影響を及ぼすことはあまり知られていない。従来、視覚は世界を知覚する上で五感の中でも優位なモダリティであると考えられてきたが、視知覚も他のモダリティの影響を受けやすいことが最近分かってきた。すなわち、実験室的環境下ではあるが、視覚刺激の呈示順序判断が音刺激によって影響をうけたり、単一の視覚的フラッシュに複数の短音刺激が伴うと複数のフラッシュが見えるかのように誤って知覚されたり、直線あるいは交差する経路上を動く二つの視覚刺激の多義的な運動パターン(衝突するか、すれ違うか)は、二つの物体が重なった時点で音が鳴ると、それらの視覚刺激は衝突し反発するパターンとして知覚されて視知覚の多義性が解消される。 これらは、私たちの脳が五感から入力された情報を総合的に咀嚼する過程、すなわち経験を積んできた日常的な実世界環境の「常識」とのずれが生じたために起こる。私たちが住む物理世界における普通の状況では、音と映像はほぼ同時にやって来るし、形状が大きなものは低い大きな音を出すということが「常識」となっている。 体性感覚・味覚・嗅覚と聴覚との相互作用についてはあまり知られていない。不幸にして視覚機能を失ったり視覚機能が衰えたりした場合には、体性感覚と聴覚で世界を把握する必要が生じるので、両者の相互作用は起こるのではないかと考えられる。また、感覚情報処理における運動による環境との相互作用という観点も重要である。すなわち、私たちの聴覚系はただ単に耳に到達した音情報を咀嚼するのではなく、自らの体や頭を動かして積極的に音情報を取り入れようとするし、手をたたいたり声を出したりしてその響き具合を元にして自分の周囲環境の情報を得る。多くの小型哺乳類では耳介を随意的に動かすことができるが、その動きの情報と音の情報とが蝸牛神経核背側核という2次ニュー 44 ロンのレベルで処理されていることが分かっている。そして耳介を動かすことができないヒトではこの神経核は退化している。このような能動的な環境との相互作用を前提とした情報処理は聴覚に限ったものではない。 2−3−5
まとめ 冒頭に記した聴覚系の仕事を五感の仕事に敷延すると、五感の仕事は「外界の状況を把握するための情報や、相手が伝えようとしているメッセージを解読する一助となる情報を、五感に到達した刺激から適切、頑健、かつ迅速に脳内で再構成すること」となる。もしも、実世界と乖離した情報をユーザに与えるような五感通信技術が発達し日常的に利用されるようになると、学習が進んだ脳(成人)では違和感が生じストレスを誘引するようになるであろうし、学習途中の脳(子供)では実世界と乖離した形での学習が進んでしまう。 聴覚だけといった単一のモダリティだけを扱う場合にはさほどでもないが、五感を総合的に扱う技術開発に際しては、ユーザである人間の五感情報処理の仕組みをよくよく把握しないと百害をもたらす機械を生み出しかねない。人間の情報処理の仕組みを総合的に理解することを通じてこそ、豊かな人間性を育み自然と調和する、安全で快適な五感情報通信技術を発展させることができるのである。 感想・・・今、創価学会がターゲットの「嫌がらせ」に使っている電磁波ハイテク機器は、百害あって、一利なしである。 日本音響学会誌の聴覚と音響工学関連の特集 1.
特集? 音響学における20 世紀の成果と21 世紀に残された課題? ,日本音響学会誌 vol.57, No.1,
pp.3-112(2001) 2.
小特集? 聴覚と脳? ,日本音響学会誌 vol.57, No.3, pp.215-257 (2001) 3.
小特集? 音声研究の新たな方向を探る? , 日本音響学会誌 vol.56, No.11, pp.746-782
(2000) 4.
小特集? 音響教育の現状と展望? ,日本音響学会誌 vol.55, No.3, pp.181-220 (1999) 5.
小特集? 感性の領域に迫る音処理技術? ,日本音響学会誌 vol.54, No.7, pp.506-538
(1998) 6.
小特集? 聴覚の基礎研究が切り開く新たな展開? ,日本音響学会誌 vol.53, No.9, pp.714-753
(1997) 7.
小特集? 音と映像の相互作用? ,日本音響学会誌 vol.52, No.1, pp.34-62 (1996) 8.
小特集? よりよい音を目指して? ,日本音響学会誌 vol.52, No.6, pp.443-475 (1996) 9.
小特集? マルチメディアを支える高能率符号化? ,日本音響学会誌 vol.51, No.10, pp.776-811
(1995) 10.
小特集? マイクロホンアレ? ,日本音響学会誌 vol.51, No.5, pp.384-414
(1995)聴覚生理学に関する文献 11.
J. O. ピクルス "聴覚生理学," 谷口郁雄監訳(二瓶社, 大阪, 1995) 12.
力丸 裕 (1994): "音響・聴覚系の生理学," 視覚と聴覚、川人光男 他編(岩波書店, 東京,
1994)pp129-179 13.
平原達也, "聴覚のメカニズム," 視聴覚情報科学, ATR 国際電気通信基礎技術研究所編 (オーム社, 東京, 1994)
pp.145-200 14.
小島久幸, "聴覚皮質の神経経路,"日本音響学会誌 vol.53, No.5, pp.383-391 (1997) 15.
平原達也, "聴覚末梢系における音情報表現, " 日本音響学会誌 vol.51, pp. 565-571 (1995) 45 聴覚心理物理学に関する文献 16.
柏野牧夫, "耳がよいとはどういうことか?? 聴覚の多様性と可塑性? " NTT
R&D, 49 (10), 575-581. (2000) 17.
柏野牧夫, "人間の聴覚系の科学? 空耳からみた脳の戦略? " NTT
R&D 47, 393-398. (1998) 18.
柏野 牧夫, 西田 眞也, "錯覚の情報学(1) 騒音の中でつながる途切れた音" 日経サイエンス,30, (2), 124-125. (2000) 19.
柏野 牧夫, 西田 眞也, "錯覚の情報学(3) 音源の位置で伸び縮みする聴覚の空間" 日経サイエンス,30, (4)68-69. (2000) 20.
柏野 牧夫, 西田 眞也, "錯覚の情報学(4) せわしない日常が取り違える動と静の世界" 日経サイエン ス,30, (5), 130-131. (2000) 21.
柏野 牧夫, 西田 眞也, "錯覚の情報学(5) 「ち」「が」「い」と「ちがい」の際だった違い" 日経サイエン ス, 30, (6), 90-91. (2000) 22.
柏野 牧夫, 西田 眞也, " 錯覚の情報学(7) 知覚系が頻繁に見せる”前後不覚”" 日経サイエンス,30, (8), 62-63. (2000) 23.
柏野 牧夫, 西田 眞也, "錯覚の情報学(8) 目と耳と手? 知覚の時差を脳が修正" 日経サイエンス,30, (9), 126-127. (2000) 24.
柏野 牧夫, 西田 眞也, "錯覚の情報学(9) 仮想現実感をつくり出す秘術は?" 日経サイエンス,30,
(10), 126-127. (2000) 25.
柏野
牧夫,
西田
眞也,
"錯覚の情報学(10)
知覚の仕方に個人差を生み出す環境" 日経サイエンス,30, (11), 112-113. (2000) 26.
柏野 牧夫, 西田 眞也, "錯覚の情報学(11) 断片情報を組み立て直し精緻に知覚" 日経サイエンス,30, (12), 76-77. (2000) 27.
柏野 牧夫, 西田 眞也, "錯覚の情報学(12) 錯覚こそ知覚系の戦略を探る手だて" 日経サイエンス,31, (1), 84-85. (2001) 超音波知覚に関する文献 28.
吉川昭吉郎,"20kHz を超える音にまつわる問題" 日本音響学会誌 vol.57, No.4, pp.263-264 (2001) 29.
Tsutomu Oohashi et al., "Inaudible High-Frequency Sounds Affect Brain Activity:
Hypersonic Effect," Journal of Neurophysiology,
vol.83, pp.3548-3558, (2000) 30.
蘆原郁、桐生昭吾,"周波数帯域の各町に伴うスピーカの非線形歪みの増加," 日本音響学会誌 vol.56, No.8, pp.549-555 (2000) 31.
宮坂栄一,"高周波音の知覚について,"日本音響学会誌 vol.55, No.8, pp.569-572 (1999) 32.
大橋 力,"インドネシアの打楽器オーケストラ”ガムラン”,"日本音響学会誌 vol.54, No.9, pp.664-670
(1998) 視聴覚相互作用に関する文献 33.
下條信輔、クリスチャン シャイア、ロミ ニジャワン、ラダン シャムズ、神谷之康、渡辺克巳, "知覚 モダリティを越えて:視聴覚に及ぼす聴覚の効果,"日本音響学会誌 vol.57, No.3, pp.219-225
(2001) 34.
積山薫, "視覚と聴覚の接点," 日本音響学会誌 vol.54, No.6, pp.450-456 (1998) 35.
丸山欣哉、佐々木隆之, "視覚と聴覚間の相互作用諸効果," 日本音響学会誌 vol.52, No.1, pp.34-39 (1996) 36.
近藤公久、筧一彦, "音声情報と同時に提示される文字情報の音声知覚に与える影響" 日本音響学会誌 vol.51,
No.7, pp.548-557(1995) 37.
近藤公久, "マルチモーダルな知覚過程,"電子情報通信学会誌 vol.78, No.12, pp.1230-1233
(1995) 46
2−4−1
はじめに 食べものを口に入れた時に生じる味の感覚を味覚という。味覚を呼び起こすのは食べものに含まれている味物質であり、これらは甘・酸・塩・苦・うま味の五基本味の他、より複雑な味である辛味、えぐ味・渋味などといった味の感覚(味覚)を与える。私たちはこのような様々な味物質を口に入れると瞬時に味を感じ、これらの呈味特性を識別し、“おいしさ”や“まずさ”を知見する。そこには脳の関与がある。味物質が口腔内の舌に接触し、発生した味覚が脳に達し、大脳の味覚野でそれが知覚されるまでの経路もわかっている(図2−13)が、この巧妙な生体の仕組み、すなわち、いかにして味を受容し、味覚を伝達し、味を知覚 するかの詳細な機構についてはほとんどわかっていない。 感想・・・ある日を境に、大勢、100人以上の人間の声が聞こえてきて、自分の脳が彼らの実験に使われているといった被害告発がネット上に流れていた。彼は遠隔から、五感を操作された。加害者たちから「これから苦いものを送る」と言われると、たちまち、苦味が口から出てきた。吐き出しても吐き出しても苦味が湧き出てきて、苦しい思いをさせられたという報告である。これはSF(超常現象)の世界ではない。実際に彼が受けている、現在も継続して被害を受けているかどうか知らないが、現実に五感操作の実験台にされているのだ。創価学会の集団ストーカーが電磁波による遠隔操作で、思考盗聴や、騒音送信などをしているというのは、今や、通説になっている。この人も創価学会の「五感情報通信プロジェクト」のターゲットにされているかも知れません。 http://hen2000.hp.infoseek.co.jp/hen/junkie.html
図 2-13 味覚情報伝達の模式図 食物中の甘・酸・塩・苦・うま味物質は舌上の味蕾と呼ばれる感覚器で受容される。受容された味の刺激は細胞内でさまざまな伝達経路を経て神経に伝えられる。神経は味の刺激を電気信号に変換して脳に伝え、その結果味覚が発生する。 47 2−4−2
味覚の総論 (1)
味物質 んの種類があり、化学構造に共通性はない。うま味物質として、グルタミン酸やヌクレオチド(イノシン酸)があり、食物のおいしさに深く関わっている。
49 細胞内反応経路を共同使用しているが、これは少ない端子(味細胞)を効率よく利用している生体側の知恵であろう。
(4)
脳での情報処理 味情報は神経の電気信号に変換され、最終的に大脳皮質味覚野へ達する。この経路の途中には複数の中継点があり、ここで神経をつなぎ換えている。つなぎ換えをすることによって、神経に様々な修飾が加えられその性質が微妙に変化する。このようなシステムは、われわれが多様な味を識別できるのに一役買っているのである。大脳皮質味覚野では入力された味刺激の情報を整理・統合処理した結果、“味覚”が感知される。この脳における情報処理の仕方を分子生物学のレ 50 ベルで調べる研究こそ「味覚の神秘」の扉を開く鍵なのである。 2−4−3
味覚の各論─主として神経・中枢での情報処理・生理 (1) 味覚の受容と認知の仕組み 味覚は飲食物(化学物質)の味を受容する口腔内感覚(化学感覚)であり、塩味、甘味、酸味、苦味およびうま味の五基本味に大別される。生理学的には、「味刺激を受容する味細胞の興奮が、味神経活動を経て脳へ伝えられる感覚」と定義される。したがって、渋みや辛味(痛覚)のように味神経活動に影響しない感覚は、味覚ではない。しかし、渋みや辛味の情報は、味神経とは異なる神経(三叉神経)を介して大脳皮質に伝えられたのち、味覚情報と統合・認知されることから、五基本味に渋みと辛味を加えた化学感覚を「広義の味覚」と定義することは可能である。 51 1) 味覚の伝導路とニューロン応答性の修飾 味細胞で受容された味刺激による化学感覚情報は、シナプスを介して一次味神経に神経インパルス(活動電位)を発生させ、第一次味覚中継核である延髄孤束核に伝達される。その後の経路には種差があることが知られており、サルの場合は直接視床味覚野(視床後腹側内側核小細胞部)へ投射し第三次ニューロンとなってから大脳皮質の第一次味覚野(島皮質および前頭弁蓋部)に投射する。この領域より少し前方には、 52 図 2-14 ラットの味覚伝導路 味覚伝導路には、味の質や強度を分析する背側路と、味覚に伴う情動発現に関与する腹側路がある。味覚情報は、大脳皮質味覚野へ伝えられてはじめて「味」として知覚される。しかし、味質の大まかな識別はすでに下位味覚中枢(下位脳幹部;延髄孤束核および橋結合腕周囲核)で完了しており、上位味覚中枢(視床味覚野、大脳皮質味覚野)は、より複雑で高度な情報処理に関与する。
53
図 2-15 15
種類の味覚溶液に対するラット橋結合腕傍核ニューロンの応答性および自発放電頻度 個々のニューロン応答は、縦軸に沿って縦一列に示してある。AとBは左から同じ順番で、食塩ベスト(23個)、ショ糖ベスト(15 個)、クエン酸ベスト(5 個)およびキニーネベスト(1
個)ニューロンの順に並べてある。黒色柱:統計学的に有意な応答。(Nishijo and Norgren: J. Neurophysiol. 78: 2254,
1997)より引用・改変。 1) 味の強度の伝達 味の強度や質の情報は、味覚ニューロン中をインパルス列に符号化して伝えられる。味溶液の濃度を上げると、興奮を伝えるニューロンの数も増加する。末梢の味覚神経では、味溶液濃度とインパルス頻度との間 54 にはStevens のベキ関数の法則が成立することから、味の強度はこの法則に従ったインパルス数で表わされると考えられている(図2−16)。
図 2-16 ラット橋味覚野ニューロンの4基本味に対する濃度-応答曲線 下図は上図のデータの縦軸を対数変換したもの。図中の直線は一次回帰分析より求めた。(Scott and Perrotto
: J. Neurophysiol. 44: 739, 1980)より引用・改変。 1) 味質の伝達および処理 味覚中枢における味質の識別は、各ニューロンにおけるインパルス列の時間応答パターンおよびニューロン間の空間応答パターンなどの情報に基いて処理されると想像される。味質の情報処理機構の仮説として、多くのニューロン間における興奮パターンで伝えられるとする考え方(アクロスニューロンパターン説)と、一本一本の味覚ニューロンが基 55 本味(塩味、甘味、酸味、苦味、うま味)のうちどれか1つの味だけを特異的に伝えると考える説(ラベルドライン説)がある。アクロスリージョンパターン説では、すべての味覚ニューロンの応答に基いて情報処 理を行うことから、よく似た味質の識別や強さの微妙な判断を行うとき、あるいは過去の記憶と照合させて高度な味覚情報の分析を行うときに、より詳細な分析が可能となる。一方、ラベルドライン説に従った情報処理機構は単純であるため、塩味、甘味、酸味、苦味およびうま味といった大まかな味を速やかに分析するときに都合が良い。たとえば、下位脳幹部における速やかな味覚性反射活動を引き起こすためには、ある特定の味質に対して選択的に応答するニューロンが、直接反射中枢に投射していれば非常に合理的である。これらの仮説は相反するものではなく、最近の研究により、いずれの仮説を用いても味質の違いを説明できることが明らかとなってきた。 2) 下行性制御 56
図 2-17 無傷コントロールラット(点線)および除脳ラット (実線)における延髄孤束核ニューロンの味覚応答性 除脳によって、孤束核ニューロンの味覚応答性が低下する。 SA1、サッカリンナトリウム(0.0025 M); Q、キニーネ塩酸;G、グルコース;F、フルクトース;S、ショ糖;H、塩酸;CA、クエン酸;NB 臭化ナトリウム;SA2、サッカリンナトリウム(0.25 M);NS、硫酸ナトリウム;L、塩化リチウム;NC、 食塩。
(Mark et al.: Brain Res. 443: 137,
1988)より引用・改変。 1) 味覚が関与する反射 (1) 栄養状態と味覚ニューロン応答性の変化 動物は、各個体を維持・成長するために、餌を探して捕獲しさらに消化吸収することによって、体内にエネルギーおよび体構成成分となるアミノ 57 酸などの栄養素をバランスよく取り込む必要がある。しかし、単に適当に食べるだけでは、栄養状態に過不足が生じる危険性を含んでいる。動物は、体に必須の栄養素が不足したときには、その栄養素を含む餌を探し出して選択的に摂取する行動をとり、逆に過剰摂取時(あるいは飽満)には、食べるのを中止する行動をとる。このような栄養状態の変化に応じた行動変化は、生体恒常性を維持する上で合目的々であり、栄養素の過不足に応じて味覚ニューロンが応答性を変化させる例がいくつか報告されている。 1) グルコース
図 2-18 サル第二次皮質味覚野ニューロンのグルコース応答性の低下 グルコース摂取に飽きるに従い、グルコースに対する味応答性は減少するが、ブラックベリー果汁(BJ)に対する応答性は変化しない。横軸、グルコース溶液摂取量(ml)。SA、自発活動。(Rolls etal.: Eur. J.
Neurosci. 1: 53, 1989)より引用・改変。 58 1) 必須アミノ酸(リジン)欠乏 リジンは必須アミノ酸の1つであるが、強い苦味を有することから、正常栄養状態の動物が好んで摂取することはない。しかし、ラットにリジン欠乏食を与えて飼育し、それと同時に13
種類の溶液(各種アミノ酸溶液、生理食塩溶液および水)を自由に選択摂取させると、数日以内にリジン溶液を探し出し定量的に飲む行動を学習する。すなわち、リジン欠乏によってリジン嗜好性が発現することがわかる。このときに、末梢の味神経(鼓索神経および舌咽神経)におけるリジン応答性には全く変化が認められない。しかし、視床下部外側野では、リジン溶液をリックしたときだけ応答を示すニューロンが現れる(図2−19)。 59
図 2-19 オペラントリック行動下ラット視床下部外側野ニューロンの味覚応答性の例 2−5嗅覚 60 確定した説とはならなかった。一方、匂いの分子種は40 万種以上もあり、日常の匂いも多数の分子種(たとえばコーヒーの香りは400 種以上の分子種を含む)からなる。このように沢山の分子の集団である匂いを、生体はどんな機構で受容し認識しているのであろうか。図2−20に示すように、我々の鼻腔の中には嗅上皮があり、その粘膜の中に嗅細胞が106 から107 個埋め込まれている。嗅粘膜は粘液層で覆われており、匂い分子は気相から粘液層を通過し、嗅細胞の繊毛表面およびその根元の部分に吸着する。この結果、嗅細胞内部にアナログ的な電位変化が発生し、その電位がしきい値以上になると嗅細胞の根元でインパルスが発生し、それが脳の中に送られる。脳内には嗅球から始まり数段階の処理が行われ、匂いが認識される。一般に細胞はリン脂質の2 分子膜からなる細胞膜で覆われている。匂い分子は細胞膜を構成するリン脂質分子の疎水基部分、または受容タンパク質に吸着される。
図 2-20 嗅覚の匂い受容、認識機構 61 たくさんのタンパク質があるため、分類機能は相互に重複しながら少しずつ異なる。受容タンパク質全体の受容機能は、匂い分子に対して連続した分子スペクトルのような関数を示すと考えられる。森等は嗅球の糸球が各種嗅細胞から送られてくる情報の種分機能を果たしているらしいことを明らかにした[4]。嗅細胞には1
種類の匂い受容タンパク質のみが存在するのか、それとも複数種の匂い受容タンパク質が存在するのか正確にはまだ不明である。しかし少数の匂い受容タンパク質が存在すると想像される。同種の匂い受容タンパク質を持つ嗅細胞は同一の糸球に終端す 62 る。一つの糸球には数万個の嗅細胞からの終端があるため、非常に受容感度が高い。うさぎ嗅球の僧帽細胞に電極をさし、糸球レベルの分子選別機能を図2−21に示す[4]。
図 2-21 嗅球の僧帽細胞が示す匂い分子応答特性の一例 a) エステル類 (b)n-アルカン類 (c)n-脂肪族アルコール類(d) n-脂肪族アルデヒド類 (e) n-脂肪酸類 エステル類、アルカン類、アルコール類、アルデヒド類、脂肪酸類等の匂い分子に対する応答の強さを黒塗りの棒グラフで示している。棒グラフの高さは匂い分子を含んだ空気を一呼吸した時に誘起されたスパイクの数である。このように一つの嗅球の細胞は複数種の匂い分子に応答するが、その応答の程度は明らかに異なっている。すなわち少しずつ異なる重複した分子種分け機能(分子コーディング機能)により匂いの認識識別が行われているらしい。嗅覚は一番古い感覚と形容されるが、その情報の伝達経路が大脳辺縁系を 63 経由しているため視覚、聴覚等の主要感覚情報のルートに比べ情動深く係わっている。図2−22は情動を受け持つ大脳辺縁系の情報の流れを示す[5]。
図 2-22 大脳辺縁系の情報の流れ
64 いても体の調子やムードに支配されやすい。加えて匂い情報の物理的な媒体である空気の流れ、呼吸が嗅覚情報に大きな影響を与えている。例えば我々がワインの匂いを味わう場合を考えてみよう。ワインをグラスに入れ勢い良く吸気してみる。その匂いとワインを口に含み、口の中で匂いが広がり鼻に達する匂いが大幅に違うことが分かる。 感想・・・被害が酷かったころ、飛行船が自宅の真上を通過してから、しばらくして、部屋中に排気ガスの臭いが立ち込めた。創価学会の集団ストーカーに遭ってから、部屋でおしっこの臭いがしたりしたこともあった。その臭いはハイテク機器による「匂いの送信」だったと思う。いづれも、10分から15分くらいで消えた。日本初! 匂いの出る試写会『チャーリーとチョコレート工場』で人々は驚いた。上映中、チョコレートの香りが放出されたからだ。プロモツール株式会社が開発した「アロマトリックス」と呼ばれる商品で、チョコレートのほかにもピーチ、アップル、ゆずなど約130種類の香りを製造している。http://cinematoday.jp/page/N00068102−5−2
匂いの通信 通信とは媒体に変換した信号を他者に伝えることである。伝えるに要する 65 視覚や聴覚の情報に関しては変換技術及び記憶技術がいずれに関しても高度に発達しているが、触覚、嗅覚、味覚情報に関しては技術の発展が遅れている。従来、嗅覚情報は言葉や文字により表していた。匂いは物の名前で表現するのが普通である。例えば香水の匂い、いちごの匂い、ワインの匂い等である。微妙な匂いに関しては、調香師は形容詞や化学用語を使い言語表現をする。
例えばアルデヒド臭が強いワインの匂い。匂い製品(化粧品、飲食物等)のレシピは調合する材料で匂いを記録している。レシピに従い精油をまぜ香水を作ることは、記録を再生していることに相当する。化学的には匂いを分析し、記録する。この方法は信頼性が高いが、長時間を要するのが欠点である。必ずしも分析しきれない匂いの情報もあり、例えば、ガスクロマトグラフィーの保持時間が同じ匂い分子に対しては識別最近、いわゆる匂いセンサを使い電子的に匂い情報を記録することができるようになった[6]。匂いセンサとして半導体ガスセンサ、水晶振動子を用いたQCM ガスセンサ等が用いられている。 66 67 システムは自動的に匂いのレシピを出力することができるといえる。
図 2-23 匂い記録・再生システムの原理 または送信側の命令に従い、一方的に匂いを放出するもので、配信(又は配達)装置というべきである。しかし、匂い放出により受信者の情動に訴え、視覚・聴覚情報のリアリティが増すなら、マルチモーダル通信における補助手段として大きな意味がある。この手段の導入により匂い放出装置の需要が一挙に高まり、小型化が促進され、多様な匂いの放出が可能となるであろう。さらにこの発達により、能動センシング装置の性能が高まるため、森泉らが 68 提案する匂い通信装置実用化が早まると期待される。 【参考文献】 [1]森泉豊栄、中本高道:“センサ工学”、昭晃堂(1997) [2]栗原堅三:“味覚・嗅覚”、化学同人、pp.137−147(1990) [3]栗原豊、外池光雄、“匂いの応用工学”、朝倉書店、(1994) [4]栗原豊、外池光雄、“匂いの応用工学”、朝倉書店、pp.14−23(1994) [5]立花隆:“脳を究める”、朝日文庫、p.222(2001) [6]森泉豊栄、“匂いセンシングシステム”、No.200、香料、pp.33−39(1998.12) [7]中本高道、森泉豊栄、“匂いセンシングシステム”、電子情報通信学会誌、Vol.182-C-1、No.4、pp.156− 164(1999.4) 2−6
触覚 69 意識のレベルでは区別される場合が多いが、刺激のレベルでこれを厳密に区別することは困難であり、これらの感覚を含むものとして触圧覚という用語が用いられる。
図 2-24 触覚受容器の構造(文献)[1]より 解剖学的な研究により、数種の受容器についてその存在が明らかにされている。触圧覚および振動覚は機械的感覚と呼ばれ、これを受容する感覚器がある程度同定されている。すなわち、マイスナー小体、パチニ小体、メルケル盤、ルフィニ小体の4
種である。これらは各々の受容する刺激の性質の違いから速順応(RA)型と遅順応(SA)型とに分類される。速順応型はその名前の通り刺激に対する順応が速く、持続的に変化する刺激を受容する。すなわち振動の感覚である。これに対して、遅順応型は静的な圧迫などの触圧覚を受容する。この他に、温度の刺激を受容する冷温覚受容器、組織の過度な変形などに対して痛みの感覚を生じる痛覚受容器などの存在が明らかにされている。 70
図 2-25 局在能(文献)[1]より) 図 2-
図 2-26 手表面の2点弁別閾(文献)[1]より) 71 与え、これを閉眼の状態で2 点と認識できる限界の距離として測定される。二点識別閾は通常その部位の局在能の3〜5
倍となっており、指先で2〜3[mm]、手掌面で10〜15[mm]、上腕で30〜40[mm]とされる。一方、振動覚の特性についても知見が得られていて、これによると、振動覚の閾値が最小となるのはおよそ200〜250[Hz]の周波数である。触覚にはこの他に様々な現象が知られている[2]。マスキングは、同時的な刺激あるいは時間的に連続な刺激により、その閾値が変化する現象である。 一方、触覚を介した情報伝達の観点からその情報量を評価することも試みられており、1 つの点刺激が持つ情報量は1.8
ビット相当であるとの知見が得られている[3]。点字は触覚を介した情報伝達がもっとも明示的に行われる例である。点字は様々な提示方法が考えられる。すなわち、指表面全体に1
度に全ての点を提示するsatic、これにスリットをかけ走査するslit-scan、電光掲示板のように流すscan、文字の書き順に従って表示するstroke
などである。static に比べてscan およびslit-scan の成績が良いことが知られている。 72 存在する。ルフィニ終末は遅順応型の受容器で、関節角の知覚に関与しているとされ、パチニ小体は速順応型の受容器で、関節の動きの速度の知覚に関与しているとされる。靭帯にはゴルジ終末、ゴルジ・マッツォニ小体などの存在が知られている。ゴルジ終末は速順応型の受容器で、関節の動きの方向や速さの知覚に関与している。
図 2-27 触力覚の帯域幅(文献[4,5]より) 2−6−2
情報通信技術 (1) センシング技術 力のセンシングはテレロボティクスにおける重要な要素技術として早い時期から検討が行われ、アームに力センサを埋め込むことで操作力を検出し操作者にフィードバックする考え方が提案されてきた。テレロボティク 73 スにおける力の計測および提示の試みは、手首に対するものと、指に対するものとに分けられる。手首に関しては力覚の存在により、作業時間の短縮、エネルギー消費の低減、誤差の低下、接触時の力の低減などの効果が得られることが知られている。一方、指先に対する力覚計測は、アームの多指化にともないその重要性が増してきている。二指グリップでは指先を利用した細かな位置決めなどの動きができないという操作自由度の問題に加えて、対象の滑らかさなど指の滑りで認識されるような情報が得られないなど、対象に関する情報のセンシングにかかわる問題点が指摘されていた。 スレーブアームを多指化し、各々の指に力センサを持たせることでこれらの問題をある程度解決することができる。多指ハンドを利用した遠隔操作における力覚の必要性は、人間の手において指先に対する力の感覚がない状態を作り出すことで近似的に明らかになる。把持力の認識を困難にする程度の硬さをもつ手袋を着用することで、ピン挿入の作業の所要時間が素手の場合の1.8 倍程度になったことが報告されている[4]。 このような事実から、多指ハンドは指の姿勢をスレーブアームに伝えるだけでなく、スレーブアームからの力覚情報を操作者に提示しなければならないと言われる。テレロボティクスを目的として触覚情報を計測し伝達する試みも知られている[6]。この試みでは、感圧スイッチをマトリクス状に配置した触覚センサが提案され、これにより接触面における分布力が計測される。 74
図 2-28 触覚計測センサ(文献[6]より) 触力覚情報の蓄積は、これを物体モデルとしての計算機内でどのように表現しどのような計算アルゴリズム再生するかという観点から検討されてきた。このような研究領域はHaptic
Rendering[9]と呼ばれる。触力覚提示においては、力の更新レートをCGに比較して高くとる必要があり、また接触の物理的な状態が計算できることが望まれる。このため、通常の力覚応用では計算量を削減するために指先を点と見なすことが多い。触力覚に関係する物理現象の最も基本となるのは人と対象物の接触である。 75 76 実際に操作者がとった状態に最も近い計算結果を利用した力覚表現をおこなう。有限要素法を応用したもう一つのアプローチとして、線形なモデルの性質を利用するもの[16]がある。具体的には、線形なモデルでは剛性マトリクスが定数行列となることに着目し、変形の計算に必要とされる逆剛性マトリクスをあらかじめ計算しておき、これを利用して実時間での力および変形の計算を実現する。 変形のモデルとして、このほかに粒子モデルが知られている。このモデルでは、物体を相互に力を作用しあう粒子の集合として定義し相互作用力にもとづく粒子の運動を計算することで、塑性的な変形をする物体を作成することができる。このようなモデルは、内臓の手術シミュレーションにおける臓器の表現に適しているとされ、利用が試みられている[17]。以上のような内部表現とアルゴリズムを触力覚提示環境としてパッケージ化する試みもなされている。もっとも代表的なものはSensAbleTechnologies
社のGHOST[18]で、これはPHANToM
デバイス(後述)のための触覚世界構築環境であり、シーングラフの考え方により仮想空間を定義する事のできる枠組みを提供する。 また、研究開発を目的としたものとしてHIP(HapticInterface
Platform)[19]が知られている。これは、東大・都立科技大などの複数の触力覚研究グループが集まって構築したライブラリで様々なデバイスを統合的に利用することを前提として開発されオープンな設計を特徴とする。 77 21]が知られている。これは点字ディスプレイを拡張して形状などを提示することを可能としたものである。さらに、画像の輝度情報などをそのまま触覚情報に変換する装置としてTactile
Television[22]の提案もある。この中ではカメラによる画像を背中の皮膚表面に触覚情報として投影する手法が提案されているが、装着者による画像の認識には難があると報告されている。このほかに、形状を表現するデバイス[23]が提案されている。このデバイスは伸縮の制御できる微小なロッドの配列により構成され、個々のロッドの長さを形状の奥行き情報や画像の輝度値に応じて変化させることで、提示形状を変化させる。これにより、3次元形状をある程度認識させることが可能である。
図 2-29 オプタコン(文献[21]より) VRにおける触力覚提示の試みは、文字や形状のような情報ではなく、物体表面のテクスチャや摩擦などの質感の表現に焦点が当てられているのが特徴である。皮膚表面に触覚を生じさせる方法には、皮膚表面に対して機械的な圧迫や振動を与える方法や電気刺激により感覚受容器に擬似的に触覚を発生させる方法が知られている。 78 構成し、各々のピンの振動を制御することで刺激の分布を作り出すという考え方で実現されている。代表的にはピエゾアクチュエータを利用したTexture Display[24]が知られている。 以上のような手法による局所的な刺激の生成は物理的に明快である反面、解像度を上げることが難しいなどの課題がある。これに替わる手法として薄膜の振動を利用する方法[25]が提案されている。これは、膜の境界条件と振動のモードを制御することで膜上に任意の振幅分布を作り出すという考え方に立つものである。 79 [28]も提案されており、比較的広い仮想空間において障害物と身体との接触の表現に利用できることが示されている。
図 2-32 HapticGEAR(文献[34]参照) 80 イスであるVirtual Sandpaper[32] 、パラレルアームを利用したSensableTechnologies 社のPHANToM[33]、ワイヤを利用して握力を提示するCyberGrasp[27]、ペン型グリップに力を返すHapticGEAR[34]などが知られている。
図 2-33 Surface Display(文献[35,36]参照) 力覚提示の最近の一つの発見として対象提示の考え方を干渉して生じることから、物体の表面を表現するデバイスがあれば、これと指先との干渉によって接触力を表現することができるはずであるという考え方である。上述の力覚デバイスが力を提示することに注目していたのに対して、対象提示型デバイスは対象物の形状を表現する。初期の試みとしてはSurfaceDisplay[35,36]が知られている。これは、物体と指先の接触点近傍の物体表面をロボットアームにより提示するものであった。類似の考え方として、Robotic
Graphics[37]が提案されている。 【参考文献】 [2]清水 豊:機械的刺激による触覚の心理物理特性;日本ロボット学会誌, Vol. 2, No. 5, pp. 61 - 66 (1984). [3]田中 兼一,伊福部 達,吉本 千禎:触覚における凸点パターン認識特性;医用電子と生体工学, Vol. 20, No. 5, pp.17 - 22 (1982). [4]Karun B. Shimoga:A Study ob Perceptual Feedback Issues in Dextrous Telemanipulation:Part I. Finger Force Feedback;Proc. VRAIS'93, pp. 263 - 270, IEEE (1993). [5]Karun B. Shimoga:A Study ob Perceptual Feedback Issues in Dextrous Telemanipulation:Part II. Finger Touch Feedback;Proc. VRAIS'93, pp. 271 - 279, IEEE (1993). [6]Howe, R.D., Pwine, W.J., Kontarinis, D.A., Son, J.S.:Remote Palpation Technology;IEEE Engineering in Medicine and Biology, May/June (1995). [7]Ikei, Y., Wakamatsu, K., Fukuda, S.:Vibratory Tactile Display of Image-Based Textures;IEEE CG&A, Vol.17, No.6,pp.53-61 (1997). [8]Koichi Hirota, Toyohisa Kaneko:Implementation of Elastic Object in Virtual Environment;Proc. HCI '97, Vol.21B, pp.969-972
(1997). [9]Salisbury, K., Brock, D., Massie, T., Swarup, N., Zilles, C.:Haptic Rendering: Programing Touch Interaction WithVirtual Objects;Symposium on Interactive 3D Graphics, pp.123-130 (1995). [10]Zilles, C., Salisbury, K.:A Constraint-Based God Object Method for Haptic Display;Proc. IROS '95, pp.145-151 (1995). [11]Ho, C., Basdogan, C., Srinivasan, M.A.:Haptic Rendering: Point- and Ray-Based Interactions;Proc. PUG'97, (1997). [12]Koichi Hirota, Masaki Hirayama, Atsuko Tanaka,Michitaka Hirose, Toyohisa Kaneko:Physically-Based Simulation Of Object Manipulation;Proc. ASME2000, DSC-Vol.69-2, pp.1167-1174 (2000). [13]Morgenbesser, H.B., Srinivasan, M.A.:Force shading for haptic shape perception;Proc. ASME DSC, Vol.58, pp.407-412 (1996). [14]田中, 広田, 金子:力覚表現を考慮した仮想物体の変形手法;情報処理学会論文誌, vol.39, no.8, pp.2485-2493 (1998). [15]Ogi, T., Hirose, M., Watanabe, H., Kakehi, N.:Real-time Numerical Simulation in Haptic Environment;Proc. HCI '97, pp.965-968 (1997). [16]広田,
金子:柔らかい仮想物体の力覚表現;情報処理学会論文誌, Vol.39, No.12, pp.3261-3268
(1998). [17]鈴木, 服部, 江積 ほか:触覚を伴った手術作業が可能なバーチャル手術システムの開発;日本VR 学会論文誌, vol.3, No.4, pp.237-243 (1998). [18]http://www.sensable.com (1998). [20]Burdea, G.: Force & Touch Feedback for Virtual Reality;A Wiley-Inter-Science Publication, New York (1996). [21]Bliss, J. C., Katcher, M. H., Rogers, C. H., Shepard, R. P.:Optical-to-tactile image conversion for the blind:IEEETrans. Man-Machine Systems, MMS-1, pp. 58-65 (1970). [22]Collins, C.C.:Tactile Television - Mechanical and Electrical Image Projection:IEEE Trans. Man-Machine Systems, MMS-1, pp. 56-71 (1970). [23]Shimizu, Y., Shimamura, H.:Tactile pattern recognition by graphic display:Importance of 3-D information for haptic perception of familiar Objects;Perception & Psychophysics, Vol. 53, No. 1, pp. 43-48 (1993). [24]Yasushi Ikei, Kazufumi Wakamatsu, Shuichi Fukuda:Texture Presentation by Vibratory Tactile Display;Proc. VRAIS'97, pp.199-205 (1997). [25]奈良, 柳田, 前田, 舘:弾性波動を用いた皮膚感覚ディスプレイ;日本VR 学会論文誌, Vol.3, No.3, pp.89-97 (1998). [26]梶本裕之,川上直樹,前田太郎,舘すすむ:皮膚感覚神経を選択的に刺激する電気触覚ディスプレイ;信学論,VOL.J83-DII, No.1, pp.120-128 (2001). [27]http://www.virtex.com [28]矢野, 小木, 廣瀬:振動子を用いた全身触覚提示デバイスの開発;日本VR学会論文誌, Vol.3, No.3, pp.141-147(1998). [29]Frederick P. Brooks, Jr., Ming Ouh - Young, James J. Batter, P. Jerome:Project GROPE - Haptic Displays for Scientific Visualization;Computer Graphics, Vol. 24, No. 4, pp. 177 - 185,ACM SIGGRAPH '90 (1990) [30]Grigore Burdea, Jiachen Zhuang, Edward Roskos, Deborah Silver,Noshir Lagrana:A Portable Dextrus Master with 82 Force Feedback;Presence, Vol. 1, No. 1, pp. 18 - 28, MIT Press (1992). [31]佐藤 誠,平田 幸広,川原田 弘:仮想作業空間のためのインタフェースデバイス-SPIDAR-;信学技報, PRU 89- 88, pp. 51 - 58 (1989). [32]M.Minsky, M.Ouh-yong, O.Steel, F.P.Brooks, M.Behensky:Feeling and Seeing: Issues in Force Display;Computer Graphics, Vol. 24, No. 2, pp. 235 - 243 (1990). [33]Massie, T. H.:Initial Haptic Explorations with the Phantom:Virtual Touch Through Point Interaction;Master's Thesis, M.I.T. (1996). [34]Hirose, M., Ogi, T., Yano, H., Kakehi,N.:Development of Wearable Force Display (Haptic GEAR) for ImmersiveProjection Displays;Proc. VR'99, p.79 (1999). [35]Michitaka Hirose, Koichi Hirota:Surface Display and Synthetic Force Sensation;Advances in Human Factors/Ergonomics, Vol. 19B,Human-Computer Interaction, pp. 645 - 650, ELSEVIER (1993). [36]Koichi Hirota, Michitaka Hirose:Development of Surface Display;Proc. VRAIS'93, pp. 256 - 262, IEEE (1993). [37]William
A. McNeely:Robotic Graphics: A New Approach to Force Feedback
forVirtualReality;Proc. VRAIS'93, pp.
2−7
感覚間の相互作用 2−7−1
間接知覚論での相互作用 容器を興奮させる刺激を特定できず、興奮させられた受容器だけを特定することができる、とする3種の前提があった。これは「特殊神経エネルギー仮説」とよばれ、ヨハネス・ミューラーによって定式化された枠組みである。この教義は「感覚作用の性質は特定の受容器の興奮の性質であり、それを興奮させている刺激の性質ではない」と考え、受容器を興奮させる原因となることは受容器を通過したり、神経システムの中に入ったりすることができないとしていた。 これまでの感覚心理学では感覚間相互作用の研究はあまり行われていない。その理由の一部は上記した枠組みの3つの仮定それぞれによるだろう。感覚刺激と専門的に対応した一定数の受容器の存在の仮定、その働きを限定したものとする仮定である。 2−7−2
直接知覚論とその枠組みでの相互作用の議論 84 関係である」、「動きまわる頭の、動きまわる眼の神経入力は、神経束によって興奮させられる神経細胞の解剖学的なパタンと考えることはできない。このパタンは時々刻々と変化する」、「ミューラーが言ったように私たちは神経の状態を意識することもあるが、発火している特定の神経とは関係なく、興奮の原因を特定している入力のパターンや変形を意識することの方が多いのである」と述べ、2─7─1に紹介した伝統的仮説を批判した。 彼は固定した数、専門の受容器、そして外界ではなく受容器の状態を特定する働きが想定されていた感覚に代えて、数は固定されず、外界との対応に専門性がなく、それ自体の働きを特定することが不可能なほど縦横に組織化する「知覚システム」の探索の結果獲得されるのが知覚であるとした。彼は知覚システムはいくつものレベルで記述できると述べている。 受容ユニットが登録するのは、刺激作用のエネルギー量ではなく、刺激作用の時間的な順序や空間的な配置がもつ「情報」であると述べている。同様な議論はより大きなシステムにも拡張された。例えば視覚システムについては「一つの眼球は、すでに網膜像を鮮明に調節する水晶体と、光の強度を最適にするための瞳孔をもつ器官であるが、それらは低次のシステムである。 85 1) 不変項(情報) 直接知覚論では、動物は周囲の包囲エネルギー流動から環境の事物をユニークに特定する「情報」をピックアップするとしている。情報とは「刺激の中の変わらない性質」(不変項)であるとされる。Gibson
は「受容器には測定できる閾値があるが、知覚システムは受容器に依存しているにもかかわらず固定した閾値をもっていない。(感覚受容器に働く)刺激エネルギーは強度や周波数などの単純な次元で変化するが、(知覚システムが利用する)刺激情報は物理的な測定法ではそのすべてをあつかえない無数の複雑な次元で変化する。 動物は環境の中の変化と永続的に不変な性質の両方を知覚している」、「知覚のための自然な刺激には以下のような性質がある。ひとつは、自然な刺激には常にある程度の隣接性があることであり、また常に連続性があることである。だから自然な刺激には常に不変と変化の要素がある。 1、刺激は常にある程度の隣接性をもっている。刺激は「空間」のなかで同時的な構造やパターンをもっている。皮膚にあてられた鋭い棒や網膜に届いた細い光線は、境界や変わり目をつくり出すのであり、数学的な点をつくり出すのではない。 2、刺激は常にある種の連続性をもっている。刺激には「時間的」な構造がある。刺激には始まりを示す変わり目と終わりを示す変わり目がある。自然な刺激とは数学的な瞬間ではない。刺激には、同時的な構造があるのと同じように、必ず継時的な構造がある。3、結果として、刺激は常に不変と変化の両方の要素をもつことになる」と述べている。 (2) 5種の知覚システム Gibson
は環境への注意のモードとして5つの知覚システムについて考察した。それを以下に紹介する。 上下左右方向、持続する加速度と、一時的な加速度、「回転」加速度、すなわち転回、動物自身の押力、つまり自発的な移動の開始と停止を特定する情報をピックアップする。原始的な「平衡胞」から進化した前庭などがそのシステムである。 86 2)
聴覚システム 波列は振動事象に対して二つの点で特定である。一つは振動事象の周波数の混合が波列の同時的な周波数の混合にそのまま再現されている点(
例えば,口笛対がらがら声)で、二つは事象の時間的推移が波列の刻々とした系列としてそのまま再現される点である。周波数スペクトルと時間的経過だけは、距離が変化しても不変である。音の際立った特徴はすべてこの二つの変数の中に含まれる」としている。 3)
触覚システム 「動物は粘性体,あるいは粘-弾性体であるので、動物に生じる現象は時間的な変形によってもっとも適切に記述される」。動物が事物に触れることで生ずる粘─弾性体の変形は複雑である。従来触覚は筋感覚、痛み、温、冷、圧、関節覚、筋運動感覚などと小分けされてきた。接触によって生ずる感覚を局所の経験に限ろうとする伝統をGibson
は批判する。 第一に、触覚システムが、皮膚のみならずその付属器官を含んでいるという点にある。「人間においてさえ、皮膚は毛がはえており、指にはツメがある。他の哺乳動物は毛皮でおおわれ、特殊化したツメやひづめがあ る。鳥の皮膚は、主として羽の柄の基部である。したがって「触ること」は、非常にしばしば付属器官が媒介する皮膚への間接的な機械的擾乱で 87 ある。個体と環境の実際の接触は付属器官の先端で行われるのであり、その基底部でではない」からである。触覚システムは、厳密には伝統的に考えられてきたような近接感覚(proximity sense)ではなく、棒や杖など人工物の先端の接触で、周囲を検知することと同じことをやっている。道具の使用は、この付属器官による知覚的能力に基礎を置いている。第二に、身体は多様な階層からなる。 る」と述べる。Gibson は接触にかかわるいくつかのサブ・システムを指摘した。一つ
88 は関節や筋肉の運動なしに働く、皮膚とその深部組織による皮膚タッチ、第二が皮膚と深部組織が関節の動きとともに働くハプティック・タッチ、第三が、皮膚と関節と筋が組合わさって働くダイナミック・タッチである。ダイナミック・タッチについては1980
年以降アメリカのコネチカット大学の知覚の生態心理学的研究センターで精力的な研究が行われており、手のダイナミック・タッチによる剛体の長さやかたちが知覚されうること(視覚なしで)、その際、情報となるのは慣性テンソルの固有値であることが明らかにされている。 89 90 には複雑な筋肉組織があり、唇、顎、歯、舌、口蓋という多重な機構を含んでいる。二つの化学受容領域は口腔と鼻腔にあり機械受容器はほとんどどこにでもある。それらのすべてが同一の知覚システムに組み込まれている。Gibson
は口に入った物質の利用可能な情報の暫定的なリストとして、「溶液」、「揮発性部分」、「相対温度」、「表面の肌理」、「コンシステンシー」、「かたち」、「大きさ」、「比重」、「まとまりの度合い」もしくは「粒度」を上げている。「受容器は口の活動によって共変させられるので、すべての情報は同一の物質を特定し、入力はすべて相ともなう」。噛むことはのみこむためだけではなく、液体と芳香を解き放つので探索的である。 2)視覚システム Gibson
は生涯の大部分を生態光学を完成させることに費やした。視覚システムのついての議論は他のどのシステムよりも精緻である。Gibson
以前の光学の歴史には大きな転換があった。それは、大まかにいえば対象の形態的特徴を保持した像が眼にそのまま入るという主張から、像の存在を否定し光のエネルギー(刺激)以外には何も眼に入ってこないという主張への転換であった。Gibson
は後者、近代光学を主張したケプラーやデカルトと同様に、対象がコピーやレプリカをすべての方向に送っているという古典的(アラビア)光学の考えを棄却する。 91 光線束が構成される。つまり媒質中のあらゆるところはあらゆる方向からの光によって取り囲まれていることになる。この光を包囲光という。照明された媒質中には無限の密度をもつ光のネットワークが形成されていることになる。このように照明された媒質は収束する光線によって密に埋められている。この収束光の集合にはある特徴がある。それはどの収束も独自であり他と異なる。したがって収束の集合も独自であるということである。つまりある位置の光線束はそこにしかなく、ある部屋の光線束の集合はその部屋にしかない。同様に隣会う光線束のある方向への連なりは、その移動経路に独自である。 四のステージである。それは表面が包囲光に投射されたパースペクティブに対応している。長さのレベルでの環境の構造が、角度のレベルでの配列(立体角)の構造に対応する。重要なのは表面のレイアウトがある観察点に投射されてできる包囲光配列を区切る角錐の境界線は、光のビームを線に縮めて表したものでは ないということである。それは「光線の集束の間の境界であり光子の通り道ではない」。それは関係である。したがってこれらの線はエネルギーの表現ではなく情報の表現である。包囲光配列の変わり目は刺激では なく情報である。この変わり目は隣接する二つの表面の構成要素や色素のことなり、反射率の異なり、つまり色の違いによって補強されている。ここに観察者が登場したのが第五ステージである。観察者が動けば配 列は変化する(ステージ6)。包囲光配列を構成するあらゆる立体角は変化する。配列の肌理の要素が置き換えられる。観察者が動くときの包囲光場の変化の全体は大域的な運動視差を表現する。これを運動パース 92 している。運動パースペクティブには周囲の環境の配置についての情報がつめこまれていることになる。それには観察者自身の動きを参照する情報が含まれている。包囲配列で起こる光学的運動(ステージ7)は物の運動とは本質的に異なる。物の運動が質量と慣性をともなうのに対して、光学的運動はともなわない。しかし光学的運動は物の運動を特定する。眼のそばで起こっていること(光の変化)は、遠くで起こっていること(物の変化)とは異質であるが、それを特定する。剛体の変形はすべてパースペクティブ変形、非-
剛体運動と対応する形態の変形を非-パースペクティブ変形と呼ぶ。 (3) 直接知覚論における感覚間相互作用についての議論 等価性・冗長性:感覚は意識の質によって分類されてきた。知覚システムは活動によって分類される。知覚システムは5種に分類されたが、これは動物が、聴く、触る、臭いを嗅ぐ、味わう、視るといった方法で、身体の知覚装置を世界に定位づけているということを意味している。それらは注意のモードである。 94 両眼に情報を提供する。パチパチいう音、煙の臭い、放射される熱、メラメラと放射される色づいた炎のすべてが同じの事象を特定し、また、個々のものも単独で同じ事象を特定している。人は火を聞くことも、嗅ぐことも、熱を感じることも、見ることもできるし、また、これらの探知のどのような組み合わせもできるが、このようにして、火が知覚される。火という事象に関しては、4種類の刺激情報と4つの知覚システムは「等価」である」とされた。システムの多重性の指摘は、これまでの感覚間関係論を枠づけていた「連合」の議論とは異なる。 95 衡石の力とは逆方向に向かい・・・どのような姿勢をとろうと、たとえ転がろうと、重力とそれに抵抗する床面の力は一致している」。一方、床面が水平でない場合は「床面の抵抗力はもはや重力と平行ではない。このズレの角度が大地の傾きである」。システムに起こる変化同士が同時であるか、それにズレがあるか、ということが情報になって、地面の傾斜を特定する 図 2-34 平衡胞と接触システムの共変(Gibson 1966 より)平らな地面(左)と傾斜する地面(右) 基礎定位システムと共変するのは皮膚の変化だけではない。空からくる光の入射角や、水平線の視えが、平衡胞の変化と関係する。したがってどんな場合でも、動物が基礎定位のために利用している情報は、単独のシステムの働きを越え、複数のシステムの共変がもたらしている。知覚においては情報の複雑な「組み合わせ」が情報となるという指摘はGibson
の著作の方々にある。生態光学は、包囲光配列に投射される表面についての理論を基礎にしていた。 96 に「折り合いをつける」ことである。あらゆる知覚行為には、複数の知覚システムが同時に関与している。知覚システムが独立して働く場面はじつはまれである。知覚システムがピックアップする情報は、異なる形式のエネルギーを横断する、それ自体一つの還元不可能なパタンであり、そのユニークなパタンは複数の知覚システムの連関としてだけ記述できる可能性がある。 (4) 直接知覚論における感覚間相互作用の議論の含意 本節の後半で述べた直接知覚論における「感覚間相互作用」の議論は動物周囲のエネルギー場の構造とそれを特定する身体の系との関係に焦点を当てた議論である点で、従来の感覚の議論とは異質である。しかしこの直接知覚論に立てば、例えば障害を得ること(視覚障害や聴覚障害)は、決定的で回復不能な欠損ではなく、使用できなくなった流動場(光学的、音響学的流動場)の性質を他のエネルギー場で代替することで、ほぼ同一のリアリティに接近できる可能性を示唆しており福祉社会における他者コミュニケーションの多能性について重要な観点を提示している。共変の議論は、感覚間の相互作用がズレを中枢で埋め合わせるというモチーフではなく、知覚が元来、諸感覚の統制(調整)であるということを含意しており、感覚間の関係の議論に一石を投じている。 【参考文献】 (1)本稿が紹介したGibson の議論は、Gibson,J.J.(1966)‘The senses considered as perceptual systems' Greenwood press,publisher(westport,connecticut)にある。 (2)生態光学については、Gibson,J.J.(1979)‘An ecological approach to visual perception'LEA 『生態学的視覚論』古崎敬ら訳 サイエンス社に詳しい。 (3)ギブソン派知覚システム研究の最新の成果のいくつかはは、『アフォーダンスの構想─知覚研究の生態心理学的デザイン─』佐々木正人・三嶋博之編訳 東大出版会2001 年 (4)共変についての議論はStoffregen,T.A.& Bardy,B.G.(in press) On specification and senses. Behavioral and Brain Sciences. で展開されている。 97 ・ DARPA DSO(Defense Sciences Office):http://www.arpa.gov/ ・ NASA:http://ic.arc.nasa.gov ・ NIMH(National Institute of Mental Health):http://www.nimh.nih.gov/ ・
DoE(Department
of Energy(のうちOffice of Biological and Environmental Research)):http://www.er.doe.gov/ これら機関での五感情報通信技術に係る研究は、複数年にわたるプロジェクトにおける活動テーマの1つとして行われている場合が多い。特に近年では、地雷検知/除去などの危険物処理への嗅覚技術の応用や、神経科学者と情報科学者の協力による脳の研究を含めた研究をはじめ、様々な研究が活発に行われている。視覚、聴覚については、視覚と聴覚を組み合わせたシステムなど仮想空間での協調操作への適用を目指したVR 関連の研究が多く行われている。 2000年のCDN(Content
Delivery Network)のサービス開始に伴い、QoS
制御、キャッシング制御、ミラーリング、通信帯域の保証制御などの通信技術に関する研究も活発になってきている。触覚については、危険物処理などのロボットによる遠隔操作、外科トレーニングのための仮想外科手術、協調作業などVR
関連の研究を中心に研究が進められている。味覚、嗅覚については、生理的メカニズムについてはまだ解明されていない部分が多い。味覚については、遺伝子工学および分子生物学の研究手法による生物メカニズムの解明が進んできている。嗅覚については、「ElectronicNose」をキーワードに嗅覚ニューロンの仕組みを利用した化学センサの研究、 98 化学戦や地雷検知などの軍事への応用だけでなく、大気変化のモニタリングへの応用などの研究が活発に行われている。EU については、6th
Framework
Programme における7 つの研究領域の1 つであるInformation Society technologies の活動テーマの1
つとして言語、ゼスチャーおよび様々な感覚、仮想環境によって人間の自然な表現を理解し解釈することができる多感覚のインターフェイスの研究(「Information management
and interface」)が取り上げられている。6th
Framework
Programmeの研究構想は、2001 年2 月21 日にEU 議会に対するプロポーザルが公表された段階であり、2002 年から2006 年までの5
年間の実施が予定されている。 99 第3章 五感情報通信の実現イメージ 3−1
五感情報通信に対するニーズ 情報通信技術による視覚情報および聴覚情報の伝達は、日常的に行われている。しかし、そうした場面の多くは、視覚情報と聴覚情報以外の感覚に係わる情報が伝達されることにより、より自然なコミュニケーションがなされる可能性がある。さらには、社会の多くの場面において、五感情報の伝達に対するニーズが存在しており、五感情報通信技術が確立されることにより、経済や社会に大きな変革をもたらすことが想定される。本節においては、五感情報通信に対するニーズに関し、分野横断的な視点を列挙する。 (1) 五感情報の統合化に関する情報通信技術に対するニーズ 人間の感覚体験においては、個々の感覚モダリティ毎の感覚体験が脳機能により合成されるだけでなく、感覚モダリティ全体の感覚体験を、個々の感覚モダリティ毎に分けることは不可能である。これは、ある種の刺激は複数の感覚器官に同時に作用すること、および刺激が無い場合でも感覚体験が形成されることがある等の理由による。こうした五感情報の統合化に対するニーズは、他人との感覚体験の共有化というキーワードにより具現化することが可能である。 例えば、医療において、傷病に伴う統合化された感覚を患者から医者に正確に伝えることにより、医者は適切な診断および処置を施すことが可能となる。また、福祉場面において、老人や身体障害者が、統合化された感覚を介護者に正確に伝えることにより、介護者が身体障害者の身体の状況を的確に把握可能となり、迅速かつ効率的な介護を行うことが可能となる。 さらには、映画等において、登場人物の感覚体験全体を、特殊感覚と一般感覚を通じて、視聴者も共有することにより、現在の映画鑑賞よりも自然な鑑賞形態を実現することが可能となる。 (2) 感覚のトランスファに関する情報通信技術に対するニーズ 人間は、全ての感覚モダリティによる感覚体験の下に、日常生活を積み
100
重ねている。視覚障害者や聴覚障害者等の特定の感覚モダリティを有しない人々は、自らが持つ全ての感覚モダリティにより感覚体験を構成している。こうした人々にとっては、視覚情報や聴覚情報等は、それぞれ常に欠如した状況であり、視覚情報や聴覚情報でしか獲得できない情報の存在は感知できない現実が存在する。 そのため。視覚障害者にとっては、視覚情報がリアルタイムに他の感覚に係わる情報に変換される技術により、健常者と同等の情報を獲得できる可能性が生じる。 (3) 視覚・聴覚以外の感覚モダリティに係わる情報通信技術に対するニーズ 現状の情報通信技術においては、情報の伝達は、視覚・聴覚を刺激する情報の伝達に大きく偏向している。上記(1)で述べたように、人間は全ての感覚モダリティによる感覚体験の中で生活を営んでおり、情報通信技術においても、できる限り多くの感覚モダリティに係わる情報を伝達することが望まれる。 101 3−2 五感情報通信の実現イメージ 3−2−1
五感情報通信の類型化 五感情報通信を検討する際、ニーズ面から、統合化、トランスファ、多様な感覚チャネルへの展開がキーワードであることを、先に述べた。こうしたニーズを具現化する場合、様々な類型が想定可能である。情報通信技術の現状と将来の進展、生理学・心理学の現状と将来の進展等を加味した上で、以下のように類型化した。 (1) 環境を共有する通信 「環境を共有する通信」とは、現場における感覚体験を、情報通信技術により、時間と空間を越えて忠実に再現することを目的とした通信である。システムは、センシングデバイス、通信路(蓄積装置が設置されることもありうる)、再現デバイスから構成される。
センシングデバイスは、現場に存在して、感覚器官が感知する全ての刺激をセンシングし符号化する。通信部分は、圧縮等を施して伝達を行う。再現デバイスは、符号化データを基に、物理的方法または化学的方法等により、再現を行う。 現在、臨場感通信に関して研究が行われているが、視覚・聴覚のみに限定されている。この環境を共有する通信は、臨場感通信を五感に拡張したものと捉えることが可能である。環境を共有する通信の実現により、現地でしか得られない臨場感を遠隔地で味わうことが可能となり、遠隔地の人と同じ空間を共有できる。応用分野は、危険箇所の遠隔監視、体験型遠隔教育、仮想旅行に代表されるエンターテインメント等がある。次ページに環境を共有する通信のイメージを図示する。
102
五感情報通信の実現イメージ(1) 「環境を共有する通信」
103 (1) 解釈し働きかける通信 「解釈し働きかける通信」とは、現場における感覚体験を、マシンおよび人が解釈し、その解釈を基に、マシンまたは人が命令を発し、現場に対して何らかの物理的フィードバックを行うことを目的とした通信である。システムは、センシングデバイス、通信路、解釈および制御部(コンピュータまたは人間等)、アクション部(ロボット等の物理デバイス)から構成される。 センシングデバイスは、現場に存在して、感覚器官が感知する全ての刺激をセンシングし符号化する。通信部分は、圧縮等を施して伝達を行う。解釈・制御部分は、コンピュータを中心として人間が絡みつつ、データの解釈を行った後、現場に対して指示を発する。アクション部は、現場に存在して、解釈・制御部分により発せられた指示を基に、現場に対する物理的な働きかけを行う。 104 五感情報通信の実現イメージ(2) 「解釈し働きかける通信
105 (1) 仮想環境を構築する通信 「仮想環境を構築する通信」とは、視覚、聴覚、触覚、嗅覚、味覚その他の感覚モダリティによる形成される感覚体験を蓄積し、コンピュータやネットワークにより構築される場において仮想空間を構築することを目的とした通信である。システムは、@
センシングデバイス、A 通信路、B データベース、C 表現デバイスから構成される。 106 五感情報通信の実現イメージ(3) 「仮想環境を構築する通信」
「五感情報の移行・統合を利用した通信」とは、視覚、聴覚、触覚、嗅覚、味覚を介して得られる情報を符号化後、感覚空間における刺激のパターンを意味付けすることにより類似感覚体験毎に整理し、別感覚での再現、別パターンでの再現を行うことを目的とした通信である。システムは、センシングデバイス、通信路、データベース、変換部、表現デバイスから構成される。 変換部では、データベースに蓄積されたデータのうち、利用者が指定する意味を有する感覚体験を、適切な感覚モダリティに対して表示可能なデータに変換する。 表現デバイスでは、変換部おいて変換されたデータを基に、利用者に対して、視覚・聴覚・嗅覚・味覚・皮膚感覚を初めとする多くの感覚モダリティに対する働きかけを行う。 こうした五感情報の移行・統合を利用した通信により、個々人の有する感覚体験を扱うことが可能となり、特に感覚間のトランスファを工学的に実現可能となる。そのため、複数の感覚情報を扱う場合においてはじめて成立する概念であるという点で、前述の(1)〜(3)の実現イメージとは性質が異なるものである。応用分野は、視覚障害者に対する別の感覚チャネルでのナビゲーション等に代表される福祉分野、その他エンターテインメント等である。次ページに五感情報の移行・統合を利用した通信のイメージを図示する。 108 五感情報通信の実現イメージ(4) 「五感情報の移行・ 統合を利用した通信」
109 3−2−2 具体的な実現イメージ (1) 医療・福祉
110 2)
障害者等に対する日常生活支援 身体に障害を持つ人の日常生活を様々な方法で支援する技術が望まれている。例えば、視覚障害者に対しては、視覚情報を他の感覚モダリティに係わる情報に変換して提示し、聴覚障害者に対しては聴覚情報を視覚情報と平衡感覚・皮膚感覚等に係わる情報に変換して提示する五感トランスファによるナビゲーション等である。
111 (2)
安全・危機管理 人間と同様に視覚・聴覚・嗅覚・味覚・平衡感覚・皮膚感覚等を介した情報をセンシング可能な技術が確立され、人間の意図通りにオブジェクトを制御することが可能な通信が確立された場合、遠隔地における危険の察知、および危険な作業(高所や深海における作業、爆発物処理、原子炉内の作業等)を遠隔地から行うことが可能となる。こうしたコントロール作業を中心とした五感情報通信技術の開発により、危険作業の負荷を軽減するだけでなく、作業員の配置転換に伴う産業構造の変革をもたらす可能性がある
(3)
教育・訓練 現在、教育・訓練場面においては、情報通信技術は広く利用されている。典型的な例は、運転シミュレータや飛行シミュレータであり、これらにおいては視覚情報・聴覚情報に加え、平衡感覚や皮膚感覚を刺激することが行われている。これらに、嗅覚や味覚、その他の感覚を加えることによる通信を実現することにより、危険場面等において、より実際の場に近い教育・訓練を実施することが可能となる。 さらには、五感全体により体験可能な博物館(五感ミュージアム)や、動物園、水族館等が構築されることにより、世界中の文化遺産等を、多くの人々が共有することが可能となる。こうした五感情報通信技術の開発により、教育水準の向上、歴史的文化遺産の保存の推進、異文化間の相互理解の促進等が期待される。
112
生活・家庭・エンターテインメントの分野においては、五感情報通信技術に対するニーズが顕在化している。近年、様々な料理に係わるコンテンツが放映されるとともに、インターネット上に存在しているが、これらには嗅覚と味覚に係わる情報は付加されておらず、実際に料理に接するには程遠い現状にある。嗅覚と味覚、さらには温・冷等の皮膚感覚が伝達可能になれば、料理や食材を、時間や場所に拘束されること無く、多くの人々の間で共有することが可能となるだけでなく、遠隔地からの調理も可能となる。 113 こうした五感情報通信技術の開発により、生活・家庭分野での活用やエンターテインメント産業の大幅な規模拡大が期待される。
114
・2015〜2030
年頃には、感覚の相互作用を利用したセンシング・再生が実現する。 ・ 115 覚入力の脳内処理過程が解明される。 ・2030〜2050 年頃には、五感通信ネットワークによる五感コミュニケーシ ョンが実現する。 ・2040〜年以降には、脳への直接アクセスによる五感コミュニケーションが実現する。
年 図4−1
五感情報通信技術の技術開発ロードマップ 117 4−2
五感情報通信の実現に向けた個別要素の研究課題 前節で示した技術開発ロードマップを実現するための、個別要素の研究課題について、工学的アプローチ、生理学・心理学的アプローチの2つの観点から整理した。 4−2−1
工学的アプローチ 工学的アプローチの対象となる研究分野は、五感情報通信の構成要素であるセンシング技術・伝送技術・再生技術が挙げられる。現状では、視覚・聴覚については、センシング技術・伝送技術・再生技術の全てにわたり、かなりの範囲まで技術開発が進んでいるが、他の感覚分野については、視覚・聴覚に比べその進展度にかなりの差が生じている状況である。前節で示したロードマップでは、まず感覚毎のセンシング・再生が実現し、五感情報の伝送が限定的に可能になると予測している。 (研究課題の具体例) ・各感覚の特性に応じたネットワークのQoS 制御、帯域制御技術等の開発 ・感覚情報符号化圧縮技術・伝送プロトコルの開発 ・触圧覚センサ、ディスプレイ技術の確立 ・高臨場感立体視聴覚ディスプレイの開発 10年〜20年後あるいはそれ以降の中・長期的な研究課題としては、要素技術の研究開発の進展を踏まえた、各感覚情報のセンシング・再生技術の確立とともに、感覚間の相互作用を実現するディスプレイ技術の開発、センシング技術の開発や五感情報通信ネットワークの各種制御技術の確立、符号 118 化縮技術への相互作用を活用などが挙げられる。 (研究課題の具体例) ・五感情報の統合・同期を考慮したネットワーク制御技術の確立 ・触覚、味覚、嗅覚の符号化圧縮技術の確立 ・味覚、嗅覚のセンサ、ディスプレイデバイスの開発 ・脳への直接アクセスによるセンシング・再生技術の開発 4−2−2
生理学・心理学的アプローチ (研究課題の具体的例) ・各感覚情報のセンサー・ディスプレイ、通信方式の開発を目的とした、感覚情報の基本的性質を理解するための、各感覚受容・認知の基本的特性の解明 ・ 五感情報が与える心理学・生理学的効果の解明 ・ 五感情報通信への応用を目指した、言語・非言語コミュニケーションの解明中 ・長期的な課題としては、五感情報の統合的利用、脳への直接アクセスを目的とする課題が挙げられる。 (研究課題の具体例) ・五感情報の統合的利用を目的とした、感覚情報の知覚、学習、記憶との照合などの脳高次統合機能の解明 ・脳への直接アクセスを利用した五感情報通信への応用を目的とした、脳の脳神経系の構築原理の解明 4−3
五感情報通信によるコミュニケーションの実現に向けた研究課題 真のマルチモーダル通信である五感情報通信を実現することによって、現 119 4−3−1
短・中期的な研究課題(5年〜10年) 120 視覚や聴覚に比較して遅れている触覚、嗅覚、味覚といった感覚について、一層の取り組みが重要である。 4−3−2
中・長期的な研究課題(10年以上) 121 響、安全性・信頼性の検証、あるいは新たな規制やルール作りなどが適宜必要になってくる可能性がある。 4−4
研究開発の推進方策 4−4−1
研究開発推進のための考え方 4−4−2
研究開発推進のために各研究セクタに期待される役割 122 (1) 民間企業 従来から、情報通信分野の研究開発では、民間企業による貢献も極めて大きい。特に、各種デバイス要素技術、ソフトウェア技術、システム技術等は、五感情報通信分野を発展させる上で必要不可欠である。一方、五感情報通信技術は、技術的に未開拓な分野が多く、また、研究領域も広範であるため長期的な研究の取り組みが求められるが、民間においてはこのような研究の長期的継続が困難な側面もある。このため、国が研究を先導し、民間企業が有するポテンシャルを結集させるための方策を講じていくことが必要である。 (2) 大学・大学院 大学・大学院は、次世代を担う人材養成の中核機関であるとともに、基礎的・先端的な研究の担い手として重要な役割を担っており、未開拓な要素の多い五感情報通信技術の研究開発においては学際的な活動に関する大学・大学院への期待は高い。そのためにも、従来から指摘されているように大学・大学院への研究支援体制を早急に充実させる必要がある。 国として取り組むべき研究開発分野としては ・公共性が高い分野の研究開発 ・多様な分野に共通的・普遍的な研究開発 ・波及性が高く緊急性を有する研究開発 ・国自らが利用者となる分野の研究開発 123 いくべき分野であり、国として独立行政法人通信総合研究所等の政府系研究開発機関の活用を図るとともに、研究開発支援制度の活用・拡充により大学・民間企業等における研究開発の支援を積極的に推進していく必要がある。 (4)
政府系研究機関・特殊法人等 独立行政法人「通信総合研究所」をはじめとした各政府系研究機関において、情報通信、人間の知覚システム、脳科学など五感情報通信技術の各研究要素に関する基礎的、先端的研究が行われている。 4−4−3
研究開発体制 ??
五感情報を統合し、感覚の相互作用やトランスファを実現するための情 124
??
基礎的な要素技術的な研究から実用化を見据えたプロジェクト型研究等、混在する様々なフェーズに適切に対応するために複数の支援ツールを活用することが望ましい。 以上の点を考慮し、情報の共有・交換の場を中心として有機的に連携した各研究グループからなる研究開発体制のイメージを図4−2に示す。各感覚で個別に研究を進めている各研究グループの代表を構成員とする五五感情報通信調査研究会(仮称)を立ち上げ、統合した五感情報通信を実現するための情報交換の場及び戦略的な検討の場として継続的に活用する。期待される機能としては、 125 究グループの研究課題との組み合わせなど戦略的に推進すべきテーマを抽出し、プロジェクト化して推進する。総務省(及び関係府省)は、抽出されたテーマをプロジェクト研究として支援・推進する。 126 五感情報通信の研究推進体制
図4−2
五感情報通信技術の研究開発の推進体制図 127 4−4−4
効果的研究推進のために留意すべき事項 (3) 民間における研究開発の促進 (4) 大学・大学院の研究支援体制の充実 (5) 産学官連携の促進 (6) 省庁間の連携 (7)
優秀な人材の確保と交流の促進 128 以上、下記のHP(PDFファイル)よりワードにコピーしました。 http://www.soumu.go.jp/joho_tsusin/policyreports/chousa/gokan/pdf/060922_2.pdf#search='五感の操作%20総務省
|
---|