GPTなどの大規模言語モデルは脳科学・記号論・言語学の観点で驚くほど良くできている
コメント
選択しているユーザー
素人的な把握
◼️単語単独の世界、具象の世界
記号接地している＝単語の意味を身体感覚レベルで理解している具象世界
◼️単語間の関係の世界、具象を超えた抽象の世界
単語と単語の関係＝単語の意味を単語間の関係によって理解する抽象世界
→単語間の関係をベクトルで把握する事が可能。
◼️子供が抽象的概念を学ぶ 時の9歳〜10歳の壁＝言葉を使って言葉を理解する事が必要な壁。
・数学→数学語を学び、数学語間の関係から、初めて数学的概念が理解できる世界
・物理→物理語を学び、物理語間の関係から、初めて物理的概念が理解できる世界
◼️大規模言語モデルは、人間の9歳から10歳の抽象の壁を超えて、世界を理解している様に見える。
だが、それは世界を理解していると言えるのか？そこが、人間を惑わせる。
少なくとも、現実に有用である範囲では、世界を理解しているか否かは、問われない。
ニュートン力学は、量子力学が発見されるまでは、世界を理解する仕組みだった。
矛盾する既存の理解モデルをアップグレードできるシステムなら、世界を理解しつつある、と言えるのかも。
注目のコメント
GPTなどの大規模言語モデルは言葉をベクトルに変換して処理することで高い能力を獲得していますが、その仕組みが脳科学・記号論・言語学の観点でビックリするくらい良くできていることに気づき、Topicsにしました。
ジェフ・ホーキンスの『脳は世界をどう見ているのか』で提唱されている脳の仕組みの新説、東浩紀氏と石田英敬氏による『新・記号論 - 脳とメディアが出会うとき』で紹介されているマーク・チャンギージーの「形態要素分析をすると人はみな同じ文字を書いており、かつ自然界の構成要素と同じ頻度分布になる」という驚愕の研究結果、日本で話題の今井むつみ氏と秋田喜美氏による『言語の本質』で提唱される人間の言語の獲得過程などが、驚くほどきれいに大規模言語モデルの働きと相似系を成しています。
直近のみなさんの仕事には一切役に立ちませんが、知的好奇心をだいぶくすぐる内容になっていると思うので、ぜひ仕事の合間などにご笑覧ください。言語学の分析ではないと思います。
また、以下については、定説ではありませんし、根拠に欠けるものです。子供の言語獲得の話ではないでしょうか。オノマトペは身体に近く、調音法も両唇系ですので発音が楽です。
>まず我々の祖先はオノマトペ（ニコニコやギクッといった言葉）を使用するようになり、それらが文法化され、体系化されて、現在の記号の体系としての言語にしていった。
