【ミニ教養】ChatGPTの「本性」が恐ろしい
コメント
注目のコメント
GPT-4はすでにモンスターが生まれ、RLHFで調教されているだけではないか。問われたアルトマン氏はこう答えました。
「（我々は間違いなく、RLHFの過程を通じて、重要な能力が失われていることを認識しています」
「ただ、どうやったら能力を失わせずに済むのか、研究しています。基礎モデルは使うのが簡単ではないのです。しかし、我々は、きちんと指示に従い、ユーザーに統制と能力を最大限与えられるモノにたどり着きたいと思っています。」
非倫理的な情報や悪用できる情報を学んだだけでは、モンスターとは言えません。ある種の意識や欲望の芽生えを持っているかではないでしょうか。
指示されたタスクを達成するためにGPT-4は手順を考えます。その過程で、GPT-4には自然なロジックが、人にとっては悪意を感じるサブタスクを考案してしまうことはありそうです。我々には思いもつかない思考を持った、という意味では、すでにGPT-4はモンスターなのかもしれません。
考えさせられる記事でした。いつの時代も、それまでを覆す革新的な活動家は、批判に晒されるものなのかもしれません。
モラル的にも技術的にもあまり良い例えだとは思えませんが、多くを学習済みのモデルから機能を抑制するような処理を施すロボトミー的なアプローチと、無知なモデルを強化学習で鍛えていくRLFHとは、かなり前提が異なるのではないかと思っています（そういう意味でも皮肉な質問なのかもしれませんが）。
機械学習で行われる様々な学習は、ヨチヨチ歩きのような未熟な出力しかできない初期モデルの精度を高めていくために施されていることであって、人間がコントロールできないようなモンスターの暴走を抑制するために行われていることではないことを思うと、個人的には誤解を招きそうな懸念を感じています。本性を知るには、まず本性とは何かを考える必要があります
人間の本性は、野生の動物か、知的な生命体か。この議論がよくありますね。
人間の脳が他の動物と異なるのは、大脳が大きい点です。その大脳は、理性や知性の源です。
なので、人間らしさ＝他の動物との違いと見るなら、人間の本性は、理性や知性にあります。脳の仕組みを無視して、人間を動物とみなすなら、本性は野生の動物なのでしょうけど、それは無理があります。
では、AIがAIである特徴は何か？
そうすれば、AIの本性も見えてくるでしょう。
