AIと学生に同じ課題でレポートを書かせるとどうなるか--実験結果が公開
コメント
注目のコメント
「最も高得点だったのは米国史と法律の「B-」だった。新型コロナ感染症ワクチンの有効性に関する研究論文の評価は「C」で、これは人間のレポート提出者の1人より良い評価だった。」
ということなのでかろうじて次第点を取ったということでしょうか。
この分野はいたちごっこで、レポートを自動生成するAI、見破るAIが狐と狸の化かし合いをしている状況です。一般的には見破るほうが容易だとは言われています。GANで生成された違和感のない顔なども、別のAIを使うと偽物であるだけでなく、どの技術を使って生成されたものなのかの特定も可能という研究結果もあります。GPT-3がレポートっぽい散文を生成できるのは分かるのですが、レポートに不可欠な論ずるお題と論理構造はどうやって機械学習したのでしょうか?学習元データセットに同じお題のレポートが含まれていれば、それをほぼ引っ張って来たのかもしれません。学生向けレポートだとありえる話ではあります。
GPT-3がまたまた驚くべき結果を出しております。
「教育者にとって厄介な問題が生じる可能性は置いておくとして、この結果が示すのは、従来は明らかに人間だけの特徴だった自然言語処理が転換点に来ているということだ。」
ということですが、これから生徒たちがズルをしないように、教育レベルが後退しないように、AIが作成したコンテンツを見破るAIの開発も必要になりそうですね。