GPT-4を上回るオープンなLLM誕生? 中国研究者らが「Xwin-LM」公開
コメント
注目のコメント
OSSの劇的な進化!けど、結果の解釈が少し難しい
例えば、大人であるXさん (Xwin-LM) とGさん(GPT-4)が、大学生(GPT-3)に勝負を挑んだとき
・Xさんの勝率:95.57%
・Gさんの勝率:95.28%
大人であるXさんもGさんも、大学生に圧勝できるのは間違いないが、勝率の差が0.29%だけで、Xさんの勝利と言えるかどうか。
GさんとXさんの直接対決を見たいところ。
> AlpacaEvalの評価基準である「Text-Davinci-003」(GPT-3のモデルの一つ)に対する勝率で95.57%を記録。勝率95.28%のGPT-4を追い抜いたとしている。次から次へと真打登場!進展が早すぎる。
GPT-4は1兆超パラメータに対して、Xwin-LMは70億、130億、700億パラメータで性能を上回るらしい。
大規模が正義という戦いが終わるということなのか、次のOpen-AIが気になる。中国の研究者がMetaのAIモデル「Llama2」をベースにOpenAIのGPT-4を上回る性能の言語モデルを開発したようです。Hugging Faceにて、公開されています。
https://huggingface.co/Xwin-LM/Xwin-LM-70B-V0.1