Picks
1フォロー
228フォロワー
10億トークンを処理できるマイクロソフトの言語生成AI「LongNet」、喉のMRIからAI音声合成など5つの重要論文を解説
大塚 一輝
私のTwitterでは時差なくAI関連最重要論文を毎日紹介. 機械要約でなく全てオリジナル.
フォローご自由に.
https://twitter.com/k00tsuka/status/1676962237830033415?s=46&t=5TFzasFmnVdkLscbddt9kw
(LongNet 7月6日投稿)
—-
対してLongNetのDilated Attentionはセグメント長wとすると(Q, K, V)をN/wに分割し, 並列にAttentionの供給され, scatterされ, N/w個の結果Oi連結し出力Oを得る.
計算量はO(Nd)で線形関数であり, さらに配列の次元分割により複数のGPUデバイス上で分散学習が可能になる.
コンテキスト長はニューラルネットワークの最後の原始次元であり, 無制限であることが望ましく, より長い文脈はより複雑な因果関係と推論経路を可能にし, また多ショット学習のパラダイムシフトとなる可能性がある.
実験ではLongNetはDense Transformersより低い当惑度と少ない計算量を達成し, コンテキスト長をより効率的にスケールアップすること, またコンテキストウィンドウが大きくなるにつれテスト損失が徐々に減少することを示した.
https://twitter.com/k00tsuka/status/1676962237830033415?s=46&t=5TFzasFmnVdkLscbddt9kw
(LongNet 7月6日投稿より抜粋)
AI insideが2259万トークン処理に成功、日本語LLM「PolySphere-1」開発で
大塚 一輝
TransormersのAttentionは入力シーケンスの明示的なPositional Encodingを持つので任意のコンテキストサイズLを用い[0, L]までを入力できる. つまりいくらでも入力サイズは増やせるのだがトレーニング時の最大ウィンドウサイズを超えるとAttentionスコア関数は壊滅的な振る舞いをしPerplexity(当惑度)が桁違いに増大するので何も学習していないのと同様な結果を出力する. これは「外挿問題」と呼ばれる.
一言で言えばいくらでも長くできるが結果は壊滅的になる.
私の知る限り2023/6/28時点でオープンソースTransformersアーキテクチャのコンテキストウィンドウ拡張の最先端はPositional Interpolationで位置エンコードを線型写像し外挿問題を緩和したMetaの8192
”Extending Context Window of Large Language Models via Positional Interpolation”
か,
Transformersでないアーキテクチャならコンテキスト長Lに対しTransformersのAttentionの2次の増大に対し対数時間O(L log2 L)を実現したHyena演算子でDNAヌクレオチドを100万トークンのコンテクスト長で事前学習したHyenaDNA.
HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution
なので2千万の入力長で性能を維持しているとすれば明らかに世界最先端であり, ヒトゲノム10万塩基も容易にコンテキストサイズに入るためチューリング賞級の成果ということになる.
最新のAI分野についての専門的な情報は私のTwitter
https://twitter.com/K00TSUKA
フォローご自由に.
グーグル・ディープマインド、新AIシステム発表 アルゴリズム高速化へ
大塚 一輝
数学(言語)から計算(基本命令)でなくその逆をやってるということが重要なんですよ.
生成しているのはx86の命令でそこからC++を逆算.
歴史的にChatGPTよりも重要と言っても過言でない.
この事実が示唆するのは,
まず第一に「数学的方法を考える」という<人間の特権>だったものがコンピューターにごく部分的に譲られたということ.
第二にコンピューターが人間の手を借りなくても「知識」それ自体を作り出せるということは,
例えばコンピューターが遺伝子のように自らを修復したりする無限の進歩の門に立ったということ.
より詳しくは私のTwitterに書いてるのでフォローご自由に
https://twitter.com/K00TSUKA/status/1666817747886682121?s=20
マスク氏、独自AI立ち上げへ MS・グーグルに対抗
大塚 一輝
> 宇宙の理解に関心を示すAIが人類を絶滅させる可能性は低く
「知の増大」という宇宙の進化的収束にとって,人間という,コンピューターにとって補完的な存在は必要という意味だろう.
なぜなら人間の脳だけが自然界で唯一演繹的なコンストラクターだからだ.
hallucinationしないとかそういう狭い話ではない.まあ分かんないかな.
詳しくは,
創発性, 論理, 自己複製子の観点から<コンピューターが知能を持つか>という問題について
「ChatGPTに知能はあるか」- 大塚一輝 | 20年後の世界
https://kazukiotsuka.org/2023/03/22/computer-and-intelligence/
グーグルCEO、AI技術の拙速な導入に警鐘-規制の必要性を強調
大塚 一輝
GoogleのBardがShareGPTでホストされるOpenAIのChatGPTの出力で一部学習されており,OpenAIの利用規約に違反しているのではないかと懸念するGoogleエンジニア達の内部論争をテック系ニュースサイト「The Information」が報じていたが(Googleは否定している),昔Googleの検索結果がBingを強化するのに用いられていると非難していたことがあった.AlpacaはOPTのライセンスを継承しているが,非明示的に迂回したデータの権利を保護する方法はなく,法整備は追いついていない.
こうした一部の企業が知を独占する構図にBerkleyのKoala,StanfordのAlpacaなどが応じいつかのバークリーのRISCを思い出させるが,メインフレームやARPANETの時代から続くオープンな文化の転換点を主張するDenis Hasabisのような人もいる.これは人智における本質的問題である.
フェイクニュースそれ自体は些細だが問題はモデルが人間の行動をシミュレーションできるようになり,システムコールを自由に動かせるようになり,大規模な人間行動の「最適化」を実現したときである.
トビー・オードの試算では人類の破滅のシナリオが起きる潜在的可能性17%(1/6)のうち核兵器は1%, 自然災害は0.1%に対し実にアンアラインドなAI(人工知能)の暴走が10%となっている.
世界が重要な局面にある中,皆利己心で動いていると邪推しかできない集団というのは恥ずかしいと思うべきだろう.
さてChatGPTに「What was the term used when someone guesses other persons way of thinking the way to infer represents his own thinking pattern」を聞いてみたが知らないようだ.
マスク氏、AI企業立ち上げを計画 オープンAIに対抗へ=新聞
大塚 一輝
殆どのコメント,違いますね.イーロンの主張は「危ないからAI開発するな」でなく「正しい思想とプロトコルに基づき開発せよ」
この意味はAIの潜在的可能性を見通している人にしか理解できない.
OpenAIは非営利での人類の利益を代表するAI組織となることを目的に作られたにも関わらず,実質的にMicrosoft傘下と言える資本関係に成り下がり,もはや公開書簡を出してもブレーキも効かず,その真の危険性を理解する者も少なく,当初の目的に叶う組織を新たに作るしかなくなった.
今多くの論文や学術で企業(OpenAI)が寡占する最新のAI研究のノウハウを公共の資産にしようと努力している状況.
OpenAIははじめあるパーティでイーロンとアルトマンがGoogleに対抗するAIのオープンな組織を作る必要性を議論したところから始まり,同じパーティにいたbrockmanとIlyaが中心に実現されたが,アルトマンはMicrosoftに売り込みに行きイーロンと対立,アルトマンだけが残る形になった.
そして現在,人類の利益を代表するというより,資本の論理に従い,特定の株主の利益を代表する組織と化した.
特定の集団が独占する状況は危険ということ.それを理解している人間はモデルを開発する専門知識をもった人間でも一部.
AI(計算機)の創発性, 論理, 自己複製子の観点での
潜在的可能性と危険性については,
「ChatGPTに知能はあるか」- 大塚一輝 | 20年後の世界
https://kazukiotsuka.org/2023/03/22/computer-and-intelligence/
NORMAL
投稿したコメント