Picks
1フォロー
228フォロワー
10億トークンを処理できるマイクロソフトの言語生成AI「LongNet」、喉のMRIからAI音声合成など5つの重要論文を解説
テクノエッジ
AI insideが2259万トークン処理に成功、日本語LLM「PolySphere-1」開発で
EnterpriseZine
大塚 一輝
TransormersのAttentionは入力シーケンスの明示的なPositional Encodingを持つので任意のコンテキストサイズLを用い[0, L]までを入力できる. つまりいくらでも入力サイズは増やせるのだがトレーニング時の最大ウィンドウサイズを超えるとAttentionスコア関数は壊滅的な振る舞いをしPerplexity(当惑度)が桁違いに増大するので何も学習していないのと同様な結果を出力する. これは「外挿問題」と呼ばれる. 一言で言えばいくらでも長くできるが結果は壊滅的になる. 私の知る限り2023/6/28時点でオープンソースTransformersアーキテクチャのコンテキストウィンドウ拡張の最先端はPositional Interpolationで位置エンコードを線型写像し外挿問題を緩和したMetaの8192 ”Extending Context Window of Large Language Models via Positional Interpolation” か, Transformersでないアーキテクチャならコンテキスト長Lに対しTransformersのAttentionの2次の増大に対し対数時間O(L log2 L)を実現したHyena演算子でDNAヌクレオチドを100万トークンのコンテクスト長で事前学習したHyenaDNA. HyenaDNA: Long-Range Genomic Sequence Modeling at Single Nucleotide Resolution なので2千万の入力長で性能を維持しているとすれば明らかに世界最先端であり, ヒトゲノム10万塩基も容易にコンテキストサイズに入るためチューリング賞級の成果ということになる. 最新のAI分野についての専門的な情報は私のTwitter https://twitter.com/K00TSUKA フォローご自由に.
79Picks
グーグルCEO、AI技術の拙速な導入に警鐘-規制の必要性を強調
Bloomberg
大塚 一輝
GoogleのBardがShareGPTでホストされるOpenAIのChatGPTの出力で一部学習されており,OpenAIの利用規約に違反しているのではないかと懸念するGoogleエンジニア達の内部論争をテック系ニュースサイト「The Information」が報じていたが(Googleは否定している),昔Googleの検索結果がBingを強化するのに用いられていると非難していたことがあった.AlpacaはOPTのライセンスを継承しているが,非明示的に迂回したデータの権利を保護する方法はなく,法整備は追いついていない. こうした一部の企業が知を独占する構図にBerkleyのKoala,StanfordのAlpacaなどが応じいつかのバークリーのRISCを思い出させるが,メインフレームやARPANETの時代から続くオープンな文化の転換点を主張するDenis Hasabisのような人もいる.これは人智における本質的問題である. フェイクニュースそれ自体は些細だが問題はモデルが人間の行動をシミュレーションできるようになり,システムコールを自由に動かせるようになり,大規模な人間行動の「最適化」を実現したときである. トビー・オードの試算では人類の破滅のシナリオが起きる潜在的可能性17%(1/6)のうち核兵器は1%, 自然災害は0.1%に対し実にアンアラインドなAI(人工知能)の暴走が10%となっている. 世界が重要な局面にある中,皆利己心で動いていると邪推しかできない集団というのは恥ずかしいと思うべきだろう. さてChatGPTに「What was the term used when someone guesses other persons way of thinking the way to infer represents his own thinking pattern」を聞いてみたが知らないようだ.
150Picks
マスク氏、AI企業立ち上げを計画 オープンAIに対抗へ=新聞
Reuters
大塚 一輝
殆どのコメント,違いますね.イーロンの主張は「危ないからAI開発するな」でなく「正しい思想とプロトコルに基づき開発せよ」 この意味はAIの潜在的可能性を見通している人にしか理解できない. OpenAIは非営利での人類の利益を代表するAI組織となることを目的に作られたにも関わらず,実質的にMicrosoft傘下と言える資本関係に成り下がり,もはや公開書簡を出してもブレーキも効かず,その真の危険性を理解する者も少なく,当初の目的に叶う組織を新たに作るしかなくなった. 今多くの論文や学術で企業(OpenAI)が寡占する最新のAI研究のノウハウを公共の資産にしようと努力している状況. OpenAIははじめあるパーティでイーロンとアルトマンがGoogleに対抗するAIのオープンな組織を作る必要性を議論したところから始まり,同じパーティにいたbrockmanとIlyaが中心に実現されたが,アルトマンはMicrosoftに売り込みに行きイーロンと対立,アルトマンだけが残る形になった. そして現在,人類の利益を代表するというより,資本の論理に従い,特定の株主の利益を代表する組織と化した. 特定の集団が独占する状況は危険ということ.それを理解している人間はモデルを開発する専門知識をもった人間でも一部. AI(計算機)の創発性, 論理, 自己複製子の観点での 潜在的可能性と危険性については, 「ChatGPTに知能はあるか」- 大塚一輝 | 20年後の世界 https://kazukiotsuka.org/2023/03/22/computer-and-intelligence/
486Picks
NORMAL