ジェネレーティブAIブーム立役者の一人、今度はバイオの世界に身を投じワクチンを再発明へ

コメント

注目のコメント

• 大田和 響子

  ラトナ株式会社 代表取締役CEO

  ・2023年09月29日

  総じて、シリアルアントレプレナーのような、一度立ち上げた事業などから次に活かす先として更なる事業を進めていく技術者の存在は社会にとって大事ですよね。
• 渡邉 博文

  WithMetis 代表取締役　理学博士（物理学）

  ・2023年09月29日

  大規模言語モデルの核となっているTransformerをタンパク質の配列に適用するという話です。（人間が使う自然言語を学習するのではなく、タンパク質中のアミノ酸配列を言語とおなじ要領で学習をさせるという意味です）
  https://www.jstage.jst.go.jp/article/jsbibr/4/1/4_jsbibr.2023.1/_html/-char/ja
  
  ゼロショット予測ができたという話や
  https://ai-scholar.tech/articles/bioinformatics/zero
  
  Alpha Foldより精度はやや劣る程度で、予測にかかる速度が60倍速いという結果が出ています。
  https://gigazine.net/news/20221102-meta-esm-metagenomic-atlas-protein-structure/
  既に、Metaなどからモデルが出ていますが、この記事にあるのは、Transformerの最初の論文の共著者で唯一、バイオ専業の会社を設立した人物が、注目を集めているという内容です。
  
  タンパク質工学という分野で、いくつかの問題で予測能力が大きく向上していて、その他の問題についても予測能力の向上が期待されているといったところです。
• 小峰 弘雅

  株式会社ベイカレント・コンサルティング／ カーボンニュートラルチーム JDLA研究会「AIデータと個人情報保護」／ 副座長

  ・2023年09月29日

  2017年の論文「Attention is All You Need」で登場したTransformer。
  
  TransformerはTransformer Encoderと呼ばれるニューラルネットワークのことを言います。
  論文タイトルにもなっている通り、最も特徴な工夫がAttentionという機構です。
  
  それまでのニューラルネットワークは、隠れ層で再帰的な構造を持つことで前の状態を使って計算して学習していました。ぐるぐる計算させるのです。
  
  これに対してAttentionは、単語と全ての単語の間の関係をベクトルの内積で計算し、それを考慮して学習させたのです。これによって、文章の中でどの単語が主題なのか考慮するようになりました。
  
  その後、一世を風靡したBERTも今話題のGPTもTransformerをもとに改良されたものです。
  
  Jakob Uszkoreit 氏がバイトの世界でもゲームチェンジを起こしてくれることに期待です。