T5Gemma 2は2025年12月18日にGoogle DeepMindが発表した新しいLLMです。最近のLLMの中では非常に珍しく、エンコーダ・デコーダ型のアーキテクチャが採用されています。 事前学習済みのモデルがHuggingFace（またはKaggle）経由でダウンロードできます。モデル名はt5gemma-2- {e}- {d}という表記になっており、e ...

どうも、それなニキです。 今回から本格的にLLMの仕組みを掘り下げていきます。 相も変わらず私の思考メモなので読みづらいですが悪しからず。 1.ニューラル言語モデル まずは、LLMを解説するうえで基礎となる言語モデル(LM)の構造から扱っていきます。

T5GemmaはGemma 2をエンコーダ・ デコーダモデルに適応させたモデル。 T5Gemma: A new collection of encoder-decoder Gemma models -Google Developers Blog The Gemma family is growing today. First up: T5Gemma , the new generation of ...

Googleは16GBのVRAMもしくはユニファイドメモリで動作する軽量AIモデル「Gemma 4 12B」を2026年6月3日に公開しました。Gemma 4 12Bは「画像と音声をエンコーダーなしで処理できるマルチモーダルモデル」としてアピールされており、この「エンコーダーなし」の仕組みや意義についてGoogle DeepMindの社員であるマールテン・グルーテンドルスト氏が詳細な解説記事を公開 ...

1. ベースモデルアーキテクチャの世代交代：BERT から Decoder-Only LLM へ 1.1 2023年以前：エンコーダ専用モデルの時代 2023年末時点の MTEB Top 100 には、Google が開発した BERT-base/large、Meta が改良した XLM-RoBERTa をベースとする 100M〜560M 級のエンコーダ専用モデルが ...

大規模言語モデル(LLM) は、自然言語処理 (NLP) の分野を革命し、人間のようなテキストを生成し、質問に答え、言語関連タスクの幅広い分野で優れた能力を示しています。これらの強力なモデルの核心にあるのは、デコーダーのみのトランスフォーマー ...

エンコーダ専用（BERT 系）モデルからデコーダ専用 LLM ベースモデルへの全面的な移行 合成データ生成・知識蒸留・モデルマージといった訓練パイプラインの高度化が SOTA 達成の鍵に Matryoshka 表現学習（MRL）が業界標準として定着し、運用上の柔軟性が飛躍的に向上 多言語対応が必須条件となり ...