Google 首款多模態嵌入模型釋出，大幅簡化 AI 複雜處理流程

陽光色叔

Google 10 日發表 Gemini Embedding 2，這是 Google 第一款以 Gemini 架構為基礎打造、完全多模態的嵌入模型。

Gemini Embedding 2 將文字、圖像、影像、音訊及文件對應到統一的嵌入空間，能在超過 100 種語言之間捕捉語義意圖。這不僅簡化複雜的處理流程，也能強化各種多模態的任務，從檢索增強生成（RAG）、語義搜尋再到情緒分析與資料分群等。

Google 在官方部落格文章指出，Gemini Embedding 2 利用一流的多模態理解能力，建立高品質的跨模態嵌入：

• 文字：支援最多 8,192 個輸入 token 的擴展上下文。
• 圖像：每次請求最多可處理 6 張圖像，支援 PNG 和 JPEG 格式。
• 影像：支援最長 120 秒的 MP4 和 MOV 格式影像輸入。
• 音訊：原生支援音訊資料的匯入和嵌入，無需中間的文字轉錄。
• 文件：直接嵌入最多 6 頁的 PDF 文件。
  

除了處理單一模態資料以外，Gemini Embedding 2 也能原生理解交錯輸入，也就是說，你可以在單一請求輸入同時多種模態的資料（比方說影像＋文字）。這讓模型能捕捉不同媒體類型之間複雜且細微的關係，更能準確理解真實世界中的複雜資料。

Gemini Embedding 2 也採用 Matryoshka Representation Learning（MRL）技術，透過動態縮減向量維度來保留關鍵語義。這使得輸出維度可以從預設的 3072 向下彈性縮減，讓開發者能在性能與儲存成本之間取得平衡。

Gemini Embedding 2 不僅提升舊有模型的能力，更為多模態嵌入建立新的性能標準。它新增了強大的語音能力，在文字、圖像、影像任務上超越多個領先模型。這種可量化的性能提升，加上獨特的多模態覆蓋能力，讓開發者能在各種嵌入需求獲得更強大的工具。

嵌入（embedding）技術是許多 Google 產品體驗背後的核心技術，從 RAG 在上下文脈絡工程所扮演的重要角色，到大規模資料管理與傳統搜尋／分析系統，都離不開嵌入技術。Gemini Embedding 2 透過 Gemini API 與 Vertex AI，以公開預覽形式推出，而部分合作夥伴也已開始使用 Gemini Embedding 2，打造高價值的多模態應用。

過去 AI 若要處理圖像、影像、音訊等，需要利用不同模型做預處理，如今藉助 Gemini Embedding 2，直接簡化成一款模型、一個嵌入空間就能搞定。

錄自：科技新報