大語言模型的第一篇論文

lionking0809

《Attention Is All You Need》是一篇2017年由Google發表的開創性論文，它提出了Transformer模型，一種完全基於注意力機制（Attention Mechanism）的新架構，徹底取代了以往序列模型（如RNN、CNN）的主流地位。此模型大幅提高了平行計算能力，降低了訓練時間，並在多項任務上（如機器翻譯）取得了當時的頂尖成果，是現代大型語言模型（如BERT）的基礎。

主要貢獻與特色

• 架構創新：
  - 完全拋棄了傳統的遞迴神經網絡（RNN）和卷積神經網絡（CNN），僅使用注意力機制來處理序列關係。
  - 利用「自注意力」（Self-Attention）機制，讓模型能同時關注輸入序列中的所有詞彙，並計算它們之間的關聯性，這解決了長距離依賴的問題。
  
  
• 效能提升：
  - 由於捨棄了RNN的順序處理，Transformer能夠進行大規模的平行計算，因此訓練速度大幅加快。
  - 在當時，它在機器翻譯等任務上達到了新的頂尖水準。
  
• 核心技術：
  - 注意力機制：讓模型能夠根據不同詞彙的重要性來分配注意力權重，從而更有效地捕捉遠距離的語義關聯。
  - 位置編碼：為了保留詞序資訊，論文引入了位置編碼（Positional Encoding），讓模型可以理解詞彙在序列中的位置關係。
  
  
• 深遠影響：
  - 這篇論文被認為是現代人工智慧領域的奠基性文獻，是引發AI熱潮的關鍵推手之一。
  - Transformer架構已成為自然語言處理（NLP）領域的標準，並在問答系統、文本摘要和多模態AI等領域得到廣泛應用。