ChatGPT 將海量訓練數據與 Transformer 框架結合，在 GPT 模型的基礎上通過 RLHF 模型提升交互聊天能力，實現了對自然語言的深度建模，Transformer 有望在未來 較長時間內成為 AIGC 語言L域的核心技術框架。
Transformer 架構為自然語言理解L域帶來顛覆性變革，應用到 NLP、CV、生物、化 學等多L域。2017 年，谷歌跳出 RNN 和 CNN 的結構，提出了完全基于 Self-Attention 機 制的 Transformer 架構，當時在機器翻譯任務上取得了顛覆性的進步。Transformer 由一個 編碼器和一個解碼器組成，且各自由若干個編碼/解碼模塊堆疊而成，每個模塊包含 MultiHead Attention 層、全連接層等功能不同的工作層。
Transformer 架構優勢突出，計算效率、并行度、解釋性均實現突破。相比于之前的 框架 Transformer 架構除了在計算的時間復雜度更優外，還有 3 大優勢：
（1）可直接計算點乘結果，并行度G：對于數據序列 x1,x2……xn ，self-attention 可 以直接計算任意兩節點的點乘結果，而 RNN 需要按照順序從 x1 計算到 xn。
（2）一步計算，解決長時依賴問題：處理序列信息使，通常用要經過的路徑長度衡量 性能，CNN 需要增加卷積層數來擴大視野，RNN 只能逐個進行計算，而 self-attention 只需 要一步矩陣計算就可以，更好地解決長時依賴問題。
（3）模型更可解釋：self-attention 模型更可解釋，attention 結果的分布可反映該模型 學習到了一些語法和語義信息。
 |
| 商用機器人 Disinfection Robot 展廳機器人 智能垃圾站 輪式機器人底盤 迎賓機器人 移動機器人底盤 講解機器人 紫外線消毒機器人 大屏機器人 霧化消毒機器人 服務機器人底盤 智能送餐機器人 霧化消毒機 機器人OEM代工廠 消毒機器人排名 智能配送機器人 圖書館機器人 導引機器人 移動消毒機器人 導診機器人 迎賓接待機器人 前臺機器人 導覽機器人 酒店送物機器人 云跡科技潤機器人 云跡酒店機器人 智能導診機器人 |
