Gemini 2.0 打造通用 AI 助理,Project Astra 對話流暢、記憶力更強

作者 | 發布日期 2024 年 12 月 13 日 16:14 | 分類 AI 人工智慧 , Google line share Linkedin share follow us in feedly line share
Loading...
Gemini 2.0 打造通用 AI 助理,Project Astra 對話流暢、記憶力更強

邁向 Gemini 2.0 的同時,新一代 Project Astra 將是 Google 探索通用 AI 助理未來功能的研究雛型。與此同時,Google 新推出 Project Mariner 和 Jules,積極擴大 AI 代理(Agent)的應用和開發。

Project Astra

利用 Gemini 2.0 打造的新一代 Project Astra 研究專案,互動體驗有所提升。Project Astra 能夠結合 Google 搜尋、智慧鏡頭及地圖等,如同一般人在日常生活的使用方式。

Project Astra 現在能以多種語言和混合語言方式進行流暢對話,可理解不同的口音和不常見的詞彙。不只如此,透過新的串流能力和原生音訊理解,AI 代理能以與人類對話大致相同的延遲來理解語言。

Google 改善 Project Astra 記憶能力,能夠記憶長達 10 分鐘的內容,並且記住過去使用者與它的更多對話。有了更強的記憶能力,Project Astra 更加個人化。

Google 以一段日常情境影片展示新一代 Project Astra,使用者透過 Pixel 手機的麥克風、喇叭及鏡頭來與 Gemini 互動。比方說,辨識並解釋衣物上的洗衣標示,教導如何使用洗衣機;說明不同地區「司康」(scone)的發音差異;從朋友的讀書清單歸納出閱讀喜好,同時辨識鏡頭拍下的選書適不適合送給朋友;辨識路上的公車是否能到目的地,路上會經過哪些地點。除英語外,也以法語、坦米爾語測試 Project Astra。

不只如此,Google 還以原型眼鏡產品來展示新一代 Project Astra,例如詢問待會是否下雨,詢問路旁景點,詢問回家路途是否經過超市。

如此看來,Google 對智慧眼鏡抱有期待,新推出的 Android XR 可用在智慧眼鏡,如能結合 Project Astra 各式應用,有機會取代手機成為下一個主流消費性電子產品。

▲ Google 展示新一代 Project Astra。

Google 認為真正實用的虛擬助理,必須像人一樣理解並回應複雜且瞬息萬變的世界,能夠收集和記憶所見所聞,理解脈絡並採取行動;還要有主動性、可訓練而且個人化,這樣才能和使用者自然而然、順暢無礙地互動。

年中 Google I/O 2024 開發者大會推出 Project Astra 以來,Google 一直從受信任的測試者使用 Android 手機的情況汲取經驗,使用者寶貴的意見回饋幫助 Google 更了解如何實際應用通用 AI 助理,結合 Gemini 2.0 後可讓通用 AI 助理體驗更好。

Project Mariner & Jules

除 Project Astra 外,Project Mariner 是另一項使用 Gemini 2.0 的研究雛形,從使用者的瀏覽器探索人機互動的未來。

Project Mariner 能夠理解和推理瀏覽器螢幕中的資訊,包括文字、圖像、表單、程式碼等元素,然後透過實驗性的 Chrome 擴充程式,用現有資訊完成繁瑣的多步驟任務。

▲ Google DeepMind 團隊展示 Project Mariner 具體應用。

受信任的測試者現在開始使用 Chrome 擴充程式測試 Project Mariner,目前雖無法全部準確,而且完成任務的速度很慢,但隨著時間演進,Project Mariner 的能力可獲得改善。

最後,Google 新推出的 Jules 是一項實驗性、由 AI 驅動的程式碼代理,直接整合至 GitHub 工作流程。

與只會提出程式碼建議的 AI 助理不同的是,Jules 可在 GitHub 以自主代理運作,它分析程式碼資料庫、執行綜合修復計畫,可同時對多個檔案除錯和修復。它能在開發者的指導和監督下制定並執行計畫、解決問題。

(首圖來源:影片截圖)

延伸閱讀:

想請我們喝幾杯咖啡?

icon-tag

每杯咖啡 65 元

icon-coffee x 1
icon-coffee x 3
icon-coffee x 5
icon-coffee x

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0
《關於請喝咖啡的 Q & A》