玉林实硕医疗科技有限公司

從Transformer到腦機,蘋果發布會透露的遠不止MR | 見智研究_天天通訊

被吐槽價格太貴,實用性差,帶著外接電池…但見智研究看來,蘋果昨晚的發布會,超越預期。

蘋果一直以來引以為傲的并不是炫技,而是把所有黑科技運用于應用,為用戶創造最好的交互體驗,這一次在蘋果的MR設備Vision?Pro上,蘋果再次做到了。


(相關資料圖)

無需手柄的空中直接操控,設備間的無縫投屏切換,流暢的UI操控實時反饋,3D攝像機等等,這一切看似簡單的交互組合在一起就不再是簡單,而是真正的軟硬結合的實力。

沒有炫技,卻看到了蘋果把黑科技應用落地

蘋果WWDC23大會,沒有主打炫技術,但處處都是黑科技。腦機接口、Transformer?AI 模型等應用在了產品的交互體驗中。

其中給見智研究印象最深的要數兩只手在空中操控而Vision Pro得到的及時反饋。有過無線設備使用經驗的朋友一定會對延遲這件事深惡痛絕,但是從蘋果的宣傳中可以看到,這些操作幾乎是完全實時進行。

市場都在認為,這是蘋果在Vision Pro前安裝的多顆攝像頭的功勞。

見智研究從今早蘋果的一位神經功能開發者的推特中獲得了答案,遠不止攝像頭這么簡單!

根據蘋果神經技術設計師Sterling Crispin所述:

這種全新的腦機接口方式已經成為專利技術,對瞳孔變化進行監測,能夠被用來預測之后的行為,并且該技術已經被驗證是有效的,通過這種監測瞳孔的方式來實時進行UI創建,這是一種非常酷的體驗。

用戶在混合現實或虛擬現實體驗中,AI模型試圖預測用戶是否感到好奇、思維游離、害怕、注意、回憶過去的經歷,或其他一些認知狀態。

這些可以通過眼球追蹤、大腦中的腦電活動、心臟跳動和節律、肌肉活動、血液密度、血壓、皮膚傳導等測量來推斷,使預判行為成為可能。

與此同時,Sterling Crispin還提到Vision Pro采用了機器學習監測身體和大腦的信號,來預測人類的情緒,從而創建更適合的虛擬環境來增強用戶體驗。

由此可見,Vision Pro的這種腦機預測行為方式,突破了以往交互延遲慢的問題,配合攝像頭,讓UI延遲大幅降低,體驗的流暢度達到了全新的高度。

此前XR設備的發展路徑一直是拼硬件升級,但最大的問題還是在于交互體驗感、沉浸感難以提高。而蘋果Vision Pro就很好的解決了這個問題,這正是在此前蘋果硬件規格已經傳遍市場后仍超預期的地方。

蘋果:人與人不應是賽博朋克下的符號

從另外一些細節讓蘋果的理念更加凸顯——不想讓人與人之間變成賽博朋克下的符號。

蘋果創造性的在Vision Pro的正面渲染顯示了人的眼睛(一向熱衷黑科技的付鵬老師也在第一時間換了頭像),蘋果強調了在人與人交流時,眼神的互動。

這并不是蘋果第一次強調人與人對話時,眼神交流的重要性。蘋果早在多個版本前的FaceTime中,就對視頻時眼球位置進行了AI調整,將我們看著屏幕時歪掉的注意力方向調整為注視對方的方向。

而在Vision Pro中,蘋果進一步增強了人與人眼神交互,當眼睛和正面走來的人進行交流的時候,透過MR設備還能夠直接進行交流,而不需要摘下設備,當瞳孔行為發生變化時,又可再次進入沉浸式虛擬空間。

在使用Vision Pro的FaceTime功能時,對方會看到一個利用深度學習,渲染出來的實時的你,通過空間操作系統VisionOS把數字內容融入真實世界。

蘋果自己的AI也來了

市場認為,蘋果此次發布會沒有任何關于AI模型的內容,但這個也是有誤的。

見智研究發現,在最新升級的iOS17系統介紹中,蘋果宣布使用Transformer語言模型用于輸入和語音識別文字。

通過Transformer模型,蘋果能夠隨著用戶每次打字不斷改進體驗與準確度,進行自動語言語法糾正,方便于用戶在打字時獲得實時預測文字推薦,只要輕點空格鍵就能添加整個單詞或完成句子,讓文字輸入比以往更加快捷。聽寫功能利用全新語言識別模型,準確度進一步提升。

Transformer正是OpenAI等一系列大模型的基礎。而根據蘋果一向的隱私政策,毫無意外,這項技術也是純本地化運行。

蘋果將語言預測模型引入輸入法和語音傳輸中,是有一次將前沿技術和應用結合的最好案例。Transformer是人機對話助手最強的底層技術支持,而蘋果是第一個將該技術內嵌在移動端產品系統中的公司,之后iOS 17在語音語言輸入體驗上會帶來全新的感受。

同時我們可以期待的是,蘋果明年很可能會給用戶帶來本地化LLM大模型,本地化的判斷一方面是因為蘋果對用戶隱私的關心程度實在太高,另一方面蘋果在處理硬件上已經積累了相當的技術,軟硬一體化的大模型應用會更加有效。

如同Mac帶入個人計算時代,iPhone帶入移動計算,Vision pro將帶入空間計算時代。

見智研究認為:Vision pro的出現將真正開啟新的計算時代,而生成式AI對蘋果MR設備或許也是相互成就,因為此前MR的實時渲染對算力的消耗要遠大于生成式AI。此前我們在AI+XR將成為下一代移動端戰場一文進行過分析,認為生成式AI的快速發展與MR的結合將會帶來移動端產品的全面升級,特別是在應用內容創新方面會突破此前的開發方式,極大改善現階段XR爆款內容匱乏的問題。

生成式AI和蘋果MR就是時勢和英雄。

綜上

7年來,蘋果在用搬山的能力處理Vision Pro的每一個細節,這個軟硬結合的能力并不是誰隨便都能模仿的來的;每一個細小的問題都能看出來蘋果是花了非常大的功夫在解決。

這也是發布會前,即便是蘋果MR的硬件BOM清單到處流傳,但Vision?Pro亮相之后還是讓見智研究認為超預期的原因。

風險提示及免責條款 市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。

關鍵詞: