WWDC 2024 懶人包：蘋果又再次重新定義 AI 為 Apple Intelligence

這次 2024 的 WWDC，以 Apple TV+ 的內容開始，接著介紹各平台的 OS 系統，最後才談到 Intelligence（智慧），也就是蘋果對 AI 的稱呼。

visionOS

• 迎來首次版本大更新——visionOS 2 登場
• visionOS 2 透過「advanced machine learning」可將一般 2D 照片轉為空間照片
  • 還可以使用 SharePlay 同播共享功能，和親朋好友的虛擬人像投影一起瀏覽全景照片和影片，彷彿他們就坐在旁邊

• 全新手勢：抬起手雙指互點即可打開 Home View、手心朝下調出時間和電量訊息，再次雙指互點即可打開控制中心
• Mac 虛擬螢幕的尺寸、解析度皆變大，還可以進一步延展成環繞超寬屏，相當於兩台 4K 螢幕並排擺放，預計今年稍晚更新

• visionOS 2 的旅行模式新增對火車的支援（原本只支援在飛機上模擬私人電影院）
• 除了 iPhone 15 Pro / Pro Max 可拍攝空間影片外，Canon 亦推出全新的空間鏡頭來搭配 EOS R7
• 和 Blackmagic 合作打造一套 Apple Immersive VIdeo 工作流程，從攝影機到 DaVinci Resolve Studio 再到 Apple Compressor，預計今年稍晚公布
  • Apple Immersive VIdeo 在去年就發布了，是一種全新的空間影片格式，具備 180° 8K，並支援空間音訊
• Vision Pro 即將在 8 個國家開賣
  • 6 月 28 日：中國、日本、新加坡
  • 7 月 12 日：澳洲、加拿大、法國、德國、英國

iOS 18

• 主畫面現在可以讓你自由排列 APP
  • APP 圖示現在也支援深色模式，也可以自由更換顏色

• 全新控制中心介面，可以透過上下滑動切換類別（分成媒體播放、居家控制項等）
  • 添加新項目至控制中心也變得更簡單了，以往都要跑到設定裡的控制中心去設定，現在透過左上角的「+」號添加
  • 在控制中心的畫面也可以直接進行排列或放大縮小控制項目
  • 鎖定畫面的控制項目以往左邊是手電筒、右邊是相機，現在可以自由更換了
  • iPhone 15 Pro / Pro Max 可透過動作按鍵選擇控制項目

• Lock an app：現在可以將 APP 上鎖，APP 內的訊息也不會出現在搜尋、Siri 建議或通知中
• Hide an app：現在可以將 APP 隱藏，會放在 APP 資料庫最底下的「隱藏」資料夾，需要解鎖才能打開
• 更多客製化的隱私功能，例如可以限制 APP 只能存取部分聯絡人的資訊（以往是同意後會全部給予，現在比較像存取照片權限，可以只開放部分照片給 APP）
• 配對藍牙裝置時，以往會要求存取藍牙和網路訪問的權限，如果按下同意就會讓該裝置看到網路中的所有其他設備，現在全新的配對介面，可以保持流暢，同時保有設備隱私
• 訊息 APP
  • Tapbacks 點擊回覆開放使用所有的 emoji
  • 可以為訊息設定傳送時間
  • 訊息格式支援粗體、斜體、底線、刪除線等
  • 全新文字效果：放大、搖晃等，輸入特定文字時會自動跳出建議，也可以手動添加任一文字效果
  • Messages via satellite，類似 Emergency SOS via satellite，可以在沒有網路的情況下，透過衛星傳送訊息、表情符號、點擊回覆
    • 針對一般簡訊也支援 SMS via satellite
    • 皆具備端對端加密保護隱私

• 郵件 APP
  • 支援自動分類，分為主要、交易（訂單或發票）、更新（社群軟體通知）、廣告
  • 同一電子郵件地址可以自動歸檔在一起並以全新介面呈現
• 地圖 APP 支援登山路線或步道圖，可離線使用，但目前僅限美國國家公園
• 全新 Tap to Cash 功能，兩台手機靠在一起就可以轉帳
• 活動門票全新介面，包含場地資訊以及查找座位的地圖

• iPhone 終於有 Game Mode 了，可以降低背景活動，維持高幀率，手把和 AirPods 的連接也享有低延遲的靈敏反應
• 照片 APP 大更新
  • 介面改為一頁，上半部為照片，下半部為圖庫
  • 搜尋以及日期、年份分類都改到底下的選單中
  • 圖庫一樣有各種精選輯，例如最近項目、人物寵物、回憶、旅程等等
  • 照片網格左滑可開啟輪播圖，展示精選輯、最愛、自定的相簿等

Audio & Home

• AirPods 支援和 Siri 無聲互動，點頭為是、搖頭為否
• AirPods Pro 支援全新「Voice isolation」語音隔離功能，降低通話周圍環境噪音
• 空間音訊將支援遊戲，Need for Speed Mobile 為首波支援空間音訊的遊戲
• Apple TV+ 新增 Insight 功能，當觀看 Apple 原創影集或電影時，向下滑動即可查看演員或目前的電影配樂
• Apple TV 新增對話增強功能，可透過電視喇叭、AirPods 聽到更清楚的對話
• 字幕會在按下靜音或回放時自動出現
• Apple TV 新增對於 21:9 投影機的支援
• 螢幕保護的圖庫新增人像、影集或電影照片

watchOS 11

• watchOS 11 帶來了新的「training load（訓練負荷）」來追蹤強度
  • 全新演算法使用心率、海拔高度、年齡和體重來估計「effort rating（努力等級）」
  • 努力等級和運動持續時間用於計算訓練負荷
• 活動環中的新目標可以按一周中的每一天進行調整，或者在休息日暫停它們，並保持獎勵連續不中斷
• 全新 Vitals APP 可以用來查看身體狀況的變化
• Cycle tracking 孕期追蹤現在可以顯示孕齡的估計，透過圖表顯示懷孕情況以查看高心率通知等內容
• 去年推出的智慧堆疊變得更加智能，widgets 會在你需要時自動出現，例如出國時翻譯 widget 會出現，快下雨時天氣 widget 會顯示
• Live Activities 即時動態也將登陸 Apple Watch，可以查看 Uber 通知、Check In 安全回報通知等
• watchOS 11 透過機器學習智能辨別及評估出哪些照片最適合當作錶盤背景圖

iPadOS 18

• 具備 iOS 18 自訂義主畫面、控制中心、照片 APP 等新功能
• 全新懸浮標籤頁欄，可以讓 APP 主要內容都以滿版呈現
  • 可以在側邊展開查看所有標籤
  • 可將常用標籤拖動到懸浮標籤欄
• 使用 SharePlay 同播共享分享螢幕內容時，通過點擊或繪圖向對方示範如何操作，也可以向對方要求允許你遠端操作 iPad 或 iPhone 的權限
• 無邊記 APP 新增「Scene（場景）」，可以將整個筆記分成多個區塊逐一展示
• iPad 終於有計算機 APP 了
  • 搭配 Apple Pencil 解鎖 Math note 數學筆記功能，寫下算式可以自動計算結果並模仿筆跡呈現出來
    • 可以在一列數字下方畫一條線來自動加總
    • 支援科學計算、帶入參數等
    • 點擊等號可以自動畫出 XY 軸曲線圖
    • 懸停在「角度」上可以快速更改數值
  • 以上功能同樣可以在備忘錄中使用

• 備忘錄新增 Smart Script 功能
  • 透過機器學習自動美化手寫筆跡
  • 貼上的文字內容也可以你的筆跡呈現
  • 具備內文及拼字檢查
  • 要補充手寫文字時，用 Apple Pencil 可以拖動原本的文字空出位置
  • 在文字上畫波浪在可以快速刪除整段文字
• 備忘錄的標題加入章節摺疊功能

macOS Sequoia

• 訊息 APP 的文字效果、數學筆記功能、地圖中的登山路線都可以在 Mac 上使用
• Continuity 接續互通在 MacOS 迎來新功能——iPhone Mirroring，可以遠端操控 iPhone，幾乎所有功能都可以使用
  • iPhone 上的通知則整合到 MacOS 的側邊通知欄
  • iPhone 上的音樂可以在 MacBook 上播放
  • 可以在待機模式下同時使用 iPhone Mirroring
  • 可以將檔案拖動到虛擬的 iPhone 上

• 視窗現在會根據拖動的位置排列，終於！
• 演講者預覽模式，可在 FaceTime 及 Zoom 等 APP 使用，在分享螢幕前先看看分享後的樣子，就不會分享到太多無關的資訊
• 視訊會議的更換背景功能，可以換成自己的照片
• Keychain 新增 Passwords APP，可以儲存網站密碼、驗證碼等等，支援跨裝置同步
• Windows 上有安裝 iCloud 也可以使用 Keychain 功能
• Safari 透過機器學習功能，可以快速 Highlight 網站中的重點，例如在查詢飯店會自動秀出飯店位置資訊和電話

• 可以透過 Reader 總結文章摘要
• 全新的 Viewer 影片瀏覽器，支援回放以及切換使窗時縮成小圖繼續播放
• Game Porting Toolkit 2 允許將更高級的遊戲移植 Mac。包括更好的 Windows 相容性和新的著色器

Apple Intelligence

支援機型及推出時間

• 將在 iPhone 15 Pro、配備 M1 的 iPad 及 Mac 還有後續機型提供支援
• 將於今年夏天推出英文（美國）版提供試用
• Beta 版則會在秋天和各作業系統一起推出
• 某些功能和其他語言及平台的支援將於明年陸續推出

Apple Intelligence 特色——不只是 AI，還要足夠「個人化」

• Powerful：足夠強大能在各種緊急事項上幫到你
• Intuitive：必須直觀、容易使用
• Integrated：深度整合到產品的使用體驗中
• Personal：必須要能懂你、以你的使用情境為基礎，例如日常行程、人際關係、溝通交流等
• Pritive：注重隱私保護

Apple Intelligence 的能力

• 理解並生成語言和圖像
  • iPhone 上的通知可以設定優先順序以減少不必要的干擾，但又不會錯過重要訊息
  • 全新書寫工具：重寫、校對文字、提取文字摘要
  • 圖像生成三種風格：素描、插圖、動畫
• 代你執行操作，簡化跨多個 APP 進行交互的過程，例如：
  • 調出上週 Joz 發給我的檔案
  • 給我看媽媽、Oivia 和我的所有照片
  • 播放前幾天太太傳給我的 Podcast
• 能夠了解你的個人情境（Personal context）
  • 可以從 iOS 內部的任何地方獲取並分析最關係個人的數據，包括正在瀏覽的日曆或郵件，以「提供真正有用的資訊」
  • 例如有一場會議改到傍晚，想知道能不能趕上女兒的演出
    • Apple Intelligence 會知道你女兒是誰，以及她幾天前發來的演出資訊
    • 也知道這場會議的時間和地點
    • 並能預估從公司到演出地點的交通狀況

Apple Intelligence 的架構

• 最基礎就是裝置端的處理（On-device Processing），可以辨認出屬於你的資訊並加以分析，但不需要收集這些數據
• 依賴 A17 Pro 及 M 系列晶片的處理能力，結合大型語言和圖像生成模型，大部分時間都能在裝置端運行
• 針對較大的模型，蘋果推出私有雲運算（Private Cloud Compute），保證
  • 絕對不會儲存個人資料
  • 只會被用來執行你的請求
  • 通過獨立的專家認證及驗證確保隱私安全

Apple Intelligence 的體驗

Siri

• 將更自然、更貼合語境、更個人化
• 新介面，運行時會有一圈光暈環繞螢幕邊緣
• 可以更自然與 Siri 對話，就算不連貫它也聽得懂
• 不方便講話時可以雙擊螢幕底部開啟文字輸入框
• 可以教你如何操作 iPhone、iPad、Mac

• 未來一年 Siri 將進行更多升級，例如
  • 螢幕內容感知：理解螢幕上的內容並執行相應的操作
  • In-app actions：代勞在 APP 中的操作，實現數百種 APP 內及跨 APP 的新操作
  • 同時可以使用新的書寫和圖像生成功能
    • 例如請 Siri 找到某人穿著紅色大衣的照片並美化，然後嵌入在某個備忘錄中
  • 以上歸功於蘋果增強了 APP Intents 框架，從而讓 APP 能定義 Siri 和快捷指令，並且不限於蘋果自家的 APP，也會開放 API 給第三方 APP
    • 例如可以讓 Siri 用 Pro Camera by Moment 拍攝一段光軌的影片

• 因為 Apple Intelligence 對個人情境（Personal context）的認知，Siri 可以為照片、日曆行程、檔案、訊息、郵件等建立索引，方便你查照
  • 例如想找朋友之前向以推薦的書單
  • 填寫表格時突然要填駕照號碼
  • 你還可以描述希望重寫成什麼樣子，例如寫成一首詩

• iPhone、iPad、Mac 都可以使用
• 將外部模型與體驗整合：Siri 內建由 GPT-4o 提供支援的 ChatGPT
  • Siri 會評估 ChatGPT 是否有更好的解答，並徵求你的許可來訪問 ChatGPT，最後可以直接呈現答案
  • 問題中也可以提供照片，Siri 也會確認是否可與 ChatGPT 分享照片
  • ChatGPT 功能不必創建帳戶就可以免費使用，請求和訊息都不會被記錄；ChatGPT 的訂閱用戶可以連結帳戶使用更進階的功能
  • 分享任何訊息給 ChatGPT 都會先徵詢許可
  • 將於今年稍晚加入 iOS 18、iPadOS 18、macOS Sequoia
  • 未來也會加入更多 AI 模型

書寫工具 Writing Tools

• 全系統通用，支援文字輸入的地方幾乎都能用，包括第三方 APP
• Rewrite 重新書寫
  • Rewrite 的建議會直接顯示在內文中，方便你隨意搭配想要的語序和措辭
  • 也可以幫忙調整語氣，可以選擇友善、專業、簡潔等
  • Proofread 校對：幫你把關語法和用詞，確保結構清晰，也可以查看建議的修改以及為什麽要這麼改
  • Summarize 摘要功能
• 結合 ChatGPT 提供撰寫（Compose）功能，也可以透過 ChatGPT 生成圖像以搭配文字

郵件

• Smart Reply 功能：例如要回覆一個活動邀請，會根據該郵件內容自動產生回覆的建議，還會進一步根據信件裡的問題提供選項，選完後就會生成回覆的內容草稿了
• 郵件的預覽是摘要而不是信件開頭的幾行文字了
• 太長的郵件可以產生摘要方便理解
• 自動判斷哪些郵件最緊急並將其置頂

通知

• 最優先的通知一樣會置頂，同時顯示這些通知的摘要
• 全新的專注模式——減少干擾，能理解通知的內容，篩選出真的需要你注意的通知

Genmoji

• 可以用文字透過裝置端生成最應景的表情符號
• 可以用圖庫中的人物生成非常相似的 Genmoji

Image Playground

• 有預設的多個主題可以選，也可以自己輸入你要的 prompt，就可以透過裝置端生成圖片
• 三種風格：動畫、素描、插畫
• 建議的內容都跟聊天的訊息和人物有關
• 目前可以使用此功能的 APP：訊息、Keynote、Pages、無邊記等。也有獨立的 Image Playground APP，並開放給第三方 APP 使用

備忘錄中的全新工具 Image Wand

• 可以將草圖生成精美的圖片
• 在筆刷和調色盤的工具版面中就可以調用
• 圈選後可以創造一個 Image Playground，會利用裝置端的算力分析該草圖和文字，進而生成圖像。也可以直接圈選空白處，會自動抓取筆記內容作為 prompt

照片的編輯功能

• CleanUp 工具：識別背景中的干擾物體，圈選後可消除
• 可用自然語言搜尋照片和影片的某一片段
• 創建回憶影片：簡單輸入描述，自動挑出最佳的照片和影片，並分類成章節編成故事，最後加上 Apple Music 中合適的配樂

錄音轉譯

• 備忘錄和通話皆可支援
• 錄音完後即可生成摘要