AI工具自動操作手機 便利背後隱藏資安隱憂
一款名為 Opposable 的新工具近期問世,標榜能讓人類將智慧型手機的觸控操作交由人工智慧(AI)代勞,以達到更高度的自動化與便利性。這款工具可以在 Android 手機上執行點擊、滑動及輸入文字等動作,而 iPhone 則需透過伴侶電腦進行控制。
根據《The Register》報導,Opposable 的 Android 版本運用手機的無障礙服務來檢查螢幕內容,並將這些視覺輸入傳送給 AI 模型處理。其核心技術仰賴視覺語言模型 GUI-Owl 1.5 2B,該模型透過 llama.cpp(一種用於運行大型語言模型的函式庫)運行,負責解碼影像並判斷手機螢幕上的點擊位置,以執行用戶指令。
用戶可選擇由配對的桌面 AI 代理執行任務,或在 Android 裝置上使用獨立的代理,後者不需連線電腦即可操作。Opposable 宣稱,約 40 項常見任務,如設定鬧鐘或切換 Wi-Fi 等,可透過預設程式碼處理,不需動用 AI 模型。實際應用方面,該工具展示了僅需 50 秒即可將系統主題改為深色模式並設定 5 分鐘計時器,過程中執行了 17 次工具呼叫。
另有範例指出,運用 Opposable 查詢阿波羅 11 號(Apollo 11)的發射日期和組員,耗時不到 2 分鐘,費用約 0.44 美元。儘管這些自動化操作看似高效,但 Opposable 官方網站也發出嚴正警告,稱其可能引發嚴重的資安問題,明確指出「誰持有這個數位憑證(Token),誰就能操作手機,因此務必像對待密碼一樣謹慎」。
安裝 Opposable 在 Android 裝置上,需要用戶透過側載方式安裝應用程式套件(APK),並手動授予讀取與互動螢幕的無障礙服務權限。雖然 Opposable 官方網站並未強調,但外界認為這項工具在協助行動不便者使用智慧型手機方面,也具有潛在的輔助價值。
AI 工具 Opposable 如何自動操作手機並有哪些資安風險?
AI 工具 Opposable 能夠讓人類將智慧型手機的觸控操作交由人工智慧代勞,實現高度自動化與便利性。在 Android 手機上,它透過無障礙服務檢查螢幕內容,並利用視覺語言模型 GUI-Owl 1.5 2B 解碼影像、判斷點擊位置來執行點擊、滑動及輸入文字等動作;iPhone 則需透過伴侶電腦控制。Opposable 官方網站已發出嚴正警告,指出此工具可能引發嚴重的資安問題,因為持有數位憑證(Token)者即可操作手機,用戶務必像對待密碼一樣謹慎保管。
Opposable 工具的運作原理是什麼?
Opposable 在 Android 裝置上運用無障礙服務來讀取螢幕內容,並將視覺資訊傳送給視覺語言模型 GUI-Owl 1.5 2B 處理。該模型透過 llama.cpp 函式庫運行,負責解碼影像並判斷手機螢幕上的操作位置,以執行用戶指令。
Opposable 工具的實際應用案例有哪些?
Opposable 可處理約 40 項常見任務,如設定鬧鐘或切換 Wi-Fi。實際應用範例包括在 50 秒內將系統主題改為深色模式並設定 5 分鐘計時器,或在不到 2 分鐘內查詢阿波羅 11 號的發射日期和組員,費用約 0.44 美元。
Opposable 工具在協助行動不便者方面有何潛在價值?
儘管 Opposable 主要標榜自動化與便利性,但外界認為這項工具在協助行動不便者使用智慧型手機方面,也具有潛在的輔助價值,能讓他們更輕鬆地操作手機。