Skip to content

Latest commit

 

History

History
190 lines (143 loc) · 8.96 KB

File metadata and controls

190 lines (143 loc) · 8.96 KB

AgentOS

English | 繁體中文 | 日本語

iOS 16+ Swift 5.9+ Claude Opus 4 License: MIT GitHub Issues

把你的 iPhone 變成 AI Agent 主機。 AgentOS 是一款原生 iOS App,透過 Claude AI 的完整工具呼叫能力,讓你的手機能自主地觀看、聆聽、說話、瀏覽、寫程式、交易與通訊。

AgentOS 是什麼?

AgentOS 將 iPhone 轉變為強大的 AI Agent,能夠:

  • — 相機、相簿、電腦視覺、AR 場景分析
  • 聽與說 — 裝置端語音辨識 (Whisper)、語音合成 (ElevenLabs)、語音頻道
  • 瀏覽 — 網頁搜尋、擷取頁面、雲端瀏覽器自動化 (Browserbase)
  • 寫程式 — GitHub 倉庫、分支、PR、Issue、檔案編輯(10 個工具)
  • 交易 — 台股、美股、加密貨幣即時行情(11 個工具)
  • 通訊 — 10 個頻道:Telegram、Discord、LINE、WhatsApp、Slack、Teams、Matrix、Signal、語音、內建聊天
  • 記憶 — 基本 + 語意向量記憶,跨對話持久化
  • 自動化 — 排程任務 (cron)、背景執行、多 Agent 討論
  • 創作 — DALL-E 圖片生成、HeyGen 影片、Canva 設計
  • 管理 — Google Drive、Gmail、行事曆、聯絡人、照片、提醒事項、HomeKit、健康

使用 純 Swift 直接呼叫 Claude Messages API — 無需子程序、無橋接框架。

核心數據

類別 數量 說明
原生工具 165+ 59 個工具檔案,涵蓋硬體、雲端、社群、程式、市場數據
AI Agents 30 專業角色,各有專屬儀表板 UI
智慧技能 34 輕量可組合能力模組
通訊頻道 10 內建、Telegram、Discord、LINE、WhatsApp、Slack、Teams、Matrix、Signal、語音
AI 供應商 5 Anthropic、z.ai、OpenRouter、Gemini、MLX 本地端
MCP 伺服器 動態 Streamable HTTP 傳輸(iOS 原生)
語言 3 English、繁體中文、日本語(即時切換)
Siri 捷徑 11 6 個語音啟動 + 5 個捷徑專用意圖
Swift 檔案 232+ 約 76K 行程式碼

AI Agents

30 個預建 Agent,各有專屬儀表板 UI:

Agent 功能說明
個人助理 通用助理 — 網頁搜尋、筆記、日誌、記憶
GitHub Agent 完整程式工作流:規劃 → 寫碼 → 審查流水線
市場 Agent 台股/美股 + 加密貨幣即時數據
Threads 發文者 Meta Threads:搜尋 → 撰寫 → 分析(14 個工具)
行程管理員 行事曆、提醒事項、排程任務自動化
照片管理員 相簿管理,支援 ML 智慧搜尋
自動化 Agent Cron 排程、Webhook、多步驟自動化
雲端開發 Agent 雲端瀏覽器 + 程式執行 + 圖片生成
頻道中心 多頻道監控與回應
+ 21 個更多 包含硬體 Agent(BLE、NFC、AR、HomeKit、健康、音樂、導航)

透過 5 步驟建立精靈 自建 Agent,或匯入社群 Agent(.agentpkg 套件)。

智慧技能

34 個可組合技能,強化任何 Agent — 無需專屬 UI:

技能 說明
市場分析師 台股市場分析
美股分析師 美股市場數據 (Polygon)
加密貨幣分析師 加密貨幣市場分析
Threads 發文者 Meta Threads 社群媒體(14 個工具)
程式技能 GitHub 程式工作流(10 個工具)
腦力激盪 創意發想與腦力激盪
規劃師 專案與任務規劃
審查員 程式碼與內容審查
翻譯師 多語言翻譯
文件處理器 文件分析與處理
+ 24 個更多 涵蓋 SEO、電子郵件、雲端基礎設施、安全掃描等

10 個通訊頻道

頻道 前景模式 背景模式(常駐)
內建聊天 原生 SwiftUI 始終可用
Telegram Long polling APNs 中繼
Discord WebSocket Gateway APNs 中繼
LINE Webhook APNs 中繼
WhatsApp Webhook APNs 中繼
Slack WebSocket APNs 中繼
Teams Webhook APNs 中繼
Matrix Sync API APNs 中繼
Signal Webhook APNs 中繼
語音 裝置端 STT/TTS

常駐架構:Cloudflare Worker 中繼伺服器透過 APNs 推播通知實現背景訊息處理,即使 App 被暫停也能運作。

5 個 AI 供應商

供應商 模型 用途
Anthropic Claude Opus 4 主要(自適應思考、tool_use)
z.ai Claude via z.ai 替代端點
OpenRouter 多種模型 模型多樣性
Gemini Gemini Pro Google 整合
MLX 本地端 Qwen3、Gemma、Llama 裝置端推論(無需 API Key)

供應商不可用時自動切換備援。

MCP 整合

透過 Streamable HTTP 傳輸擴充 AgentOS — 這是 iOS 上唯一可用的 Model Context Protocol 傳輸方式(無需啟動子程序)。

內建預設伺服器。可在 App 內 MCP 設定中新增自訂伺服器。

架構

┌──────────────────────────────────────────────────┐
│               AgentOS (iOS App)                  │
├───────────┬───────────┬────────────┬─────────────┤
│ 頻道管理   │  Agent    │   工具     │    MCP      │
│ (10 個)   │  引擎     │  調度器    │  客戶端     │
│           │  (核心)   │ (165+)     │  (HTTP)     │
├───────────┴───────────┴────────────┴─────────────┤
│    Claude Messages API(Agentic tool_use 迴圈)   │
├──────────────────────────────────────────────────┤
│  5 個 AI 供應商  │  常駐中繼(CF Worker)          │
├──────────────────┴───────────────────────────────┤
│  iOS 硬體:相機、GPS、音訊、BLE、NFC、AR          │
└──────────────────────────────────────────────────┘

Agentic 迴圈:訊息 → Claude API → tool_use? → 執行工具 → 附加結果 → 迴圈直到 end_turn。安全限制:每輪最多 50 次工具呼叫。

工具 Hooks(安全層)

Hook 用途
ActivityLogHook 記錄所有工具使用,作為稽核軌跡
PrivacyHook 敏感操作需明確授權(Drive、Gmail、GitHub 寫入、聯絡人、BLE、HomeKit)
ConstitutionHook Constitutional AI 安全護欄

隱私與安全

  • 所有 API Key 儲存在 iOS Keychain(絕不使用明文或 UserDefaults)
  • 頻道白名單:只有明確核准的聊天室能發送指令(預設拒絕)
  • MCP 連線僅限 HTTPS
  • 不蒐集任何資料 — 一切留在你的裝置上
  • 敏感操作由 PrivacyHook 把關(需使用者核准)
  • 令牌桶演算法速率限制
  • Telegram/Discord Webhook 驗證(Ed25519、HMAC-SHA256)

系統需求

  • iPhone,運行 iOS 16.0 或更新版本
  • 至少一個 AI 供應商 API Key:
  • 選用:Telegram Bot Token、Discord Bot Token、LINE Channel Token 等

回報問題

發現 Bug 或有功能建議?請開啟 Issue

  • Bug 回報:使用 Bug 回報範本 — 請附上 iOS 版本、重現步驟、預期與實際行為
  • 功能建議:使用功能建議範本 — 描述你的使用情境

貢獻

請參閱 CONTRIBUTING.md 了解貢獻指南。

安全性

安全漏洞請參閱 SECURITY.md請勿為安全漏洞開啟公開 Issue。

連結

授權條款

MIT License — 詳見 LICENSE


空引股份有限公司 使用 Claude 打造