Open-AutoGLM：将手机转化为 AI 智能助理
Open-AutoGLM यह ऑटोजीएलएम पर आधारित एक मोबाइल इंटेलिजेंट असिस्टेंट फ्रेमवर्क है। यह एआई को दृश्य समझ की क्षमता प्रदान करता है, जिससे यह मोबाइल फोन स्क्रीन की सामग्री का वास्तविक समय में विश्लेषण कर सकता है और उपयोगकर्ता के प्राकृतिक भाषा के आदेशों को विशिष्ट स्वचालित संचालन अनुक्रमों में अनुवादित कर सकता है।
用户无需手动操作，只需下达如“在小红书搜索美食”或“查找微信联系人”等指令，系统即可自动规划路径并模拟点击、滑动与输入。为了保障安全性，系统在涉及敏感操作时会触发人工确认或接管机制。
核心技术实现
该框架通过以下技术链路实现全流程自动化：
- 界面感知： स्क्रीन तत्वों को वास्तविक समय में पार्स करने के लिए विजुअल लैंग्वेज मॉडल (VLM) का उपयोग करें।
- 任务规划： 将复杂指令拆解为可执行的操作步骤。
- 设备控制： 通过 Android Debug Bridge (ADB) 执行指令，支持 WiFi 远程调试。
- 灵活接入： 开发者可通过 API 将其集成到自定义的智能操作场景中。
模型版本与资源
针对不同语言环境，项目提供了两款优化模型：
- AutoGLM-Phone-9B： 深度优化中文应用场景。
- AutoGLM-Phone-9B-Multilingual： 适配英文及多种语言环境。
模型下载： Hugging Face | मॉडलस्कोप
应用覆盖范围
फ़ोन एजेंट 50 से अधिक मुख्यधारा के ऐप्स के साथ संगत है, जो निम्नलिखित मुख्य क्षेत्रों को कवर करता है:
- 社交与资讯： 微信、QQ、微博、知乎、小红书
- 电商与生活： 淘宝、京东、拼多多、美团、饿了么、大众点评
- 出行与工具： 滴滴出行、携程、12306、高德地图
- 影音娱乐： 抖音、B 站、爱奇艺、网易云音乐
可通过运行 python main.py --list-apps 查看完整的支持列表。
操作能力清单
| 操作指令 | 功能定义 |
|---|---|
| Launch | 启动指定 App |
| Tap / Double Tap | 点击 / 双击指定坐标 |
| Type | 自动输入文本 |
| कड़ी चोट | चार-तरफ़ा स्लाइडिंग स्क्रीन |
| Back / Home | 返回上页 / 回到桌面 |
| Long Press | 模拟长按 |
| Wait | 等待页面加载 |
| कब्जा | मैन्युअल हस्तक्षेप (CAPTCHA आदि को संसाधित करने के लिए उपयोग किया जाता है) |
त्वरित शुरुआत
प्रोजेक्ट रिपॉजिटरी: GitHub – Open-AutoGLM
无论你是希望构建自动化方案的开发者，还是 AI 技术爱好者，Open-AutoGLM 都能为你提供一个可控且高效的手机自动化助手原型。
पाठ का अंत
