OMG-Agent: um assistente de automação para Android baseado em linguagem natural.
O OMG-Agent é uma ferramenta de automação de código aberto projetada especificamente para a plataforma Android. Ele combina comandos em linguagem natural com um modelo de interface gráfica, permitindo que os usuários controlem seus telefones diretamente com descrições de texto simples (como "Abra o WeChat e envie uma mensagem para Zhang San"), reduzindo significativamente as barreiras para a automação móvel.
Funções principais e destaques técnicos
- Orientado por linguagem naturalNão é preciso escrever scripts complexos; você pode controlar seu telefone para realizar tarefas específicas por meio de comandos de voz.
- Um ecossistema modelo robustoPossui suporte integrado para modelos de interface gráfica de usuário (GUI) móveis convencionais de grande porte, como AutoGLM e GELab-Zero, e é compatível com a interface OpenAI.
- Interação de dispositivos em tempo realPermite a captura eficiente de screenshots e a execução de operações com base na interface ADB, com suporte tanto para dispositivos reais quanto para emuladores.
- Implantação e interface flexíveisSuporta implantação multiplataforma e oferece uma interface bilíngue (chinês e inglês) com alternância entre temas claro e escuro.
- Código aberto e escalávelO projeto é totalmente de código aberto e os desenvolvedores podem realizar desenvolvimentos secundários de acordo com cenários de negócios específicos.
Guia de Início Rápido
1. Preparação do ambiente (Instalação do ADB)
Escolha o comando apropriado para instalar o ambiente ADB com base no seu sistema operacional:
- Windows:
instalar o adb - macOS:
brew install android-platform-tools - Linux:
apt install adb
2. Implantação do Projeto
# Clone o repositório: git clone https://github.com/safphere/OMG-Agent.git cd OMG-Agent # Instale as dependências e inicie a aplicação: pip install -r requirements.txt python run.py3. Configuração do equipamento
- MóvelAtive as "Opções do desenvolvedor" e ative a "Depuração USB".
- Método de entrada:Instalar Teclado ADB Para garantir que o texto inserido esteja correto.
- conectarConecte seu telefone através do cabo USB e conclua a autorização do dispositivo.
4. Procedimentos Operacionais
Após iniciar o programa, execute os seguintes comandos em sequência:Atualizar dispositivo $rightarrow$ Iniciar a transmissão $rightarrow$ Insira comandos em linguagem natural $rightarrow$ Clique para executar。
Comparação de modelos de GUI integrados
| Nome do modelo | fonte | Funcionalidades principais |
|---|---|---|
| AutoGLM-Telefone-9B | IA Zhipu | Profundamente otimizado para operação de interface gráfica em dispositivos móveis, garantindo a execução precisa de comandos. |
| GELab-Zero-4B-prévia | Estrelas Saltitantes | Design leve, adequado para tarefas gerais de agentes móveis. |
Cenários aplicáveis
- Jogador GeekExperimente usar IA para assumir o controle remoto do telefone e realizar processos automatizados personalizados.
- Desenvolvedores de tecnologiaPesquise sobre testes de automação de interface do usuário ou explore a tecnologia de agentes.
- Equipe de P&DRealizar prototipagem rápida e testes funcionais de produtos de agentes de IA.
- Especialista em EficiênciaTrabalhadores da área de automação que precisam de vários dispositivos trabalhando juntos para executar tarefas repetitivas.
Aquisição de Recursos
Repositório GitHub: safphere/Agente OMG
Download de backup: Download do Quark Cloud Drive
