想在本地部署大模型却不确定硬件是否达标？试试 Can I Run AI 快速检测

当你准备尝试在本地部署一个大模型时，最令人头疼的往往不是安装步骤，而是对硬件边界的未知：8GB 显存能跑动 7B 模型吗？Mac 的统一内存能支撑 14B 规模吗？如果强行运行 32B 模型，电脑会不会直接崩溃？

很多初学者在没算清硬件需求的情况下，花大量时间下载几十 GB 的权重文件，结果运行瞬间触发显存溢出（OOM），或者推理速度慢到每秒仅出几个字，导致整个尝试过程极其低效。

为了解决这个痛点，Can I Run AI 提供了一个极简的在线检测方案。它本质上是一个硬件“摸底”工具，旨在让你在点击下载按钮之前，就清楚地知道当前设备与目标模型的匹配程度。

它是如何判断硬件兼容性的？

传统的判断方式需要用户在 GitHub 或 Hugging Face 的 README 文档中翻找复杂的参数表，而 Can I Run AI 将这一过程自动化了。

该工具通过 WebGL、WebGPU 和 Navigator 等浏览器标准接口，自动读取设备的 CPU、GPU 及内存信息，并将其与内置的模型数据库进行比对。在获得权限后，它会为不同模型给出 S 到 F 的运行等级评分：

• S 级 $rightarrow$ A 级： 显存充裕，运行流畅，是日常使用的理想选择。
• B 级 $rightarrow$ C 级： 勉强能跑，但显存处于临界点，可能会频繁调用系统内存导致速度下降，适合非实时任务。
• D 级 $rightarrow$ F 级： 极大概率无法启动或体验极差，不建议尝试。

除了评分，该工具还会提供关键的 量化方案建议。对于大多数个人电脑用户，全精度模型几乎不可行，而 GGUF 等量化版本则是“救命稻草”。工具会明确指出，如果切换到 Q4 等量化版本，模型是否能进入可运行区间。目前其库中已覆盖 Llama、Qwen、DeepSeek、Gemma、Mistral、Phi 等主流模型，并支持按代码、推理、聊天等场景筛选。

注意事项：评分 $neq$ 实际流畅度

需要强调的是，Can I Run AI 的定位是 “预筛选” 而非“性能跑分”。网页给出的“能跑”结论是基于理论计算的，实际体验还会受到以下因素干扰：

• 底层链路： 显卡带宽、驱动版本、散热情况以及后台程序的内存占用。
• 软件框架： 不同推理框架（如 Ollama 与 llama.cpp）的内存管理机制不同。
• 设备特性： Apple Silicon 的统一内存机制与传统独显显存有本质区别，Mac 用户应将评分视为参考线而非绝对结论。

适用场景

如果你习惯使用网页版 ChatGPT 或通过 API 调用，那么这个工具对你没有意义。它专门服务于 本地部署爱好者：

• 选型参考： 准备安装 Ollama 或 LM Studio，但不确定该下载 7B 还是 14B 规模的模型。
• 量化尝试： 想知道自己的硬件在哪个量化级别（如 Q4, Q8）能达到平衡点。
• 硬件评估： 计划升级显卡或采购 AI 工作站，通过设备对比功能快速排除不合格选项。

快速开始

你可以直接访问官网，在无需配置的情况下快速获取当前设备的 AI 运行能力报告。