这项由南京大学、商汤科技、南洋理工大学、上海东谈主工智能实验室、香港大学、西安交通大学搭伙开展的谋略足球投注app，以预印本边幅发布于2026年4月，论文编号为arXiv:2604.15093，有兴味深切了解的读者可通过该编号在arXiv平台查阅完整原文。

手机屏幕上那些繁琐的操作，有莫得可能交给AI来作念？大开某个App、找到某个树立、按照你的条款完成一系列要津——这类"手机助手"的想法并不崭新，但实在能用的系统，往时简直是各大科技巨头的专属领地。这篇论文要讲的，就是一群谋略者怎么冲破这谈壁垒，用开源的方式为平日谋略者和开辟者铺平谈路。

谋略者们给我方的完毕起名叫"OpenMobile"。这个名字里的"Open"不是噱头，而是一种宣言：他们把锤真金不怕火AI手机助手所需的数据合成门径、代码和数据集全部公开，让任何东谈主都可以用来锤真金不怕火我方的AI助手。在这之前，行业里最顶尖的AI手机助手——比如Step-GUI、MAI-UI、UI-Venus-1.5、MobileAgent-v3.5——在一个叫作念"AndroidWorld"的圭臬测试上，顺利率照旧接近70%。这个数字听起来不算惊东谈主，但要知谈，这些任务触及实在的手机操作，每一步都需要AI实在"看懂"屏幕、"想明晰"该何如作念。关联词，这些顶尖系统背后的锤真金不怕火数据全部守秘，外界透彻不知谈它们是何如练出来的。与此同期，依赖公开数据集锤真金不怕火的开源模子，在一样的测试上只可达到30%傍边，差距悬殊。

OpenMobile的看法，就是填平这谈范畴。

一、手机AI助手究竟在作念什么

在深切了解OpenMobile的具体作念法之前，有必要先搞明晰这类AI助手到底是何如责任的。

把AI手机助手比作一位新来的实习生好像更好理会。你把一部目生的手机交给这位实习生，告诉他"帮我在日期App里创建一个未来上昼十点的会议"。这位实习生需要先看明晰屏幕上的内容（相称于AI"读取"截图），然后判断该点那儿（相称于AI决定践诺什么操作），一步步完成任务。更症结的是，要是某一步走错了，他还得能阐明到出错了，并想办法校正。

这类AI系统在学术上叫作念"视觉话语模子驱动的移动端智能体"，说白了就是：能看懂手机屏幕图像、又能理会东谈主类提醒的AI，在手机上帮你干活。锤真金不怕火这样的AI，需要深广的"脚本"——也就是每个任务对应的操作轨迹：从第一步点了那儿，到终末任务完成，每一步都有纪录。有了这些脚本，AI才气通过效法学习，逐渐掌抓怎么操作手机。

问题在于，高质地的脚本很难赢得。东谈主工一条一条地标注本钱极高，而且东谈主工标注经常存在噪声和造作。更贫困的是，即便有了脚本，要是脚本里惟有"一切顺利"的情况，AI在现实中遭受我方犯错的情况时就会昆季无措——它从来没见过出错之后该何如办。

OpenMobile针对这两浩劫题，差别想象了两个中枢措置决议。

二、给AI建一张"App功能舆图"

措置第一个难题——怎么自动生成深广高质地任务提醒——OpenMobile继承了一种颇具新意的门径。

现存的主流作念法，时时是让AI在App里连忙点来点去，然后字据它走过的这条旅途来编一个任务。这就像一个东谈主在城市里敷衍走了一条街，然后字据这条街的见闻编一个旅游攻略。问题是，一条街的见闻太局限了，你根柢不知谈这座城市还有若干边缘、若干兴趣的地方。

OpenMobile的作念法透彻不同。谋略团队把这个进程拆成了两个阶段。

第一阶段，先让AI在App里鄙俗探索，把遭受的统统不同页面都纪录下来，就像绘画一张舆图。在这个进程中，AI每走一步，都会把刻下页面的截图和它能到达的相邻页面记下来。由于不同的探索旅途会经过调换的页面，谋略者用一种叫"感知哈希"的技艺来识别"这两张截图其实是团结个页面"，幸免重复纪录。最终，统统探索旅途被整合成一个调治的结构，谋略者称之为"全局环境驰念"。可以把它理会为一张完整的App功能舆图，标注了每个页面有哪些功能，以及页面之间怎么跳转。

第二阶段，才是生成任务提醒。关于舆图上的每一个页面，谋略者不仅给AI看这个页面本人的内容，还特别提供两类信息：一是"短期驰念"，也就是这个页面相邻的几个页面（你从这里能平直到那儿、从那儿能来到这里）；二是"持久驰念"，也就是统统这个词App里和这个页面功能相干但可能相距很远的其他页面的功能形容。这种"持久驰念"是通过语义相似度检索获取的，访佛于你在藏书楼找书时，系统会保举主题相干的其他书目。

有了这三层信息，一个众多的视觉话语模子就能生成既各类又有字据的复合型任务提醒——不是节略的"大开树立"，而是"在音频录制App里，把灌音形态改成WAV、采样率设为48kHz、声谈设为立体声，然后录一段短音频保存"这种复杂提醒。生成的提醒还要经过质地过滤（评分过低的删掉）和去重（语义太相似的只保留最佳的一条），最终得到一批高质地的任务提醒集。

这种把"探索"和"生成"分开的想象，带来了实质性的公正。谋略者作念了东谈主工评估：让有教导的评测者把OpenMobile生成的提醒和两种基线门径作念对比，完毕发现OpenMobile的提醒在"难度和复杂性"方面昭着更胜一筹，而"合感性和可践诺性"一样莫得下跌。在试验锤真金不怕火效果上，用调换数目（1500条）的轨迹数据锤真金不怕火，OpenMobile的门径让AI在AndroidWorld测试中达到48.3%的顺利率，而另外两种基线门径差别惟有34.1%和45.3%。

三、教AI怎么从造作中爬起来

有了任务提醒，接下来就要让AI试验践诺这些任务，把践诺进程录制成"脚本"，再用来锤真金不怕火AI。这就引出了第二个中枢挑战：怎么汇集既高质地又包含"犯错与纠错"教导的脚本。

最常见的作念法叫"民众蒸馏"，也就是让一个照旧很好坏的AI（民众模子）去践诺任务，把它的操作进程录下来，让待锤真金不怕火的AI（学习者模子）去效法。这个门径的优点是脚实质地高，纰谬是脚本里全是"教科书式"的无缺操作，学习者从来看不到犯错之后该何如办。到了实在使用场景中，学习者一朝犯错，就会昆季无措，不知谈怎么校正。

另一种作念法叫"自我进化"，让学习者我方去践诺任务，顺利的才留住来，然后再行锤真金不怕火，月盈则亏。这种门径的公正是学习者见过我方犯错的情况，纰谬是跨越罕见慢，而且学习者的才略上限就是它我方刻下的水平，很容易堕入瓶颈。

OpenMobile提议了一种和会两者优点的"计谋切换轮转"门径。中枢念念路是：让学习者去践诺任务，但驾驭有一个"监考憨厚"（由众多的视觉话语模子担任）及时盯着学习者的每一步。一朝监考憨厚发现学习者偏离了正确轨谈——比如汇聚点错、堕入轮回、透彻莫得向看法聚合——就坐窝让民众模子接纳，帮学习者校正轨迹，把任务推回正轨。民众介入至少践诺三步后，再把适度权还给学习者。

这个进程中，监考憨厚还会把检测到的"偏差分析"奉告民众模子，匡助民众更好地理会刻下的失败模式，从而给出更有针对性的校正操作。统统这个词纠错进程在一次任务践诺中最多触发两次。

谋略者罕见指出，他们测试了多种切换计谋：透彻靠民众、透彻靠学习者自我进化、连忙切换（两个模子不一致时连忙决定用谁）、以及上述的"造作介入切换"。完毕显现，造作介入切换计谋在每条轨迹中平均包含1.56个"造作与纠错"片断，远高于民众蒸馏的0.42个和自我进化的0.10个。连忙切换天然包含了0.64个，但由于切换时机雄伟，脚实质地雄伟不皆，最终锤真金不怕火效果（45.1%）并莫得比民众蒸馏（44.8%）好若干，而造作介入切换则达到了48.3%。

锤真金不怕火之后，谋略者还有意测试了模子在试验践诺中"发现造作、分析造作、校正造作"三个维度的才略。完毕标明，用OpenMobile数据锤真金不怕火后的模子，在这三个维度上都昭着优于基础模子，尤其是校正造作的才略进步最为显耀——进步幅度达到了66%。

四、数据集长什么样，效果何如样

按照上述两大门径，谋略团队在AndroidWorld提供的安卓模拟器环境上，针对20个安卓App，生成了约2800条任务提醒，对应34000个操作要津。每条践诺轨迹平均包含12.2个要津，每步附带平均129个词的"念念维链推理"——也就是AI在作念每一步操作之前，先用笔墨线路我方为什么这样作念。这部分念念维链由民众模子再行撰写，以保证质地。

谋略者用这批数据差别微调了两个基础模子：Qwen2.5-VL-7B（70亿参数）和Qwen3-VL-8B（80亿参数）。前者莫得经过有意针对图形界面的大领域预锤真金不怕火，用来考试数据本人的价值；后者本人照旧是更强的基础模子，用来探索性能上限。

在AndroidWorld测试上，Qwen2.5-VL基础版块的顺利率是25.5%，经过OpenMobile数据微调后跃升到51.7%，进步了特出25个百分点。Qwen3-VL基础版块底本照旧有47.6%，微调后达到64.7%，与Step-GUI-8B（67.7%）、MAI-UI-8B（70.7%）等行业顶尖闭源系统比拟照旧相称接近。

更能证实问题的是泛化才略。OpenMobile的数据是在AndroidWorld的环境里汇集的，但谋略者还在另外两个透彻不同的测试平台上评估了模子。AndroidLab包含9个App的138个任务，Qwen3-VL版块达到51.5%，而同类开源数据门径的最佳收获（ScaleCUA）惟有30%。MobileWorld是一个更难的测试，有意检会需要跨越多个App、长达数十步的复杂任务，Qwen2.5-VL版块从7.7%进步到14.8%，Qwen3-VL版块从9.4%进步到17.7%，相对进步幅度特出50%。这证实OpenMobile的锤真金不怕火门径让AI赢得的不仅仅"背题"，而是实在的通用操作才略。

谋略者还测试了用更大模子（720亿参数的Qwen2.5-VL-72B）微调的效果，AndroidWorld顺利率达到59.3%，进一步考据了"数据质地好、模子越大效果越强"的限定。此外，他们也尝试了强化学习门径——包括单步奖励的强化学习和完整轨迹级别的强化学习——但发现这些门径在动态测试环境下的进步并不踏实，最终发达未能超越圭臬的监督微调。谋略者以为，这可能与刻下环境的各类性完毕和强化学习框架的踏实性关系，留待将来谋略措置。

五、这是真技艺照旧"背了谜底"

每当一个开源模子在某个测试集上取得好收获，总会有东谈主问：它是竟然变强了，照旧仅仅暗暗"背了谜底"？这个疑虑在OpenMobile这里尤其合理，因为锤真金不怕火数据就是在AndroidWorld同款环境里生成的。

谋略者对此作念了罕见透明的分析。他们用一个专科的语义相似度模子，想象了每一条合成锤真金不怕火提醒和AndroidWorld测试集里每一条测试提醒之间的相似度，然后和两个公开数据集（AndroidControl和AMEX）作念了对比。完毕是：OpenMobile的合成提醒如实比公开数据集更接近测试提醒，这是合适预期的，毕竟都是在团结个App环境里生成的。然则，相似度特出0.7的提醒只占全部合成提醒的3.5%，大多数提醒仅仅在功能层面有些叠加，而不是字面上的重复或改写。

更有劝服力的是底下这个实验：要是把最相似的那部分锤真金不怕火数据删掉，望望模子收获会何如变化，再对比连忙删除同等数目数据的情况。删掉10%最相似的数据，收获仅仅细微下跌，证实性能并不是脆弱地依赖于少数几条"近似题目"。但当删除比例加多到40%以上时，性能开动昭着下滑，而况比连忙删除下滑得更快。谋略者对此给出了合理会释：删掉相似提醒，同期也删掉了隐藏某些中枢App功能的锤真金不怕火样本，相称于把某项手段的训练材料全删了，天然会影响发达。

这引出了谋略者对"为什么OpenMobile数据有用"的中枢线路：功能隐藏率。他们用一个话语模子把每个测试任务解析成所需的原子功能（比如"在日期App里创建行径"解析为"大开日期"、"创建新事件"、"设定日期"、"设定标题"等），然后统计锤真金不怕火数据中隐藏了若干比例的这些原子功能。跟着合成提醒数目加多，功能隐藏率稳步飞腾，而且OpenMobile永久高于同等数目的耦合基线门径。进一步的分析还发现，任务需要的功能越多（任务越复杂），顺利率越低；而锤真金不怕火数据隐藏了越多相干功能，顺利率越高。这证实OpenMobile的锤真金不怕火价值不在于"见过访佛的题目"，而在于"隐藏了有余多的操作手段"。

说到底，OpenMobile的孝顺是多档次的。在技艺层面，它提供了一套可以被任何东谈主复现和使用的数据合成框架，把"全局环境驰念"和"计谋切换轮转"这两个创新想象系统地团结在一皆。在实验层面，它在三个沉寂的动态基准测试上全面考据了门径的有用性，而况对数据稠浊风险作念了艰难一见的透明分析，这在统统这个词领域都属于稀有的严谨派头。在社区价值层面，它公开了数据和代码，让路源社区有了一个可以赓续迭代的坚实发轫。

天然，OpenMobile也有它坦承的局限。当今的锤真金不怕火数据只隐藏20个App，环境各类性有限。强化学习地点的尝试尚未取得一致性突破，原因可能和模拟器环境的广度不够关系。此外，即等于64.7%这个收获，和最顶尖的73.7%比拟仍有差距，证实数据质地和基础模子才略两者统筹兼顾，仅凭灵通数据合成还不及以透彻追平顶尖闭源系统。

手机里那位实在懂你、帮你干活的AI助手，距离平日东谈主的日常生计正在变得越来越近。而让这一切变得愈加公正、愈加透明的奋勉，好像恰是统统这个词领域永久跨越的底气所在。

Q&A

Q1：OpenMobile和其他手机AI助手比拟，上风在那儿？

A：OpenMobile最大的上风在于它是透彻开源的——数据、代码和合成门径全部公开。以前发达好的手机AI助手，比如Step-GUI和MAI-UI，锤真金不怕火数据全部守秘，外界无法复现或改进。OpenMobile让任何谋略者都能用一样的门径锤真金不怕火我方的模子，同期在AndroidWorld测试上，它锤真金不怕火出的模子顺利率从约30%跃升到64.7%，照旧罕见接近顶尖闭源系统，而且在其他两个测试平台上也展示出了可以的泛化才略。

Q2：OpenMobile的锤真金不怕火数据会不会是靠"背谜底"得高分的？

A：谋略者对此作念了有意的考据。他们想象了锤真金不怕火数据和测试题目之间的语义相似度，发现惟有3.5%的锤真金不怕火提醒与测试提醒相似度特出0.7，不存在大领域照搬测试题的情况。而且当把最相似的一小部分锤真金不怕火数据删掉时，模子收获仅仅小幅下跌，证实性能靠的是鄙俗的功能隐藏而非少数几条近似题目。

Q3：平日用户什么时辰能用上OpenMobile锤真金不怕火出来的手机助手？

A：OpenMobile当今是一个谋略框架，锤真金不怕火出的模子需要在安卓模拟器或实在成立上部署，还不是一个开箱即用的破钞级家具。不外由于代码和数据全部公开足球投注app，开辟者社区可以在此基础上赓续开辟，将来集成进实在手机助手诳骗的可能性是存在的。当今距离平日用户平直使用还需要更多工程化责任。