开云世界杯官网 当AI学会"边干边学": UIUC与微软联接打造的网页智能体稽查新范式

这项由好意思国伊利诺伊大学厄巴纳-香槟分校（UIUC）与微软征询院联接开展的征询，于2026年6月发布在预印本平台arXiv上，论文编号为arXiv:2606.02031。有兴味真切了解的读者不错通过该编号查询完整论文。

**一场对于"会用浏览器的AI"的竞赛**

每天，大家荒谬十亿东谈主翻开浏览器，在网页上搜索商品、填写表单、比价购物、查阅信息。这些操作对东谈主类来说稳操胜券，但对AI来说，却是一座难以翻越的山。网页是动态的、杂沓的、充满弹窗和考据码的，并且每隔一段时候就会改版——这对需要"看懂网页、点对方位、完成任务"的AI智能体来说，简直是恶梦般的稽查场。

现在最横暴的网页AI智能体，基本齐掌执在OpenAI、Google这么的科技巨头手中，属于分歧外公开稽查细节的"黑箱系统"。开源社区天然也在戮力，但普遍依赖一种叫作念"监督学习"的花式——也便是先采集大批东谈主类操作网页的示范摄像，再让AI效法。这种花式有个致命短板：摄像拍摄既立志又费时，并且录制完成的一刻起就脱手"过期"，根柢跟不上互联网日月牙异的变化节律。

恰是在这么的布景下，UIUC与微软的征询团队决定别具肺肠。他们的中枢念念路是：与其让AI死记硬背东谈主类的操作示范，不如让AI平直在真实网站上"我方去试"，从告捷和失败中学习。这个标的被称为"在线强化学习"，对于视觉化的网页智能体来说，它此前简直照旧一派空缺地带。

征询团队将这套完整的稽查框架定名为OpenWebRL，并在此基础上稽查出了一个4B参数限制的模子OpenWebRL-4B。这个模子仅凭400条运转示范轨迹和2200个在线稽查任务，就在三个顶级网页智能体测评基准上刷新了开源最高分，部分方针以至超越了OpenAI和Google的买卖系统。

**一、为什么"我方去试"比"死记硬背"更难？**

在认真先容这套方法之前，有必要先连续为什么让AI在真实网页上"边干边学"是一件极其坚苦的事。

一个东谈主学骑自行车，会从跌倒中体验到均衡的遑急性，并鄙人次疗养姿势。这个反馈是即时的、泄露的。但让AI在网页上学习完成任务，靠近的反馈环境要复杂得多。网页是活的——今天还能广泛涌现的按钮，未来可能被移走；今天能跑通的登录经过，未来可能多了沿途考据码；某些网站会把时常的自动化操作识别为"机器东谈主"并平直阻塞探听。这些齐是"环境噪声"，很容易让AI误觉得是我方作念错了，从而学偏。

更难的问题在于：网页任务的"告捷与否"往往要比及整个这个词任务完成后才能判断。你无法在AI点击第三个按钮的时候告诉它"这一步作念得对"，只可在它最终恢复出"这款鞋的最廉价是299元"之后，才能评判整个这个词过程对分歧。这种"过后才知谈落幕"的反馈机制，对稽查算法的想象提议了很高的要求。

与此同期，视觉信息的处理代价极高。每一步操作，AI齐要"看"一张网页截图——这张截图可能包含数百个元素，破费大批揣摸资源。淌若每一步历史截图齐保留在AI的"纪念"中，一个30步的任务轨迹以至会超出大多数模子的高下文承载上限。

征询团队在论文中系统性地梳理了这些挑战，并为每一个挑战想象了具体的处罚决议，这些决议共同组成了OpenWebRL框架的中枢。

**二、搭建一个"真实网页稽查场"**

OpenWebRL的第一块基石，是一套能在真实网站上知晓运行的浏览器环境基础设施。

不错把这套系统连续为给AI搭建了一个"沙盒游乐场"——每个稽查任务齐在颓唐的凭空浏览器窗口中运行，互不骚动，就像每位学员齐有我方专属的稽查跑谈，不会因为别东谈主的虚假影响我方。这套基础设施基于Playwright和Chromium构建，运行在Kubernetes容器化环境中，撑持上百个浏览器实例同期并交运作。

但真实网页的空泛在于，即便环境搭好了，各式不测随时会发生：某个网站加载太慢、某次齐集肯求超时、某页面俄顷弹出考据码、某个按钮因为反自动化机制而圮绝被点击。征询团队为此想象了完善的"容错机制"——系统会自动分别"是AI作念错了"照旧"是网站出问题了"，并将失败原因详确记载下来，以便后续分析。对于那些反复出现齐集故障的网站，系统还会自动将其列入黑名单，幸免稽查资源阔绰在根柢无法探听的地址上。

**三、让AI"看见"我方的每一步操作落幕**

仅靠截图，AI很难知谈我方的操作是否果真奏效了。点了一个按钮之后，页面可能看起来没什么变化，但实际上可能还是偷偷导航到新页面、或者填写进去的内容根柢没被接纳。

OpenWebRL处罚这个问题的花式，是给每一次操作齐附上一条"翰墨反馈"，很是于给AI配备了一个及时助理，在它每次操作后密语教唆："刚才你点的阿谁按钮告捷了，页面跳转到了xxx"，或者"你输入的翰墨和实际接纳的内容不一致，扎眼看"。这条翰墨反馈是通过分析操作前后的网页DOM树（网页结构树）变化来生成的，内容大约但信息密度高。

这条反馈的遑急性在后续实验中得到了明确考据——去掉这个翰墨反馈，AI在多个基准测试上的告捷率会着落5到8个百分点。尤其是在需要多步操作的长程任务中，少了这个反馈，AI就像在黯澹中摸索，很容易在一个还是失败的操作上反复纠缠，或者没强劲到某个转折方法还是出错。

**四、给AI的"操作器具箱"和"多任务并行"智力**

OpenWebRL为AI配备了一套由13个基础操作器具组成的器具箱，涵盖鼠标点击（单击、双击、右键）、键盘输入、页面滚动、网址跳转、前进后退、标签页料理，以及最遑急的"完成并敷陈"操作——这是AI告诉系统"任务作念结束，我的谜底是xxx"的独一花式。

更钦慕的是，AI每次不需要只调用一个器具。征询团队允许AI在一次"念念考-活动"周期中连气儿调用多个器具。比如，AI不错在一次输出中同期完成"点击搜索框、输入转折词、按回车"这三个连气儿动作，而不需要阅历三次"截图→念念考→操作→恭候截图"的完整轮回。这个想象大大提高了稽查效劳，减少了不必要的模子与环境之间的来往交互。

**五、处罚"纪念过载"的聪惠妙招**

一个30步的网页操作任务，淌若把每一步的截图齐保留在AI的纪念中，数据量之大足以撑爆大多数模子的高下文甘休。征询团队的处罚决议既大约又高效：只保留最近一张截图，但完整保留历史翰墨信息。

风趣其实很朴素：东谈主在作念复杂任务时，不需要同期盯着之前每一步的操作界面，只需要记取之前作念了什么、落幕怎么，以及现时屏幕上看到的内容就够了。AI亦然如斯。历史截图被丢弃，但每一步的操作记载、环境反馈和AI我方的"念念考过程"齐完整保留，手脚翰墨格式的"使命纪念"。

实验落幕标明，只保留最近一张截图（K=1）与保留最近两张比较，成果简直莫得互异，但揣摸老本却权臣造谣——保留两张截图会让稽查时长从约240 GPU小时加多到400 GPU小时。这个发现告诉咱们，在多模态智能体的长程任务中，话语纪念的价值往往比视觉历史更为转折。

**六、"家教"先打好基础，再死心自学**

OpenWebRL的稽查分为两个阶段，这两个阶段的想象念念路，很像东谈主类学习生人段的经典旅途：先随着竭诚学基本功，再颓唐上场实战晋升。

第一阶段是"监督微调"，也便是让AI先效法妙手操作。征询团队使用Qwen3-VL-235B（一个领有2350亿参数的超大模子，不错连续为行业顶尖水平的"竭诚"）来完成一批网页任务，筛选出告捷的轨迹，然后从顶全心挑选412条最具代表性的轨迹，让4B的小模子来效法学习。

之是以只选412条而不是用几十万条，是有三念念此后行的事理的。征询团队发现，淌若喂太多示范数据，小模子会把竭诚的操作作风学得过于拘泥，反而在后续的实战稽查中短少"可塑性"，难以被进一步履整优化。就像一个从小被逼着原封不动的学生，反而不如阿谁只学了基本原则、但保留了自主探索智力的学生高出更快。

实验中，征询团队对比了四种不同的运转动花式：实足不作念监督稽查、极少稽查1轮、适量稽查3轮，以及大批数据稽查3轮。落幕发现，适量的监督预热（412条数据、3轮稽查）带来的后续强化学习成果最佳，而大批数据预热反而会遭殃最终确认。这个论断有遑急的实践教诲风趣：运转动的成见是"让AI能脱手探索"，而不是"把AI调教成一个齐备的效法者"。

**七、"在试错中成长"的强化学习核默算法**

第二阶段是OpenWebRL确切的中枢：让4B模子在真实网站上我方作念任务，凭据最终的告捷或失败来更新我方的"决策计谋"。

这套稽查算法的名字叫作念MM-GRPO（多模态多轮群体相对计谋优化），世界杯(中国)但无须被这个名字吓到。它的基本逻辑其实相等直观化。

每次稽查，系统会给AI合并个任务，让它颓唐尝试5次（一组），生成5条不同的操作轨迹。有些轨迹告捷完成了任务，有些失败了。系统随后揣摸这5次尝试的平均告捷率，然后告诉AI：比平均水平高的那些轨迹，应该更多去效法；比平均水平低的那些轨迹，应该幸免习故守常。这种"组内相对比较"的花式，让系统不需要一个外部的"齐备法度谜底"，只需要我方里面的成败对比就能连续高出。

有一个细节相等值得情切：淌若某个任务的5次尝试落幕实足相似（比如全部告捷或全部失败），这组数据会被平直丢弃，不参与稽查更新。风趣很通俗——全部告捷意味着这个任务太通俗，AI还是掌执了；全部失败意味着这个任务现时太难，暂时无法从中学到灵验信号。惟有那些"无意告捷、无意失败"的任务，才能提供最有价值的学习素材。这很是于为AI自动构建了一个难度适中的动态课程。

稽查收受了"两阶段滚动步长"的计谋：先用最多15步的短程任务稽查90轮，让模子在较短的任务中诞生基础探索智力，再切换到最多30步的长程任务再稽查50轮，让模子学会搪塞确切的长程想象挑战。实验标明，这种由短到长的课程式稽查，比一脱手就平直上30步任务的成果要好得多，尤其在WebVoyager这个需要较多方法的基准上，差距高达7.4个百分点。

**八、谁来当"评判官"？从立志到平价的进化**

网页任务完成之后，怎么判断AI的谜底是否正确？这是整个这个词系统中最难法度化的一环。

一些任务不错用律例判断，比如"找到这款手机的最廉价钱"，只消查对数字就行。但许多任务的评判需要连续语义，比如"找到一家评分最高且离我最近的五星级牙医"，谜底可能因网页情状不同而有合理互异，不是通俗对比字符串就能判断对错的。

征询团队的默许决议是用GPT-4.1手脚"评判官"，但这会产生权臣的用度：一次完整的稽查实验需要调用约4.32万次GPT-4.1评判API，总用度约545.5好意思元。对于许多学术征询组来说，这是不小的职守。

为了处罚这个问题，征询团队挑升从1.25万条带有GPT-4.1评判标签的真实轨迹数据中，蒸馏稽查出了一个8B限制的开源评判模子OpenWebRL-Judge-8B。实考据明，这个评判模子与GPT-4.1的判断吻合度高达89.8%，空洞F1分数达到92.1%，超越了WebJudge-7B、Qwen3-VL-32B以至GPT-4o等竞争者。用这个土产货评判模子替换GPT-4.1之后，最终模子的性能简直莫得蚀本，平均告捷率从68.4%仅微降到68.3%——简直不错忽略不计。

征询团队还对比了平直用Qwen3-VL-8B（未经挑升稽查的通用模子）手脚评判官的成果，落幕令东谈主警惕：稽查奖励分数看起来越来越高，但实际测试告捷率却在连续下滑——这是典型的"奖励哄骗"表象，AI学会了怎么让评判官稳定，而不是确切完成任务。这进一步评释，挑升稽查的评判模子对于整个这个词稽查系统的知晓性至关遑急。

**九、获利单：小模子击败大系统**

OpenWebRL的最终获利很是亮眼。征询团队在三个顶级网页智能体基准上进行了全面评测。

WebVoyager是一个粉饰15个主流网站的空洞型基准，共595个任务；Online-Mind2Web则包含136个网站的300个长程任务，难度更高；DeepShop专注于电商购物场景，要求AI在多重拘谨下完成商品搜索与选拔，共150个任务。

OpenWebRL-4B在这三个基准上分别取得了74.1%、67.0%和64.0%的告捷率，平均告捷率68.4%，成为同等限制开源模子中的最高水平。横向对比来看，它不仅大幅超越了FARA-7B（后者在Online-Mind2Web和DeepShop上分别惟有34.1%和26.2%）、MolmoWeb-8B（35.3%和42.3%），以至超越了领有2350亿参数的Qwen3-VL-235B-A22B。更值得情切的是，OpenWebRL-4B在Online-Mind2Web和DeepShop两个基准上还压过了买卖系统OpenAI CUA（58.3%和24.7%）和GPT-5的SoM版块（57.7%和49.1%）。

彭胀到8B参数限制的OpenWebRL-8B确认愈加矜重，平均告捷率达到68.7%，与买卖系统Gemini CUA（57.3%和62.0%）在两个基准上的对比中展现出泄露上风。

这些获利的赢得，仅使用了412条运转示范轨迹和2200个强化学习稽查任务，而竞争敌手如MolmoWeb则使用了卓绝27.85万条数据——收支了整整两个数目级。这标明，高质料的在线交互稽查所带来的晋升，实足不错弥补运转数据量上的精深差距。

**十、AI在稽查中到底学会了什么？**

征询团队莫得满足于发布获利单，而是进一步分析了稽查过程中AI活动的变化，试图连续强化学习究竟更正了什么。

一个钦慕的发现是：随着稽查的鼓舞，AI每一步的输出如实变长了，但总体任务完成所需的方法数却在减少——平均步数从第0轮的14步着落到了第80轮的8.9步，整个这个词轨迹的总长度也相应裁减。这评释AI并不是在无效地"啰嗦"，而是在更少的方法内作念更充分的念念考。

征询团队对AI的念念考内容进行了真切分析，界说了四种常见的"念念维模式"：历史总结（总结之前作念过什么、去过哪些页面、什么方法失败了）、欺压会诊（发现考据码、页面阻塞等禁止）、重试想象（制定新的替代计谋）和条目考据（一一核查任务要求是否满足）。

稽查前后，这四种模式的出现频率齐有权臣晋升：历史总结的出现率从14.5%晋升到21.4%，欺压会诊从14.2%晋升到23.7%。并且，出现这些念念维模式的方法，其反馈长度增长更为权臣，从平均332 token加多到542 token（历史总结），从273加多到440（欺压会诊）；比较之下，不包含这些模式的庸俗方法，长度增长相等有限（从282加多到325）。

这评释AI学会了"有选拔地深度念念考"：在转折决策节点上参加更多领路资源，而不是均匀地在每一步上平摊念念考量。这种活动模式与东谈主类大师的领路花式高度吻合——碰到卡点时深度分析，熟练操作时快速施行。

**归根结底，这套方法更正了什么？**

说到底，OpenWebRL讲授了一件在AI征询界限颇具争议的事：对于网页智能体这类需要在复杂、动态环境中作念长程决策的任务，"让AI在真实寰宇里边作念边学"不仅是可行的，并且比"堆砌大批东谈主类示范数据"要高效得多。

这对庸俗用户意味着，将来咱们可能会看到更多能确切连续网页、完成复杂在线任务的AI助手，而这些AI不再需要依赖科技巨头掌执的海量独荒谬据，而是不错通过通达的框架和有限的运转稽查，在公开的互联网上连续自我晋升。

从征询自身的局限性来看，有51%的失败案例源于网页自身的探听问题——考据码阻塞、齐集联接失败、反自动化机制等——这些齐不是模子智力的问题，而是通达互联网上AI智能体必须面对的基础设施挑战。另外27%的失败来自模子在长程多拘谨任务中的想象和追踪智力不及，13%来自视觉定位的精度问题。这些标的，也恰是接下来征询戮力的重点所在。

征询团队已晓谕将公迷惑布稽查数据、模子权重和完整代码，让学术界和颓唐征询者齐能在此基础上链接探索。对视觉AI、智能体技艺或强化学习感兴味的读者，不错通过arXiv编号2606.02031找到这篇完整论文，或者探听神色主页openwebrl.github.io获取更多资源。

---

Q&A

Q1：OpenWebRL-4B为什么只用400条稽查数据就能击败用了27万条数据的模子？

A：这主要归功于在线强化学习的稽查花式。OpenWebRL-4B不是靠死记硬背东谈主类示范来学习，而是在真实网站上我方脱手作念任务，从告捷和失败的落幕中总结教会。400条数据仅仅用于"打基础"的运转监督稽查，确切让模子突飞大进的是后续2200个任务的在线实战教育。通俗说，质料高的真实交互教会，比数目大的静态示范数据更有学习价值。

Q2：OpenWebRL-Judge-8B评判模子和平直用GPT-4.1有什么区别？

A：两者的评判准确率相等接近，但老本互异精深。用GPT-4.1作评判官，一次完整稽查需要破耗约545好意思元的API用度；而OpenWebRL-Judge-8B是一个不错土产货运行的开源模子，稽查完成后不需要额外付费。更遑急的是，实考据明用GPT-4.1稽查出来的模子和用OpenWebRL-Judge-8B稽查出来的模子，最终测评获利简直实足换取，平均告捷率仅差0.1个百分点。

Q3：OpenWebRL稽查框架为什么要把历史截图丢弃，只保留翰墨记载？

A：因为截图的信息量极大，保存整个历史截图会超出模子的处理上限。实验发现，保留最近两张截图和只保留一张比较开云世界杯官网，成果简直莫得互异，但揣摸老本从240 GPU小时加多到400 GPU小时。AI确切需要的"历史纪念"，其实通过保存每步的翰墨反馈和AI我方的推理记载就还是有余，这些翰墨信息比历史截图更紧凑、更高效地传递了转折信息。