厦门网站seo今天的国内新闻

厦门网站seo,今天的国内新闻,seo推广公司,百度免费推广登录入口关注、星标公众号#xff0c;精彩内容每日送达 来源#xff1a;网络素材新智元报道 编辑#xff1a;桃子 好困【新智元导读】爆火的「豆包手机」#xff0c;到底藏了什么狠活#xff1f;一篇热帖#xff0c;LLM工程师通过黑盒测试和论文推演#xff0c;扒出了它的技术机…关注、星标公众号精彩内容每日送达 来源网络素材新智元报道编辑桃子 好困【新智元导读】爆火的「豆包手机」到底藏了什么狠活一篇热帖LLM工程师通过黑盒测试和论文推演扒出了它的技术机密。一部AI手机火爆全网。张嘴一句话它在短短几秒内就完成了跨APP自动比价下单、回微信、预约机票、规划旅行路线......海外创业大佬Taylor Ogan惊呼「这简直是另一个DeepSeek时刻这是世界上第一款真正的智能手机」。不用多说它就是最近一机难求的——「豆包手机」。B站博主「六分超超」体验后大感惊艳赞叹「是今年令自己印象最深的产品」。更猛的是即便是在锁屏的情况下「豆包手机」也能在后台丝滑操作。在「电丸科技AK」的测试中「豆包手机」不仅可以轻松通过B站「大考」而且速度奇快——3秒答完1道题5分钟100道题那么问题来了到底是什么黑科技让「豆包手机」一夜之间火遍了全世界正巧我们在小红书上吃瓜的时候意外发现了一篇十分有趣的帖子——《我没有逆向「豆包手机」但我想说点什么》。小红书原帖地址http://xhslink.com/o/93GCQttMFgO更新版博客地址https://www.notion.so/GUI-Agent-2c17a860b5e680e3b6e4efece19d1457一篇爆帖工程解密「豆包手机」这篇帖子的博主「宵逝」目前是大模型方向的实习工程师纯从学术角度聊了聊感受。他上手测试后通过黑盒测试和arXiv逻辑推演从工程学角度给出了比较科学的解释。一上来他便戳中了「豆包手机」的核心这不仅仅是一个App字节是在Android Framework层做了一套OS级的影子系统。接下来博主从以下七个方向给出了自己的洞察。1. 两套模式System 1直觉vs. System 2推理字节将Agent拆分成两套栈Stack一个是标准模式另一个是Pro模式。这不仅仅是模型大小的区别而是两套完全不同的Pipeline类似于人类认知中的System 1和System 2。这里作者在测试中设下一个「陷阱」——选择一张京东首页全屏截图给豆包下达指令「点击搜索按钮」。标准模式快Naive Simulation它主要依赖浅层视觉语言模型VLM响应极快体感延迟小于500ms。他推测可能使用了Doubao-1.5-UI-TARS蒸馏版Prompt简短可通过压缩IO token实现更快效果。不过缺陷在于它的典型「直觉」反应会傻傻地点击图片中的按钮。Pro模式慢且鲁棒深度推理工具调用在同样的测试中Pro模式明显会有一个「暂停思考」的过程——拒绝点击建议切换浏览器。他推测这可能走的是Doubao-1.5-UI-TARS完整版路线并且做了更多后训练对齐。同时也说明Planner进行了介入且具备了自我反思能力。并且只有在Pro模式下才能观察到复杂的多跳检索和System API的直接调用。补充信息据我们最新了解豆包手机助手使用了UI-TARS 2.0闭源版本性能大幅优于开源版且针对手机使用场景进行了专门优化。2. 混合感知路由Hybrid Perception Router环境噪声的干扰是当前Agent落地的核心挑战。XMLVision动态路由不管是UI-TARS的标准版还是Pro是豆包给出的最直接的解法。在高德/百度地图首页呈现了多种复杂图标/道路状态情况下博主要求豆包「点击深红色最堵路段旁边的施工图标」。这是一个在OpenGL渲染界面中执行复杂指令的测试场景。令人欣喜的是AI优雅地完成了这个任务。在这种场景下安卓的「无障碍树」往往是空的或只有一个SurfaceView容器且不包含任何子节点信息。这就坐实了背后视觉路线的存在因为VLM具备像素级的「开放词汇定位」的能力。它真正理解了「深红色、旁边、施工图标」包含了颜色语义、空间关系、物体检测复杂信息。由此他推测这可能构成「路由动态」选择标准UI走XML非标UI走视觉截屏但费电。3. OS级的虚拟化并行运行时Parallel Runtime这一点想必许多上手实操过的网友都已有深刻的体会——一边让豆包比价购物另一边刷视频、接电话照样不误。Agent可以在后台跑长任务即便手机切换到别的应用也不会中断。博主推测Agent极有可能跑在「影子屏幕」上实现了「输入隔离」物理屏打电话逻辑屏在跑Agent。这种「双并行宇宙」结构彻底解决了Agent抢前台手机卡死的痛点。4. 启发式工程提示「等等」Agent会在每一操作结束后无论当前页面渲染多快都会在系统Prompt中强制引入1000ms~5000ms的固定延迟。这种设计类似于Cursor CLI中「等待轮询」。从工程学角度看这种做法是为了对抗APP中常见的异步加载/骨架屏用时间换取「成功率」妥协但有效。5. 隐私设计的「物理隔离」任务层级Activity Hierarchy回到多数人最关切的隐私问题担心豆包Agent会24小时录屏监控但博主测试后发现——视觉管道是过滤的。若是豆包真的在用VLM分析屏幕恐怕手机早就烫到不能用了。他开启了B站画中画模式然后让Agent操作主屏中途再截屏结果发现AI截到的画面只有主应用的界面完全没有悬浮窗。这证明了它不读物理屏幕输出流而是基于「任务层级」针对性抓取。也就是说从物理层面上豆包隔离了视频通话、金融APP安全键盘是一种精心设计的安全功能。博主认为豆包手机助手的代码逻辑是安全、可靠的设计其包含了隔离机制、熔断策略和本地化处理。代码可以透明但编写与掌管代码的人呢这种担忧可以理解。但这个问题本真难以彻底解决。在博主看来如果Agent可以代替自己解决80%日常琐事是可以交出经脱敏、不涉及核心隐私的数据。6. 记忆与工具使用关于MCP协议的猜想在Pro模式下数据的调用精准。工具调用架构测试中博主给出一个模糊指令「验证码有什么数学特征」Agent没有暴力做OCR全屏而是Client向Server发起请求整个系统授权部分可能形成了一个RAG-MCP。列表记忆Sliding Window在滚动长列表List View时Agent行为非常像E2E测试框架Playwright 滚屏→DOM Diff→提取增量信息→拼接。这种方式解决了跨屏上下文的问题。7. 韧性Resilience最后一个测试中博主让Agent读取Outlook最新邮件结果失败。此时Agent没有报错退出而是自动降级读取第二封并尝试提取第一封在列表页的预览信息然后做出合并汇报。这说明了它的规划器关注的是「任务目标」而不是规定的操作序列。这种动态规划的能力才是推理应做的事儿。博主体验后道出了真实的感受——它让我真切地感受到「推理」走出了论文。当看到Agent在Outlook闪退后自行思考片刻转而读取邮件列表预览时那种感觉很奇妙。它不再是一个机械执行click(x, y) 的简单脚本而是开始展现出某种韧性。他表示对于做研究的人来说这台手机更像一份来自工业界的SOTA级Demo。它并不完美但真正跑起来了。总而言之「豆包手机」在速度上做了很多妥协但从架构角度看可能是目前移动手机最靠谱的解法。从博主的这篇分析中让我们对「豆包手机」背后工程实现获得了关键一瞥。当我们再扒开字节开源库发现「豆包手机」助手GUI操作能力已经通过UI-TARS模型的开源版本开放给业界。开源地址https://github.com/bytedance/UI-TARS简单来说UI-TARS是一个将屏幕视觉理解、逻辑推理、界面元素定位和操作整合在一个模型中。它能实现搜集信息、处理文档、订票、比价等各种复杂操作甚至能在游戏中进行思考和行动。值得一提的是UI-TARS的更新速度超快光今年一年就迭代了三次2025年1月第一代UI-TARS2025年4月UI-TARS-1.52025年9月UI-TARS-2。GUI Agent觉醒「努比豆」重写未来豆包AI助手是当前GUI Agent浪潮的典型代表。GUI Agent代表着AI与人类交互的「新前沿」可以让模型看屏如人操作如手。在不需要切换API的情况下可自动化一切GUI软件。在早期API和GUI是分化的两派。比如OpenAI Tools提供的API速度快但不适应动态的UI。传统的GUI虽可视化强但对于大模型来说描述UI信息噪声大理解成本高还不稳定。因此早期阶段的LLM要么走API路线要么走GUI路线难以统一。而端侧小模型的出现让GUI可以被结构化理解再与API融合就出现了「统一的智能交互层」。几个月前苹果团队曾发布了Ferret-UI Lite一款GUI Agent小模型实现了精准的控件定位能力。论文地址https://arxiv.org/pdf/2509.26539真正让GUI Agent走向大众的还是得益于近两年多模态原生大模型跃迁式的迭代升级。诸如Gemini 3、GPT-5.1等顶尖AI模型都在朝着多模态方向发展。这意味着LLM不仅可以看文字还能看懂图片、视频、UI元素。同时LLM具备了更长上下文可以记住跨越多步的任务。大模型Agent开始用多模态感知界面再配上RL可以在GUI、网页等真实环境中操作游刃有余。在题为「Large Language Model-Brained GUI Agents: A Survey」的论文中团队做了一个直观的GUI Agent流程Agent在接收指令后会在多个应用程序中无缝协作。它会从文档中提取信息在Photos中观察内容在浏览器中总结网页在Adobe Acrobat读取PDF并在PPT中创建文件最后通过Teams发送。论文地址https://arxiv.org/pdf/2411.182792023年之前以OpenAI WebGPT为代表。从2023年之后类似的GUI Agent全面爆发。这一年最具代表性当属OpenAI Operator和字节UI-TARS。真正高阶的基操是把Agent深入嵌入OS系统级的能力。「豆包手机」便可以照见行业脉络让Agent从可操作界面迈向了深度的系统集成。这种OS级的植入必须处理巨大的隐私、安全、权限问题这是系统级GUI Agent向前迈进不可避免的阵痛。字节虽未明确具体工程细节从博主「叠甲」分析中可以得知他们采用了「任务级过滤」Activity-level Filtering机制。也就是说系统会把每一次Agent行为抽象成一个「任务」进行逐一过滤。因此Agent截图才不会截到「画中画」浮窗。本质上这就像是OS级的权限中间层。Hugging Face亚太生态负责人Tiezhen Wang点评它证明了手机使用可以成为OS级原生能力并将定义下一代AI手机「豆包手机」的出现证明了OS级可行性真正定义了AI原生手机的形态。昔日针锋相对的宿敌老罗和王自如在「豆包手机」上立场罕见地一致。不得不说在GUI Agent时代「豆包手机」才是划时代的标志。参考资料http://xhslink.com/o/93GCQttMFgOhttps://www.notion.so/GUI-Agent-2c17a860b5e680e3b6e4efece19d1457全文完声明我们尊重原创也注重分享文字、图片版权归原作者所有。转载目的在于分享更多信息不代表本号立场如有侵犯您的权益请及时联系我们将第一时间删除谢谢想要了解FPGA吗这里有实例分享ZYNQ设计关注我们的公众号探索