微光实验室 · 标签归档
标签: 评测
共 49 篇文章，按主题汇总相关教程、案例、工程实践和阶段性总结。
小智的 MCP 工具返回 true，就代表硬件动作完成了吗？
你对小智说“声音调小一点”，服务端调用了音量工具，拿到一段 text: "true"。这时可以回答“音量已经调小了”吗？ 先看这个 true 从哪里来。在本文核验的小智固件里，音量工具取出板卡的 AudioCodec...
让 SGLang 按 JSON 回答，怎样少写一些补救代码
你让模型把客服工单分成“物流、退款、其他”，后端等着读 JSON。它却先回一句“当然可以，分析如下”，再给结果。有时外面包着代码块，有时把约定好的 refund 写成中文“退款”。 于是程序开始去代码块、找左大括号、修字段名。
小智的 MQTT 已连接，为什么还不能说话？从音频通道看协议选择
给小智接服务端时，有一种容易误判的状态：设备已连上 MQTT，控制消息也能往来，扬声器却没有声音。此时如果只盯着“设备在线”，很容易跳到 ASR、TTS 或音频芯片上排查，漏掉尚未建立的音频通道。
从声学信号到工具阻断：实时语音安全决策门的系统设计
摘要：工具调用获得人工批准或签名票据，并不等于它在真正提交时仍然有效。本文把 PROPOSE、AUTHORIZE、COMMIT 拆开，用 SDK Guardrail 覆盖矩阵、结构化确认、权威授权状态、一次性 jti 消费...
9/10 和 900/1000 都是 90%：机器人成功率计算器必须阻止的误判
证据边界：本文是公开统计文献、RoboLab v4 与产品合同的复核，不是已经上线的 AscendLab 工具，也不是机器人生产实验。文中示例由本地公式复算并通过独立内容审核，但不代表工具已经上线或机器人实验已经完成。
中文 Prosody-Aware Eval：从四象限样本到可诊断的实时语音评测
摘要：四象限只能说明语料覆盖，不能自动形成单变量实验。本文把同脚本、同说话人的 control/marked delivery 对定为反事实单位，再用四轴 Schema、五层指标、T0—T6 时间线、dry-run 和 160 条 MVP...
机器人策略 90% 与 92%：为什么两个百分点通常不足以证明更强
摘要：100 次 rollout 中成功 90 次和 92 次，不能仅凭两个百分点给策略排序。本文从单组区间、差值区间、配对四格、任务层级与功效设计出发，给出一份可在实验前签署、实验后复核的机器人成功率证据合同。
转写完全正确，语音 Agent 为什么还是做错了决定
摘要：同一个实时语音系统可能在诊断题里识别哭腔、恐惧或讽刺，进入多轮业务任务后却继续按文字执行。本文不把情绪标签当真值，而是交付三组配对测试和一条 Voice Evidence Decision Trace...
删掉邮箱后，Agent Trace 仍可能泄露什么：一条可重放脱敏流水线
摘要：生产 Trace 即使删掉邮箱，仍可能通过工具结果、内部文档、secret 和准标识符组合泄密；删得过多又会破坏失败重放。
RoboLab 解读：机器人策略评测为什么不能只看二元成功率
一、同一个 90%，可能隐藏完全不同的机器人 两个机器人策略 A 和 B 在论文或排行榜上都报告 90% 完整成功率。A 在简单抓取上稳定，但无法处理空间关系；B 经常完成大部分步骤，只在最后放置阶段失败。
开放权重之后，为什么 Agent 仍然无法复现：真正缺的是可重放行为证据
一、同样的开放权重，为什么两个 Agent 不像同一个系统 同一个开放模型、同一条用户指令，两支团队做出的 Agent 可能完全不像同一个系统。一支能在工具超时后换路重试、验证外部状态再结束；另一支遇到 403 仍继续编造"操作已完成"。
h3.c 的 fast 模式到底删了什么：六个计算轴不能混成一个开关
很多推理工具把优化收进一个 fast=true。速度变快后，用户只看到总耗时下降，却不知道程序少算了哪些部分，也不知道画面出错时应该撤回哪个开关。 h3.c 固定版本 8974cc0 把这件事拆得很具体。
把生产 Agent 事故 Trace 变成可重放的回归测试集
封面 01: 退款事故修完又复发, 5 次转化是永久发布门 一、退款事故已修却再次复发 线上 Agent 把退款工具当作查询工具, 重复创建工单, 引用了错误知识库, 团队修完 Prompt 后在工单里写一句"已解决"。
一次 Agent 失败后，到底该改模型、Prompt 还是 Router？
摘要：一条失败 Trace 往往同时暴露模型、Prompt、Router、工具合同和产品逻辑问题。本文给出四步归因顺序，并用 changecandidate 把可推翻的责任面假设、单一主要变化、固定上下文、评测版本和回退门槛绑定在一起。
拆开 Pi Monorepo：改模型、循环、产品和 UI 时，代码应该放在哪一层
团队准备给 Coding Agent 增加一个新 Provider。最省事的做法，是在主应用里直接写认证、请求体转换和流式解析。过两周 Tool Call 格式不兼容，又在同一个目录加一层修补。
我让 Qwen3.8-27B 真改了一次 Git 仓库：工具调用怎样形成 Agent 闭环
之前测这套 27B 服务时，工具调用已经能返回标准 JSON，工具名和大部分参数也能填对。但那组 Agent 任务运行在内存里的模拟文件系统，没有真正执行 pytest，也没有产生 Git diff。
一次 Prompt 如何变成 Turn、Step 与工具事件
用户输入一句“检查这个项目并修复测试”，系统什么时候算接收，什么时候算开始，什么时候算完成？ 如果把一次 Prompt 直接等同于一次模型请求，工具一出现，边界马上崩掉：模型先请求读文件，工具返回以后还要再调用模型；
模型分数涨了，它真的学会了吗？LittleLearner 拆开了三种可能
给模型加几万条 SFT 数据，再跑一轮 GRPO，数学分数从 30 分涨到 50 分。这个结果通常会 被概括成一句话：模型学会了更多数学。 这句话跳过了最难判断的一步。分数上涨至少有三种来源。模型可能获得了预训练中没有的 新能力。
DeepSeek Harness、Codex、Claude Code、LangGraph 应该怎么选
“DeepSeek Harness 和 Codex、Claude Code、LangGraph 谁更强？” 这个问题看似直接，却把三种不同采购对象混在了一起：可直接工作的 Coding Agent 产品、可深度重组的 Agent Runti...
从 Pi 学习设计自己的 Agent Harness：一条可验证的垂直生产线
一个内容团队把研究、写稿、审核、配图和发布串成自动流程。开始几天很顺：模型能写文件，脚本能跑， 图片能上传。后来编辑改了两段正文，旧审核结论仍显示通过；上传图片只改了 Markdown 链接，却又触发 一次全文和逐图复审；
全双工语音 Agent 如何评测：从首音延迟到事件级验收
元信息 文章类型：Voice Agent 评测方法与验收合同 目标读者：正在开发实时语音、客服、车载、机器人或工具型 Voice Agent 的工程团队 读者问题：除了首音延迟，怎样判断系统真的会倾听、会打断、能恢复并正确完成任务？
GPT-Live 可能怎样实现：从公开行为到架构约束的证据梯度
开头：同一种体验，可能来自完全不同的系统 用户在系统说话时插入一句“等等，不是杭州，是青岛”，旧回答迅速停下，新答案沿着纠正后的目标继续。看到这个行为，很容易写出一个看似专业的结论：GPT-Live 一定使用双音频流...
GPT-5.6 Sol 的 ARC-AGI-3 分数为何翻近三倍：Agent 评测必须记录整套运行合同
发布边界：本文依据 2026-07-30 可访问的 OpenAI 与 ARC Prize 第一方资料。
Code Mode 什么时候更省：别只数工具调用，要数模型往返
判断 Code Mode 是否更省，最容易犯的错误，是盯着“工具调用了多少次”。 同样读取 10 个文件，可以是模型发起 10 次串行决策，也可以是模型先写一个有界程序，让程序完成 10 次读取、筛选和聚合，再把一份压缩结果交还模型。
SWE-1.7 的提升究竟来自哪里？先把 Agent 能力拆成五个变量
一个团队把 Agent 模型从 A 换成 B，任务成功率明显上升，最容易出现的结论是：新模型的权重更强，所以换到任何系统里都能得到同样提升。 这个结论通常越过了最关键的一步：Agent 的表现不是由模型名单独决定的，而是由模型检查点...
开放权重不是唯一控制权：Kimi K3、Hy3 与 Seed 的九项交付比较
企业评估模型时，最容易问错的一个问题是：它到底开放还是闭源？ 这个二分法对软件许可证有用，却不足以描述一套 AI 系统真正交给采用团队的东西。拿到权重，意味着可以固定版本、选择部署位置并修改运行时，但不代表已经获得成熟的工作流...
Prompt 之外，生产级 Agent Harness 到底在控制什么
发布边界：本文的六层控制面是作者工程综合，不是 OpenAI 官方产品架构。预算阈值、权限强度和状态转换必须按具体系统验证。 摘要 “最多搜索五次”“不要浪费 Token”“完成后立刻停止”写在 Prompt 中...
模型发布可以按天看，生产默认模型不能按天切：一套可回退的 30 天验收流程
证据截止：2026 年 7 月 31 日。本文将厂商直接说明的日期、状态、入口和价格写为事实；厂商公布的性能与客户反馈写为厂商主张；跨厂商解释写为作者推断；30 天验收流程、阈值和回退条件均为工程建议。
不要问模型是 Transformer 还是 Diffusion：一套五层技术栈检查法
发布边界：五层框架是作者工程综合，不是学界统一 taxonomy；速度、质量和能力结论必须绑定模型、配置、硬件与评测条件。 摘要 Transformer、VAE、Diffusion、Flow 和 Solver 经常被放在同一张比较表里...
同样的 Rate Card，为什么更强的 Sol 反而更快耗尽 Codex 限额
发布边界：模型定位、Rate Card、限额和 reasoning effort 行为可能变化；发布前必须复核官方页面。文中场景和决策表用于说明方法，不代表作者完成了对照实测。 摘要 GPT-5.6 Sol 与 GPT-5.5 的公开 To...
从视频模型到决策世界模型：进入 Agent 与机器人闭环前的证据门槛
发布边界：L0-L5 是作者提出的工程证据梯子，不是论文统一分级；不得把厂商演示或视觉指标改写成规划、控制或安全有效性。 摘要 视频模型能生成可控画面，只说明它学到部分视觉统计规律。要成为决策世界模型，还需证明动作会改变预测、任务状态可持续...
Video VAE 不是末端编解码器：它如何定义视频模型的系统边界
发布边界：不同模型家族的时间压缩、空间压缩、潜通道和缓存语义必须分别核对；本文不声称已完成作者自有重建或显存实验。 摘要 Video VAE 在主模型之前就决定时空网格、信息损失和 token 数量，在主模型之后又决定解码峰值...
权重已到、Recipe 还在变：Kimi K3 发布后该怎样做工程验收
摘要： Kimi K3 的完整权重已经出现在官方仓库，但“权重可获得”不等于 “生产可运营”。本文把一次开放权重发布拆成七道可审计门，并给出可直接落库的 Release Acceptance Ledger，用来约束 Revision...
高能力模型评估为什么需要一份可验证的 Containment Contract
发布边界：本文讨论公开事件与工程控制框架，不声称掌握未公开事故细节，也不把架构建议冒充已经完成的生产验证。 摘要 “禁公网”不等于“没有公网能力”。代理、DNS、身份服务、缓存、共享文件系统和短期凭证都可能形成传递可达路径。
生产模型路由不是一次难度分类：从硬约束可行域到状态检查点升级
发布边界：产品能力和公开案例绑定来源；通用控制面、检查点与副作用账本属于工程设计，不宣称为供应商内部实现。 生产模型路由不能被简化为一次 Prompt 难度分类。
同一套 ComfyUI 工作流，第二次为什么快一倍？
发布边界：标题中的快一倍是待解释现象，不是作者实测承诺；任何性能结果都必须绑定工作流、硬件、版本和运行条件。 摘要 同一套 ComfyUI 工作流第二次运行明显更快，可能来自模型常驻、编译预热、节点缓存或实际执行子图变化...
Token 单价更低，Agent 任务为什么反而更贵
摘要：IBM 的一次 AppWorld 实验中，纸面 Token 单价更低的模型反而产生 更高任务总成本。多步 Agent 的正确计量单位不是一次调用，而是包含缓存、 工具、重试、升级、失败和人工处理的完整任务轨迹。
1.2GB 离线语音 Agent 真正值得复用的，不是 908ms
摘要：一台 Galaxy S23 Ultra 上的离线语音 Agent 曾测得 908ms 首音频和 1,116MB PSS。但真正值得复用的不是这两个数字，而是四阶段职责、状态感知 Tool Schema...
Pi 真的打赢 Claude Code 和 Codex 了吗？Databricks Harness 基准的正确读法
Databricks 在内部真实代码任务上比较了多种模型与 Coding Agent Harness。 最容易传播的说法是“Pi 打赢 Claude Code 和 Codex”，但公开证据支持的是一个 更窄、也更有工程价值的结论
Shippy 的启示：可靠 Agent 不是“更听话”，而是更少犯错空间
摘要：高风险 Agent 的可靠性不能只押注于模型更强。Shippy 的工程价值 在于用版本化行为工件、确定性 CLI、会话隔离和整套 Agent Eval，持续缩小 动作空间、状态空间与错误后果。
Claude Code 权限分析器为什么必须 Fail Closed
推荐标题：Claude Code 权限分析器为什么必须 Fail Closed 备选标题1：别只看表面：Claude Code 权限分析器为什么必须 Fail Closed真正要验收什么 备选标题2：
Kimi K3 2.8T：超稀疏 MoE、百万上下文与真实部署边界
研究快照：2026-07-21。完整权重、许可证、模型配置和技术报告在该日期尚未公开。本文讨论的是已经确认的架构与部署边界，不是完整本地部署实测。 摘要 Kimi K3 最容易被误读的数字是 2.8T。
vLLM 0.25.1：推理引擎升级的正确性门禁
推荐标题：vLLM 0.25.1：推理引擎升级的正确性门禁 备选标题1：别只看表面：vLLM 0.25.1真正要验收什么 备选标题2：一张工程图拆解 vLLM 0.25.1 备选标题3：vLLM 0.25.1为什么经常被理解错
GitHub Models 7 月 30 日关闭：迁移别只换 Base URL
日期：2026-07-20 状态：完整母稿 时间边界：2026-07-23 第二次 Brownout 与 2026-07-30 全面退役均为未来事件。Brownout 的具体 HTTP 状态码和错误 Body 尚未由官方公告明确...
GPT-Red：自动化红队如何形成 Agent 安全数据飞轮
章节角色：旗舰热点研究母稿 优先级：P0 推荐长度：8,000—12,000 字 验证状态：官方事实已核验；核心指标为厂商内部评测 一句话核心论点：GPT-Red 的意义不在于“AI 会攻击 AI”，而在于把威胁模型、攻击搜索、真实工具后果...
FDE 到底是什么：为什么 AI 时代重新需要前线部署工程师
阅读说明：公司岗位和公开计划按 2026-07-18 的一手页面核对；招聘状态可能变化。本文讨论工程责任边界，不虚构客户采用、ROI 或业务收益。 编辑复核（2026-07-18）：一手来源支持核心事实；岗位状态为时间快照；
从 Java 后端到实时语音 AI：我的工作为什么越来越像 FDE
阅读说明：本文只使用已披露的 Java、Go、Python、实时语音、端云链路和机器人端经历，不虚构客户交付、采用率或 ROI；重点是复盘工程所有权如何变化。 编辑复核（2026-07-18）：一手来源支持核心事实；岗位状态为时间快照；
OpenAI 为什么需要 FDE：模型公司正在变成交付公司
阅读说明：OpenAI 公司公告、岗位与产品页面按 2026-07-18 的一手来源核对。本文分析部署战略，不把招聘快照或规划扩写成已经实现的业务结果。 编辑复核（2026-07-18）：一手来源支持核心事实；岗位状态为时间快照；
Fable 5 的 7 月 19 日不是发布延期：模型可用性正在变成动态资源
发布边界：配额与 7 月 19 日窗口是动态状态，发布当天必须再次核验官方公告。 核心结论 Fable 5 是 Anthropic 的正式模型，不是社区代号或拼写错误；模型 ID 为 claude-fable-5。