微光实验室 · 博客归档
博客 第2页
记录技术探索与工程思考，共 801 篇文章。
小智首批设备怎样放量？从接入名单到故障后的恢复决定
你已经让一台小智设备完成了语音问答，准备把同一套配置发给办公室里的十个人。最直觉的做法是把十个设备编号填进 allowed_devices，再打开鉴权，觉得这就圈定了首批体验者。
小智服务端怎样组织 ASR、LLM、TTS？先追本次连接实际使用的对象
你给小智服务端改了模型配置，设备仍能连接，日志也有识别文本，但回答不像预期模型，或者文字已经出来，扬声器还没开始说话。此时“ASR→LLM→TTS”只能说明大方向：它没有告诉你，这个设备到底拿到了哪份配置、哪个实例，又在哪个交接点等待。
SGLang 一加并发就出问题，先查显存还是队列
本地问一句、答一句，服务一直正常。接进应用以后，几个人同时提问，有人等很久，有人的请求直接失败。GPU 显存显示已经用了 92%，于是团队准备先把并发调小。 这可能减少失败，也可能把同一批工作推到更长的队列里。
把 SGLang 接进 Agent，查一次订单要走几步
用户问：“我的 ORDER-A 到哪里了？”模型能读懂问题，却不知道此刻的物流状态。它需要先提出查订单请求，让业务程序验证权限、查询订单，再把结果交回模型组织回答。 接入 SGLang 后，这个来回仍然存在。
Tensor Parallel 深入解析：多加 GPU，推理为什么可能更慢
一台机器有 8 张 GPU，模型用 2 张就能装下。接下来把 Tensor Parallel 从 2 调到 8，用户收到回答就会更快吗？ 这个问题不能靠显存总量回答。Tensor Parallel（张量并行...
同一套小智源码，换块 ESP32 开发板为何还要重新适配？
你在一块 ESP32-S3 开发板上跑通了小智，换到另一块同芯片的板子，串口能启动，屏幕却不亮，麦克风也没有可用输入。这时，先改语音服务参数往往找错了位置。芯片能运行程序，只证明了一部分条件；程序究竟初始化哪组引脚、哪种音频设备和哪块屏幕...
小智的 MCP 工具返回 true，就代表硬件动作完成了吗？
你对小智说“声音调小一点”，服务端调用了音量工具，拿到一段 text: "true"。这时可以回答“音量已经调小了”吗？ 先看这个 true 从哪里来。在本文核验的小智固件里，音量工具取出板卡的 AudioCodec...
SGLang 和 vLLM，拿自己的请求测一轮再选
客服模型准备换推理引擎，团队拿来两张跑分图：一边每秒吐出的 token 更多，另一边首字出来更快。负责接入的人仍然回答不了一个问题：同样六位用户进来，到底有几位能及时拿到可用答案？ 先看一个贯穿全文的教学例子。
小智发出 abort 后，旧声音为什么还可能继续？
设备正在说话，你触发了打断，日志里也出现了 Abort speaking。如果随后仍听见一点旧声音，应该先怀疑服务器没取消，还是客户端没停播？只凭这条日志，还分不清。 小智的一个实现细节能把问题拆开：
SGLang 回答慢，时间究竟花在了哪里
用户发来一句话，页面过了好一会儿才开始显示；换一个问题，文字马上出现，却一小段一小段地往外挤。这两种“慢”，需要查的地方并不相同。 第一种先看首段内容出现之前发生了什么，第二种要看开始生成之后为什么跟不上。
小智的音频队列满了：丢旧帧、拒新包与播放延迟
语音接入已经能出声，接下来常会遇到另一个决策：如果声音断续，要不要把缓冲加大？更多缓冲能多接住一些暂时处理不完的音频，却也可能让设备继续处理更早的内容。要判断该不该加，得先知道队列里存的是什么，以及装满之后代码会做什么。
Agent 的工具没变，SGLang 缓存为什么没命中？
一个客服 Agent 每次调用模型，都带着同一套业务规则和工具说明。你期待第二轮能少算一些，可观察请求时发现，输入依然处理了很久。 先别急着加显存或改调度参数。把发往模型的两份输入并排打开，找最早变化的位置。
让 SGLang 按 JSON 回答，怎样少写一些补救代码
你让模型把客服工单分成“物流、退款、其他”，后端等着读 JSON。它却先回一句“当然可以，分析如下”，再给结果。有时外面包着代码块，有时把约定好的 refund 写成中文“退款”。 于是程序开始去代码块、找左大括号、修字段名。
小智的 MQTT 已连接，为什么还不能说话？从音频通道看协议选择
给小智接服务端时，有一种容易误判的状态：设备已连上 MQTT，控制消息也能往来，扬声器却没有声音。此时如果只盯着“设备在线”，很容易跳到 ASR、TTS 或音频芯片上排查，漏掉尚未建立的音频通道。
商业比较词进入 AI Overview：Semrush 60 万关键词研究能说明什么
摘要：Semrush 的美国桌面端样本显示，商业意图查询触发 AI Overview 的比例相对增长 71%，交易意图却下降 5%。这足以触发比较页实验，不足以证明中文站点会获得引用、流量或转化。 证据边界：
从声学信号到工具阻断：实时语音安全决策门的系统设计
摘要：工具调用获得人工批准或签名票据，并不等于它在真正提交时仍然有效。本文把 PROPOSE、AUTHORIZE、COMMIT 拆开，用 SDK Guardrail 覆盖矩阵、结构化确认、权威授权状态、一次性 jti 消费...
9/10 和 900/1000 都是 90%：机器人成功率计算器必须阻止的误判
证据边界：本文是公开统计文献、RoboLab v4 与产品合同的复核，不是已经上线的 AscendLab 工具，也不是机器人生产实验。文中示例由本地公式复算并通过独立内容审核，但不代表工具已经上线或机器人实验已经完成。
第一次用 SGLang：把本地模型接进聊天应用
你已经有一个聊天页面，后端也会调用 /v1/chat/completions。现在想把远程模型换成自己机器上的模型，卡住的地方通常很具体：权重下载完了，谁来把它变成一个能接请求、能连续返回文字的服务？
同一份长文问两次，SGLang 怎样少算一遍
给模型一份长文，先问“付款条件是什么”，再问“违约责任有哪些”。第二次的问题变了，文档没有变。模型还要把整份文档从头处理一遍吗？ 如果两次请求在模型输入端共享相同的开头，且对应缓存仍在，SGLang 可以复用已经算过的中间结果。
中文 Prosody-Aware Eval：从四象限样本到可诊断的实时语音评测
摘要：四象限只能说明语料覆盖，不能自动形成单变量实验。本文把同脚本、同说话人的 control/marked delivery 对定为反事实单位，再用四轴 Schema、五层指标、T0—T6 时间线、dry-run 和 160 条 MVP...