agents-cli:你的编程 Agent 用来交付 Agent 的命令行工具
英文标题:agents-cli
这段讨论揭示了 agents-cli 在认证与质量评估层面的设计思路。认证分为两层:本地继承 Claude Code 认证,部署后的工具和 MCP 凭据则通过 Secret Manager 由专用服务账号管理,且添加实际秘密仍保留人工步骤,避免 Agent 自行生产凭据。针对变更日志 Agent 的“优质发布说明”这一模糊需求,建议采用 LLM 评委准则结合硬性检查(如 PR 号、链接有效性)来评分,通过不断调整准则提升信号质量。这些实践为开发者提供了安全可控的部署模型,并展示了如何用 AI 评判模糊工程目标。
2.6 KB
11.5 KB
12.6 KB
12.3 KB
12.3 KB
735 B
1.8 KB
1008 B
792 B
829 B
1.1 KB
1013 B
1.9 KB
中文
@tsouth2 谢谢 Tyler,也祝你们今天的 MCP 发布顺利。
认证分为两层。Claude Code 会继承你在本地的认证方式。
部署后的 Agent 使用的工具和 MCP 凭据会通过 Secret Manager 由专用服务账号管理,而不会直接嵌在脚手架里。你说的完全正确,这正是需要人类有意回归的环节:Agent 可以对接秘密引用,但添加真正的秘密值仍是人工步骤。与其让一个编程 Agent 自己去创建生产凭据,不如在这一步停下来。
关于变更日志 Agent(挺有趣的一个):“好的发布说明”这个说法本身很模糊,所以我会用一个“LLM 作为评委”的评分标准来打分(覆盖每一个已合并的 PR、分类正确、没有编造任何内容、符合你的语气),再加上几个硬性检查,比如每个 PR 号都存在且链接可解析。目标应该是让这套评分标准带来真正有价值的信号,然后你在发现疏漏时持续调整它。
English / 原文
@tsouth2 Thanks Tyler, and good luck with the MCP launch today.
Auth is two layers. Claude Code will inherit how you're authed as locally.
The deployed agent's tool and MCP creds go through Secret Manager with a dedicated service account, not baked into the scaffold. And you're right that this is where a human comes back on purpose: the agent can wire up the secret reference, but adding the actual secret is a human step. Better it stalls there than have a coding agent minting prod credentials on its own.
On the changelog agent (fun one): "good release notes" is fuzzy, so I'd grade it with an LLM-as-judge rubric (covered every merged PR, categorized right, invented nothing, matched your tone) plus a couple of hard checks like every PR number present and links resolving. The goal should be for the rubric to bring the signal, and you tune it as you spot misses.