给三个 AI 模型同一份研究 brief,你可能得到三份漂亮的报告。你同时也继承了一项新工作:找出分歧、核对来源,并在不把错误带过来的前提下合并有用的部分。团队买到的是更多产出,但未必减少了做出决策所需的工作量。
更好的起点是任务本身。研究涉及找到存在于模型之外的素材。抽取涉及保留该素材中的细节。写作需要对读者需要什么做出判断。审核需要检查成稿的论断是否有支撑。这些步骤可以用不同的模型,但它们首先需要不同的指令和不同的验收标准。
让每一步都产出别人能检查的东西
“研究这个市场”是一个很难评估的指令。一份看起来合理的报告可以掩盖缺失的来源、无支撑的对比,以及从过时页面借来的结论。把第一项工作收窄:收集相关的一手页面,记录访问时间,并保留回应买家问题的那些段落。
研究者应当交回源素材,而不只是一个自信的综合结论。一份有用的交接包括:正在调查的问题、来源 URL、相关段落,以及任何重要限制,例如较旧的发布日期或未说明的服务区域。如果某个页面打不开,这次失败也属于记录的一部分。一段搜索摘要不应悄悄变成一份经过完整审阅的文档。
抽取需要另一份 brief。要求它从给定的来源里填充一组已定义的字段,并允许明确的“not found”值。一个靠推断填满每个字段的模型看起来更强,却让数据集更没用。期望的行为是准确的复制与分类,包括留出空缺的克制。
然后写作者可以基于更小的证据包工作。给它受众、文章应支持的决策,以及它可以使用的论断。没有理由仅仅因为上下文窗口装得下,就把每一页无关材料都送到这个阶段。
先定义工作,再选模型
困难的综合可能值得用更强的 reasoning 模型。从短页面里抽取一个标注清晰的服务区域,用更便宜的模型可能就够。长技术文档可能需要比一封短客户邮件更多的上下文。这些都是起手的假设,而不是基于模型营销的永久分配。
String AI 的文档描述了按任务和成本选模型,并为兼容集成提供统一的 API 入口。[1] 这可以减少尝试替代方案所涉及的接入工作。它并不能免除你测试某个特定模型是否能处理你的输入,或是否支持你的应用所用的工具和响应格式。
保留一小组真实任务,包括棘手的情况。比较抽取模型时使用同一份来源包。比较写作者时使用同一批已批准的事实。否则,拿到更好证据的模型可能在一场本应衡量写作质量的测试中胜出。
有些工作不用语言模型做更好。代码可以检查必需字段是否存在、URL 语法是否有效、数字是否与来源字段完全一致。在花钱让另一个模型检查同一份输出之前,先用这些检查。
在模型之间传递证据,而不只是结论
设想一个团队在研究外部营销支持。搜索geo agency singapore可能启动一项供应商调研任务。第一步应当收集服务商公开的服务页面和支持材料。下一步应当区分明示的服务、公开的证据、地理覆盖范围,以及仍需通过对话才能回答的问题。
写作步骤可以从这些字段产出一份简短的评估 brief。它不应把“提供监测”升级成“已证明能改善我们的结果”,也不应把一个缺失的细节变成对该公司的负面判断。审核者应当同时收到原始证据和草稿,并据此核对论断。
如果审核者只看到写作者的总结,它可能批准一个在抽取阶段进入的错误。再加一个模型,只会让这个错误听起来更确定。保留源段落,才给审核者提供了可以独立检查的东西。
对于重复性工作,把证据包保存为带版本的产物。记录哪些字段来自哪些页面,哪些结论是编辑判断。当供应商修改服务描述时,你可以更新受影响的证据,而不必重跑并人工比对一份长报告的每一段。
让审核成为与写作不同的工作
“把它改得更好”是在邀请审核者重写。“对照给定证据检查每一条事实性论断,并指出无支撑的补充”给它的是一个更窄的责任。
要求它给出问题的位置、涉及的论断、支持或反驳该论断的证据,以及一个修改建议。把风格偏好与事实性失败分开。作者不寻常的句子结构,与编造的价格或来源并未如此表述,不是同一类问题。
不同的模型可能注意到写作者漏掉的问题,但模型多样性不能替代证据。审核者可能共享同样的假设,或接受同样有说服力的措辞。对重要决策,仍然需要人去检查支撑材料,并解决自动检查无法定论的矛盾。
审核投入应当跟随风险。一份内部的文章选题清单不需要和面向客户的技术指南走同样的流程。把额外的调用花在一旦出错就会导致糟糕决策或产生昂贵返工的地方。
把 API 响应之后的工作算进去
更便宜的调用只有在工作流仍产出可接受结果时才有用。追踪重试、被拒的输出、工具调用,以及人们花在修草稿上的时间。一个反复丢掉重要条件的低成本抽取模型,可能抬高后面每个阶段的成本。
延迟也会累积。研究、抽取、写作、审核一连串调用,可能比一次范围划得很清楚的调用更久,尤其当每个阶段都在等上一个阶段时。独立的来源收集可以并发进行;对成稿的审核不可能在草稿存在之前开始。围绕这些依赖来规划,而不是假设并行访问模型就能让整个过程变快。
按工作衡量质量:缺失字段、无支撑论断、需要的人工修正,以及输出是否被接受用于其预期用途。把模型身份、请求设置和证据包版本与结果一起保存。没有这份记录,突然的改善或退步都很难解释。
保留能证明自己价值的最简工作流
从一个模型和一个清晰的任务开始。如果重要细节反复丢失,就加一个抽取阶段。如果事实性错误能穿过第一轮,就加一个专门的审核者。在测试显示某一步换模型能改善到足以抵消成本与维护时,就在那一步换模型。
多模型接入的价值在于让团队不必重做每一个集成就能做出这些选择。当工作流存在的主要目的变成“用更多模型”时,它就变成了干扰。下一个改进可能是更好的来源包、一个字段校验器,或更清晰的审核指令,而不是链条里再加一个模型。
来源
[1] https://www.string.ink/docs