給三個 AI 模型同一份研究 brief，你可能得到三份漂亮的報告。你同時也繼承了一項新工作：找出分歧、核對來源，並在不把錯誤帶過來的前提下合併有用的部分。團隊買到的是更多產出，但未必減少了做出決策所需的工作量。
更好的起點是任務本身。研究涉及找到存在於模型之外的素材。抽取涉及保留該素材中的細節。寫作需要對讀者需要什麼做出判斷。稽核需要檢查成稿的論斷是否有支撐。這些步驟可以用不同的模型，但它們首先需要不同的指令和不同的驗收標準。
讓每一步都產出別人能檢查的東西
“研究這個市場”是一個很難評估的指令。一份看起來合理的報告可以掩蓋缺失的來源、無支撐的對比，以及從過時頁面借來的結論。把第一項工作收窄：收集相關的一手頁面，記錄訪問時間，並保留回應買家問題的那些段落。
研究者應當交回源素材，而不只是一個自信的綜合結論。一份有用的交接包括：正在調查的問題、來源 URL、相關段落，以及任何重要限制，例如較舊的釋出日期或未說明的服務區域。如果某個頁面打不開，這次失敗也屬於記錄的一部分。一段搜尋摘要不應悄悄變成一份經過完整審閱的文件。
抽取需要另一份 brief。要求它從給定的來源裡填充一組已定義的欄位，並允許明確的“not found”值。一個靠推斷填滿每個欄位的模型看起來更強，卻讓資料集更沒用。期望的行為是準確的複製與分類，包括留出空缺的剋制。
然後寫作者可以基於更小的證據包工作。給它受眾、文章應支援的決策，以及它可以使用的論斷。沒有理由僅僅因為上下文視窗裝得下，就把每一頁無關材料都送到這個階段。
先定義工作，再選模型
困難的綜合可能值得用更強的 reasoning 模型。從短頁面裡抽取一個標註清晰的服務區域，用更便宜的模型可能就夠。長技術文件可能需要比一封短客戶郵件更多的上下文。這些都是起手的假設，而不是基於模型營銷的永久分配。
String AI 的文件描述了按任務和成本選模型，併為相容整合提供統一的 API 入口。[1] 這可以減少嘗試替代方案所涉及的接入工作。它並不能免除你測試某個特定模型是否能處理你的輸入，或是否支援你的應用所用的工具和響應格式。
保留一小組真實任務，包括棘手的情況。比較抽取模型時使用同一份來源包。比較寫作者時使用同一批已批准的事實。否則，拿到更好證據的模型可能在一場本應衡量寫作質量的測試中勝出。
有些工作不用語言模型做更好。程式碼可以檢查必需欄位是否存在、URL 語法是否有效、數字是否與來源欄位完全一致。在花錢讓另一個模型檢查同一份輸出之前，先用這些檢查。
在模型之間傳遞證據，而不只是結論
設想一個團隊在研究外部營銷支援。搜尋geo agency singapore可能啟動一項供應商調研任務。第一步應當收集服務商公開的服務頁面和支援材料。下一步應當區分明示的服務、公開的證據、地理覆蓋範圍，以及仍需通過對話才能回答的問題。
寫作步驟可以從這些欄位產出一份簡短的評估 brief。它不應把“提供監測”升級成“已證明能改善我們的結果”，也不應把一個缺失的細節變成對該公司的負面判斷。稽核者應當同時收到原始證據和草稿，並據此核對論斷。
如果稽核者只看到寫作者的總結，它可能批准一個在抽取階段進入的錯誤。再加一個模型，只會讓這個錯誤聽起來更確定。保留源段落，才給稽核者提供了可以獨立檢查的東西。
對於重複性工作，把證據包儲存為帶版本的產物。記錄哪些欄位來自哪些頁面，哪些結論是編輯判斷。當供應商修改服務描述時，你可以更新受影響的證據，而不必重跑並人工比對一份長報告的每一段。
讓稽核成為與寫作不同的工作
“把它改得更好”是在邀請稽核者重寫。“對照給定證據檢查每一條事實性論斷，並指出無支撐的補充”給它的是一個更窄的責任。
要求它給出問題的位置、涉及的論斷、支援或反駁該論斷的證據，以及一個修改建議。把風格偏好與事實性失敗分開。作者不尋常的句子結構，與編造的價格或來源並未如此表述，不是同一類問題。
不同的模型可能注意到寫作者漏掉的問題，但模型多樣性不能替代證據。稽核者可能共享同樣的假設，或接受同樣有說服力的措辭。對重要決策，仍然需要人去檢查支撐材料，並解決自動檢查無法定論的矛盾。
稽核投入應當跟隨風險。一份內部的文章選題清單不需要和麵向客戶的技術指南走同樣的流程。把額外的呼叫花在一旦出錯就會導致糟糕決策或產生昂貴返工的地方。
把 API 響應之後的工作算進去
更便宜的呼叫只有在工作流仍產出可接受結果時才有用。追蹤重試、被拒的輸出、工具呼叫，以及人們花在修草稿上的時間。一個反覆丟掉重要條件的低成本抽取模型，可能抬高後面每個階段的成本。
延遲也會累積。研究、抽取、寫作、稽核一連串呼叫，可能比一次範圍劃得很清楚的呼叫更久，尤其當每個階段都在等上一個階段時。獨立的來源收集可以併發進行；對成稿的稽核不可能在草稿存在之前開始。圍繞這些依賴來規劃，而不是假設並行訪問模型就能讓整個過程變快。
按工作衡量質量：缺失欄位、無支撐論斷、需要的人工修正，以及輸出是否被接受用於其預期用途。把模型身份、請求設定和證據包版本與結果一起儲存。沒有這份記錄，突然的改善或退步都很難解釋。
保留能證明自己價值的最簡工作流
從一個模型和一個清晰的任務開始。如果重要細節反覆丟失，就加一個抽取階段。如果事實性錯誤能穿過第一輪，就加一個專門的稽核者。在測試顯示某一步換模型能改善到足以抵消成本與維護時，就在那一步換模型。
多模型接入的價值在於讓團隊不必重做每一個整合就能做出這些選擇。當工作流存在的主要目的變成“用更多模型”時，它就變成了干擾。下一個改進可能是更好的來源包、一個欄位校驗器，或更清晰的稽核指令，而不是鏈條裡再加一個模型。
來源
[1] https://www.string.ink/docs