不改 prompt，用 harness 讓爛模型做事

概要

• harness 買的是可靠度Tejas 說我們租來的模型是黑盒，能控制的變數太少，harness 的目的是讓 agent 不管底下是哪個模型，都照做該做的事。
• harness 是迴圈外面那一圈Tejas 把 agent harness 定義成模型周圍、讓它踩在現實上的一切，包含工具註冊、context 管理、guardrails、agent loop 與驗證步驟。準備這場時有人問過 harness 是不是就是 agent loop，答案是不，是 loop 外面的東西。
• demo 刻意不碰 prompt任務是上 Hacker News 幫第一篇文章按讚，模型用 GPT-3.5 Turbo。一開始遇到登入畫面就慌了，還回報成功。
• 一步步長出 harness先加 guardrails（最多 6 步、訊息太多就壓縮 context），再把邏輯收進 run harness，接著加驗證與最多 3 次重試，最後加自動登入。
• 驗證與登入都是寫死的程式驗證看工具歷史有沒有真的點到讚，登入由 harness 帶著憑證直接送出，不經過 agent。最後跑了六輪就成功。
• Tejas 的預測2025 是 agent 之年，2026 是 harness 之年，希望 2027 是 agent 在動手前自己現場生出 harness 的一年。

原話

• “Because the name of the game with harness is reliability.”

  harness 的重點就是可靠度

  ▶ 02:25

• “everything around the model that gives it grounding in reality.”

  模型周圍所有讓它踩在現實上的東西，這是 Tejas 對 agent harness 的定義

  ▶ 04:05

• “This is not different prompt, this is my logic.”

  這不是換 prompt，是我寫的邏輯

  ▶ 13:11

• “Models are non-deterministic, and you want to do more with less.”

  模型不是確定性的，而你想用更少的資源做更多事

  ▶ 17:37

• “2025 was the year of agents. Yes 2026 is the year of harnesses.”

  2025 是 agent 之年，2026 是 harness 之年

  ▶ 19:03

延伸

• Tejas 用一個例子說明租來的模型是黑盒：如果 Opus 暫時不能用，供應商就算改給你 Sonnet，你也不會知道。
• Tejas 把先加驗證、讓 agent「正確地失敗」，再補上登入讓它成功的過程，比作測試驅動開發。