打造西洋棋 AI 教練

概要

• 評語由引擎算、LLM 講每盤棋先用 Stockfish 跑過整局，再用一批偵測器找出戰術與棋形，最後才讓 LLM 把這些資訊寫成評語。Asbjorn 說他們不想讓 LLM 自己推太多，因為很快就會產生幻覺。
• 用 Maya 補上「人會怎麼下」Maya 是多倫多大學研究計畫的引擎，會依評分預測人類在該局面的走法機率。有了它，就能標出「最佳解但很難找到」的一步。
• 使用者回報接上 Claude Code被回報的評語會進 Slack，再送進一個持續運作的 Claude Code channel。它會跑 commentary triage skill、改 prompt 或偵測器、重新產生評語，最後由 Asbjorn 在手機上看 PR 並合併。
• 延遲優先於推理深度賽後分析要幾乎立刻出現，目標是 3 秒內。他們用 Gemini 3 Flash，平均延遲約 3 秒；試過的推理模型分析不差，但完成時間不好預測。
• 16 個情境加 LLM 當裁判評估情境取自真實棋局，經 OpenRouter 換模型比較，最後仍由 Anant 與 Asbjorn 自己的棋力判斷對錯。
• 幾點可帶走的做法資料管線與語言生成分開、用自主 agent 把回饋接回修改、先做一份大而後逐步修剪的 context，並找領域專家參與評估。

原話

• “But there's nothing inherently wrong about the architecture of the Transformer architectures to play chess.”

  Transformer 架構本身並沒有什麼不適合下棋

  ▶ 06:05

• “we really don't want it to try to figure out too much on its own, because it quickly leads to hallucination.”

  我們真的不想讓它自己推太多，因為很快就會產生幻覺

  ▶ 09:01

• “it's really important to separate that data pipeline from the language generation.”

  把資料管線和語言生成分開，真的很重要

  ▶ 15:42

• “Really try to close the loop with autonomous agents.”

  盡量用自主 agent 把回饋的迴圈接起來

  ▶ 15:58

• “Always try to build a very clear context extraction model.”

  盡量做一套很清楚的 context 擷取方式

  ▶ 15:58

延伸

• Anant 提到之後計畫做「和教練聊天」的功能，使用者願意多等一下，那時就可以用等待較久的推理模型。
• Asbjorn 簡短提到 game arena 後來也加入狼人殺，讓 LLM 在社交推理遊戲裡互相欺騙，但沒有展開。