← 回Software Factories @ AI Engineer
Microsoft002 · AI Engineer World's Fair

On AI and Knowledge

模型記憶、公司知識與自動學習迴圈

Pablo Castro（Microsoft，Distinguished Engineer & CVP for AI Knowledge） · 2026-07-17 · 17:35

On AI and Knowledge — Pablo Castro, Distinguished Engineer & CVP for AI Knowledge, Microsoft

17:35長度
4金句
9名詞
13段落

Microsoft 的 Pablo Castro 把知識分成模型內建、外部檢索、從使用中學習三層，示範 agent 怎麼越用越好。

重點摘要

5 件事

內建知識啟動了 AI 指數成長模型的參數記憶（intrinsic knowledge）是 GitHub Copilot、ChatGPT 等工具的核心動力，也是整個 agentic 浪潮的起點；從 IntelliSense 到全自動生成程式碼，22 年才走到的第一步，後來的每一步都在加速。

公司知識需要統一入口企業 agent 除了自身任務知識外，還要存取組織的文件、信件、聊天記錄與資料倉儲。Microsoft IQ 提供四層接口（Work IQ、Fabric IQ、Foundry IQ、Web IQ），讓 agent 有一個統一入口取得這些「環境知識」。

混合檢索顯著優於單一方法評估一再顯示，結合向量搜尋、詞彙搜尋與 agentic retrieval 的複合方法，在真實客戶場景中遠比任何單一方法好；agentic retrieval 會先反思資訊需求是否已滿足再回傳結果。

知識庫即 MCP ServerFoundry IQ 建立的每個知識庫都自動成為 MCP Server，無需額外黏合程式碼即可接入任何已有的 agent 架構。

Agent Optimizer 自動化學習迴圈透過觀察 agent 的 trace 與評估指標，系統以類山丘攀爬法反覆生成並評估候選配置，找到更好的指令與工具組合後直接部署，讓 agent 的能力隨實際使用不斷提升。

時間軸 · 金句在右

13 段 · 時碼連回 YouTube

開場：知識的三種型態Pablo Castro 介紹自己在 Microsoft 負責 AI 與知識的連結，提出將從 intrinsic、extrinsic、learned 三個維度切入。
00:18
Intrinsic Knowledge 驅動 AI 指數從 1996 年 IntelliSense 到 Copilot 再到全自動程式碼生成，說明模型的參數記憶如何讓能力指數型躍升。
01:09
「this is the knowledge that actually threw us into the exponential we are in today.」這正是讓我們進入今日指數成長的知識
Microsoft 的 agent 平台GitHub 是開發起點，Foundry 提供 agent 托管、觀測、管理與數千個模型目錄，Claude 在 Foundry 已正式上線。
03:42
Extrinsic Knowledge：RAG 到公司知識從早期簡單 RAG 演進到 context engineering，重點在於讓 agent 能接入整個組織的環境知識。
04:44
Microsoft IQ 四層架構Work IQ 接文件與郵件、Fabric IQ 接資料倉儲與 Power BI、Foundry IQ 接自建資料、Web IQ 接公開網路。
05:46
混合檢索優於單一方法評估一再顯示，單一檢索方法的表現不如多種方法組合起來，套用到真實客戶場景時差距更明顯。
07:20
「as an industry we thought that if we could get really, really good at computing cosine similarity between vectors, we were all set for retrieval.」作為一個產業，我們曾以為只要把向量餘弦相似度算得夠好，檢索問題就解決了
Foundry IQ 分層設計預設全自動處理文件切塊、向量化、排序；需要控制時可下鑽到底層自訂量化與索引演算法，同一套架構彈性切換。
08:07
Agentic retrieval 的實測難題上讓模型自己判斷資訊需求滿足了沒再回傳，evidence recall 與 answer completeness 都持續勝過單一的簡單方法。
09:24
Demo：建立知識庫在 Foundry 中建立電影資料知識庫，同時接入 PDF、Parquet 結構化資料與網路，知識庫自動成為 MCP Server。
10:12
「every knowledge base is an MCP server, so you can just connect to it uh without having to write any glue code in the middle.」每個知識庫都是 MCP Server，直接連接，不需要寫任何黏合程式碼
答案的資訊密度檢索任務裡 token 花得值不值得是關鍵，所以系統特別針對「用最少 token 給出資訊最密的答案」做評估。
12:47
Learned Knowledge：持續改善透過觀察 agent 實際作業，組織得以把獨特能力固化到系統中，形成與人員共同複利成長的學習迴圈。
13:19
「how they can create this learning loop that effectively captures what's unique about the company」怎麼形成一個學習迴圈，把這家公司真正獨特的東西留下來
Agent Optimizer 展示從評估基線出發，自動生成候選配置並比較指標，結果好就部署新版；指令本身也從 trace 中反推優化，不再只靠手寫。
14:05
結語三層知識框架總結：intrinsic 打底、extrinsic 接地、learned 讓 agent 越用越好。
16:48

名詞與人物

9 個

Pablo Castro講者，Microsoft Distinguished Engineer 兼 CVP for AI Knowledge，負責推動 AI 與企業知識整合。
Intrinsic Knowledge模型訓練時存入參數的知識，是驅動 GitHub Copilot、ChatGPT 等工具的核心能力。
Extrinsic Knowledge組織外部提供給 agent 的知識，包括文件、資料庫、網路等，透過 RAG 與 context engineering 整合。
Learned Knowledgeagent 從實際使用 trace 中不斷反思與改善所積累的能力，體現在 agent optimizer 的迭代中。
Microsoft IQ提供 agent 統一接入組織環境知識的能力集合，分 Work IQ、Fabric IQ、Foundry IQ、Web IQ 四層。
Foundry IQMicrosoft Foundry 中的知識管理模組，支援分層控制，每個知識庫自動成為 MCP Server。
Agentic Retrieval一種在回傳結果前先反思資訊需求是否已滿足的智慧型檢索方式，在困難場景下顯著優於單次簡單查詢。
Agent OptimizerFoundry 提供的元件，以山丘攀爬法自動評估並優化 agent 的指令、工具定義與技能組合。
IntelliSense1996 年 Microsoft 推出的程式碼輔助功能，講者用以標記 AI 輔助程式碼的起點。

延伸

演講裡沒展開的

  • agent optimizer 以反覆產生候選配置、逐輪比較指標的迴圈往上爬，講者沒有說明背後的演算法。
  • Agent Optimizer 展示的學習迴圈需要 agent 配置外部化（指令、工具定義分離），演講中未說明如何處理非外部化配置的舊有 agent 系統。
  • 講者提到 Satya 最近撰文討論人與 agent 複利成長的概念，演講中僅引用觀點未展開細節。

標籤

原片

Agent開發工具研究

在 YouTube 看原片 ↗