Palantir

025 · Palantir 的 AIP 與 ontology

39:45YouTube 上架 2023-07-27Shyam Sankar（Palantir CTO）

No Priors Ep. 25 | With Palantir's CTO Shyam Sankar

Shyam Sankar 談 Palantir 怎麼用 ontology 與一整套工具鏈，把 LLM 接進客戶的私有資料與決策流程，也談為什麼 chat 不夠用、agent 該從單一個狀態轉換做起。

025 講了什麼

• ontology 讓 LLM 有所依據Shyam 說 Palantir 過去 20 年幾乎是無意間一直在做動態 ontology。這層語意層描述企業的名詞與動作，放進 context window 有很高的壓縮率，讓 LLM 撐起的函式更可靠。Palantir 大約在去年第四季決定大舉投入 LLM。
• 把 LLM 當成 stochastic genieShyam 認為 LLM 比較像統計而不是微積分，很多工程師卻用微積分的方式看它，順的時候很神，不順就整個崩掉。所以需要一整套工具鏈：eval、上線後的 telemetry 與 trace，還要挑「做對好處很大、做錯等於什麼都沒發生」的場景。
• 輸出不是文字，而是改變應用狀態Shyam 認為 chat 是限制很大的介面。例子是從作戰計畫產生 course of action，拿回來的是地圖與資源矩陣；商業端則是幫車廠判讀保固索賠的 copilot。
• 價值在怎麼用模型主持人提到 Palantir 認為模型越來越商品化。Shyam 說價值在於怎麼用模型、怎麼建立對模型的信任；與其只問一個「有點瘋的天才」，不如問一群，輸出若是 DSL 或 JSON，就能解析出共識與分歧。
• agent 要從一個狀態轉換開始讓 agent 自己規劃一切碰不上現實；比較實際的做法是先只給 agent 一個狀態轉換的權限，再一步步串起來，個人貢獻者就變成 agent 的管理者。
• 從警示收件匣變成建議在醫院營運這類場景，Shyam 想把「丟警示給人」改成「給一個待核可的建議情境」。醫療大約占 Palantir 三分之一的業務。

從哪一段開始看15 段

1. 00:00開場與來歷介紹 Palantir 與新推出的 AIP 平台。Shyam 三歲前住在奈及利亞，之後以近乎難民的身分到美國、在佛羅里達長大；2003 年到矽谷，待過一家國際匯款新創，再以第 13 號員工、第一位商務人員的身分加入 Palantir。
2. 02:58前線部署工程Shyam 說自己的職責一直是「做該做的事」，並解釋 forward deployed engineering：讓懂技術的人直接面對客戶，從客戶的問題倒推，而不是從技術往前推。
3. 05:55三個平台Gotham 面向情報與國防，Foundry 是通用的資料整合與 ontology 平台，能做模擬、問反事實問題；美英的疫苗分配與企業處理供應鏈危機都用過它。
4. 08:03擴張到商業與 Apollo公司原本只做情報與國防，大約 2010 或 2011 年才「幾乎不情願地」接第一個商業客戶。Apollo 是為了在斷網環境部署自家軟體（550 個 microservices、一天發好幾版）而做的自動化交付平台。
5. 10:37AIP 是什麼把 LLM 帶進私有網路與私有資料，提供 application forge 與「工具工廠」，因為 LLM 要有工具才做得好軌道模擬、庫存預測這類事。
6. 12:28ontology 與工具鏈Shyam 說 LLM 彷彿就在等 ontology 這種東西。接著談 eval 取代單元測試、看 trace 做健康檢查，以及挑「錯了等於沒發生」的場景。
7. 15:37作戰計畫與車廠索賠在夏威夷做的案例：把作戰計畫（o plan）的文字轉成 course of action 與資源矩陣。商業端是車廠的索賠判讀 copilot，從索賠內容找出零件需要召回的早期徵兆。
8. 18:26模型商品化與多模型Shyam 說價值在於怎麼用模型、怎麼建立信任，接著反問：要不要只找一個瘋狂天才？主持人答想要一組，Shyam 認同，並說這是模型公司很難走的方向；輸出用 DSL 或 JSON 才比得出共識與分歧。
9. 19:58chat 之外的新介面理想是「應用狀態加上使用者意圖，產生新的應用狀態」。Shyam 舉例：有位工程師用語言取代 UI，幾個小時就做完原本排了兩個人、兩個月的功能。
10. 26:13要解的技術問題最想投資的是穩健的 eval 環境，讓 copilot 先經過「試用期」再上線；也要讓維修主管這類不是資料科學家的人自己做出 copilot。
11. 28:47agent 與狀態機Shyam 說自己幾乎不能用 agent 這個詞，因為它被理解成要自己規劃。主張 agent 從一個狀態轉換開始，並拿 Tesla 與 Cruise 做自動駕駛的路線對比。
12. 30:49內部導入的做法Shyam 推動內部先用，例如替自家的事件處理做 copilot；在用不到 GPT-4 的環境得改用開源模型，內部版 ChatGPT 也是同時跑多個模型、比較各自的輸出。
13. 32:56搶下 AI 市場的野心主持人問 Alex 說要拿下整個 AI 市場是什麼意思。Shyam 說價值會落在握有企業應用層的人手上，客戶該解的仍是一年前就在解的那些重要問題。
14. 34:58醫療業務醫療大約占三分之一的業務，客戶有 NHS 與多家美國醫院體系。營運面（供需、人力）很適合 LLM；臨床面則是減少醫師與護理人員的雜事，不是替病人做決定。
15. 36:17警示收件匣變建議把警示收件匣改成「待核可的建議情境」，需要像 git branch 那樣的 scenario 當基本元件；排序也能從警示的嚴重度改成解法可能帶來的後果。

值得記的話5 句

• It's almost like accidentally we had spent the last 20 years really thinking hard about Dynamic ontologies.就好像不小心的，我們過去 20 年一直在認真想動態 ontology12:45

• Chat is a massively limiting interface.chat 是限制非常大的介面16:39

• The whole point is not to give me answers but to change my app.重點不是給我答案，而是改變我的應用程式21:17

• Actually we're going to get a little more self-driving every single day.而是我們每天多做到一點自動駕駛；這句是 Shyam 形容 Tesla 的路線30:03

• Instead of saying here's an alert, what should we do about it, it's here's a recommendation.不再是「有個警示，我們該怎麼辦」，而是「這是一個建議」36:48

名詞與人物12 個

Shyam Sankar

Palantir CTO，第 13 號員工、第一位商務人員，本集來賓。

Palantir

做資料驅動應用平台的公司，客戶有政府、軍方與大型企業。

AIP

Palantir 新推出的平台，把 LLM 帶進客戶的私有網路與私有資料。

Gotham

Palantir 面向情報與國防客戶的旗艦產品。

Foundry

通用的資料整合平台，把資料一路接到 ontology 與應用層。

Apollo

為斷網環境開發的自動化軟體交付與部署平台。

ontology

描述企業的名詞與動作的語意層，Shyam 說它能壓縮 context，讓 LLM 貼近企業的實際情況。

forward deployed engineering

讓懂技術的人在客戶現場工作，一人兼產品、客戶成功與工程。

stochastic genie

Shyam 形容 LLM 的說法：輸出帶隨機性，要靠 eval 與 telemetry 管住。

course of action

從作戰計畫產出的行動方案，案例中以地圖與資源矩陣呈現。

state machine

Shyam 用來描述企業流程的模型，agent 應從其中一個狀態轉換開始。

scenario

像 git branch 的一組暫存修改，讓人核可或退回建議。

提到但沒有展開

• Shyam 提到 Gorilla 論文：微調過的 LLM 可以決定該呼叫哪個 API、帶什麼參數，系統整合的做法會因此跟以往很不同。
• 談到 Boeing 與海軍為 F-18 的資料權爭執，Shyam 想像交機時一併交付針對這款設計微調的 LLM，讓政府不那麼容易被鎖定。

在 YouTube 看原片 ↗