Salesforce

043 · Salesforce 的企業 AI 路線

27:14YouTube 上架 2023-12-07Clara Shih（Salesforce AI CEO）

No Priors Ep. 43 | With Clara Shih, CEO of Salesforce AI

Clara Shih 談 Salesforce 如何在各條產品線之間共用 AI 平台、Copilot Studio 的三個部分、企業客戶目前用到哪一步，以及定價與新創該往哪裡走。

043 講了什麼

• 從各雲各做變成共用平台ChatGPT 推出後，Salesforce 內部突然都想把大型語言模型用進自己的產品。Clara 的做法是把模型 fine-tuning、prompt builder、trust layer 這些共通服務集中成一個平台，這件事後來獨立成 Clara 現在的角色。
• 模型採開放架構客戶有大企業也有中小企業，所以同時提供自家模型、客戶用 Salesforce 資料自行 fine-tune 的模型，以及外部模型。外部的部分 Clara 提到 Anthropic、Cohere、OpenAI 與 Google Vertex，可以經由 Salesforce 買，也可以自帶 API key。
• Copilot Studio 有三塊Prompt Builder 讓客戶改寫產品經理做好的 prompt 範本，Action Builder 把既有的 workflow 與整合一鍵指定成 copilot 可用的動作，Einstein Studio 讓客戶帶自己的模型。
• 企業採用還在早期Clara 的說法是大約第二或第三局。有客戶已經在客服中心全面上線，多數仍在實驗，第一步是把分散的資料整理好，所以 data cloud 成長很快。
• 資料不能一視同仁PRD、客服知識文章是為了溝通寫的，可以直接用；通話或聊天逐字稿則夾著很多閒聊，要先處理，再把客戶透露的偏好寫進結構化欄位。
• 定價要讓人看得懂，還要證明有效Clara 說成本要回收，但不要讓客戶用複雜的計算器去估 token 用量，關鍵是拿出 ROI，例如縮短平均處理時間、提高銷售轉換。

從哪一段開始看15 段

1. 00:05開場與來賓介紹主持人介紹 Clara 的經歷與現在負責的 AI 範圍，並問 Clara 怎麼走到 Salesforce AI CEO 這個位置。
2. 01:07接觸 AI 的路徑從 Hearsay 用 NLP 分析訊息做潛在客戶與合規偵測，到加入 service cloud 後用早期 transformer 模型做客服，一年半前和工程主管開始與 Gucci 等客戶做原型。
3. 02:26ChatGPT 之後的共用平台各雲都想用大型語言模型，與其各做各的，不如共用 fine-tuning、prompt builder 與 trust layer，這成了約六、七個月前接下的新角色。
4. 03:27自家與外部模型開放架構：客戶可選模型、可自己 fine-tune，也可以請 Salesforce 依成本、效能和延遲替每個任務挑模型。
5. 05:30內建的 GPT 功能3 月宣布把現成 AI 功能放進每個 cloud，其中客服回覆建議最受歡迎，已經正式上線。
6. 06:50Copilot Studio 三塊Prompt Builder 上週剛開始 pilot；Action Builder 把既有流程變成 copilot 的動作；Einstein Studio 讓客戶帶自己的模型。
7. 08:40客戶實際採用到哪裡有的已經在客服中心上線，多數還在實驗；也宣布與 BigQuery、Databricks、Snowflake 的 zero ETL 資料共享整合。
8. 10:28企業採用的階段Clara 認為大約第二或第三局；第一步是整理資料。Elad 補充後面常見的兩步：先做原型或內部工具，再推到自家產品與客戶。Clara 說客服可以先切一小塊，把分散的知識文章接起來做 RAG。
9. 13:01內部推廣與軟體開發路線圖有很多想法來自各部門。Clara 認為 agent 成熟後，過去寫死的分支與逐頁規格，有些可以交給 agent 動態處理。
10. 14:35AI 是新介面Sarah 接著 Elad 的框架問對外的使用者體驗。過去的併購（Slack、Tableau、MuleSoft）剛好派上用場；generative canvas 原型會依對話即時跳出元件，但還很粗糙，Slack 則用在多人共用 agent。
11. 16:56Gucci 的客服案例檢索增強讓新進客服也有品牌故事與排錯知識，平均處理時間下降，省下的時間拿去做更深的對話與銷售。
12. 18:31企業資料怎麼處理文件類資料可直接用，逐字稿類要先處理；談話中的偏好要回填結構化欄位。
13. 20:43意外與軟體的未來最意外的是它效果這麼好。Clara 把 AI 比作當年的雲端：有些流程要維持確定性，其餘的工作會從規定怎麼做，變成描述目標。
14. 22:34成本、定價與 ROIAI 產品有實際的運算成本，Clara 的重點是定價簡單、要證明價值；主持人認為成本會隨技術堆疊每一層的進步而下降。接著舉的極端例子是 Runway 參與的電影特效。
15. 25:22新創該往哪裡走主持人請 Clara 用創業者身分回答。Clara 列了基礎模型、特定領域、工具層與應用層，並建議新創跟資料圖譜對齊。

值得記的話5 句

• it's early, right? Probably the second or third inning還很早，大概在第二或第三局；指企業採用 AI 的進度11:14

• AI is a new UI, or maybe Slack is a new UI for AIAI 是新的介面，或者說 Slack 是 AI 的新介面14:35

• we leave it to the AI to figure out stochastically the how「怎麼做」我們就交給 AI 用機率的方式去摸索22:17

• you don't need complicated calculators to try to predict token usage不需要用複雜的計算器去預測 token 用量23:04

• it can't just be an added cost without a clear benefit不能只是多一筆成本，卻沒有明確的好處23:35

名詞與人物11 個

Clara Shih

本集來賓，Salesforce AI CEO，曾任 Salesforce service cloud CEO，也是 Hearsay Social 共同創辦人。

Hearsay

Clara 共同創辦的公司，用 NLP 從訊息中找潛在客戶並偵測合規問題。

service cloud

Salesforce 的客服產品線，Clara 近三年前加入，AI 實驗從這裡開始。

Einstein Copilot

橫跨各個 cloud 與 Slack 的自然語言介面。

Copilot Studio

包含 Prompt Builder、Action Builder、Einstein Studio 三個部分的平台。

Prompt Builder

讓客戶修改產品經理做好的 prompt 範本，調整品牌語氣、指定模型與資料來源。

Action Builder

把既有 workflow、整合與權限設定，一鍵指定成 copilot 可執行的動作。

Einstein Studio

讓客戶用 Salesforce 內或 data graph 索引的資料，訓練或 fine-tune 自己的模型。

data cloud

把客戶資料集中、供 AI 使用的產品，Clara 說是 Salesforce 史上自家開發的產品裡成長最快的。

generative canvas

一個原型：與 copilot 對話時，介面會即時跳出所需的元件與視覺化，Clara 說還不能正式推出。

Gucci

Clara 提到的客服案例，也是早期原型的合作客戶之一。

提到但沒有展開

• Salesforce 自己開發的大型語言模型，Clara 提到有不少已在 Hugging Face 開源；Hugging Face、Anthropic、Cohere 都是 Salesforce Ventures 的投資。
• 談 ROI 時提到前一天見 Runway ML 創辦人 Cristobal Valenzuela 聽到的例子：Runway 撐起《Everything Everywhere All at Once》的大量特效，影片剪輯團隊只要七個人，傳統上同類電影會有 700 人。

在 YouTube 看原片 ↗