Spotify 把推薦做成語言模型

概要

• 談的是模型端的 contextShivam 說這場不是一般 agent 意義的 context engineering，而是推薦模型這一側怎麼處理 context，並把個人化拆成三塊：使用者建模、內容理解，以及把兩者合起來、可以調整的系統。
• 從多段式管線走向單一模型傳統推薦系統是候選生成加排序的多步驟管線，每個產品各有一組團隊和模型。Spotify 正在往單一、以 LLM 為骨幹的統一模型移動。
• 使用者互動當作 promptuser embedding 從 autoencoder 改成 transformer 序列模型，使用者的互動紀錄放進 prompt 當 context。使用者、曲目、集數被放進同一個 embedding 空間。
• 用 semantic IDs 教 LLM 認內容把代表曲目或集數的向量壓成幾個 token，再拿這些 token 持續訓練開源 LLM，讓它自回歸地產生下一首歌或下一集。
• soft token 帶進個人化把使用者向量投影到 LLM 的空間，變成一個代表使用者的 soft token 插進 prompt。Shivam 說 podcast 的下一集推薦已經這樣上線。

原話

• “It's going to be more about how we do context engineering on the modeling side.”

  這場更多是在談建模這一側怎麼做 context engineering

  ▶ 00:39

• “we want to expose what we know about you. And then we want to let you choose which part of that you want us to keep, which part of that you want us to forget”

  我們想把對你的了解攤開，讓你選要我們留哪些、忘掉哪些

  ▶ 05:13

• “I guess when we talk about context engineering, this is the context that we're talking about.”

  談 context engineering 時，這裡說的 context 就是使用者的互動紀錄

  ▶ 09:12

• “what we do is we tokenize it, similar to how LLMs, like kind of we tokenize words.”

  我們把內容向量 tokenize，就像 LLM 把文字 tokenize

  ▶ 13:23

• “You cannot train them on every 750 million plus users that we have.”

  沒辦法針對 750 million 以上的每位使用者各訓練一個

  ▶ 17:28

延伸

• Shivam 是 Spotify AI Foundation 組織裡 user representations 團隊的 tech lead，之前在 Twitter 當機器學習工程師。這個組織做全公司推薦用的基礎模型，包括使用者與內容的表示，也對 open-weight LLM 做 CPT、SFT。
• Shivam 說 semantic IDs 是 Google 幾年前在 YouTube 的情境下提出的概念。
• Taste Profile 目前只在少數市場提供，Shivam 說今年稍晚會擴大。