Datadog

021 · Datadog 起家與 AI 的影響

44:19YouTube 上架 2023-06-15Olivier Pomel（Datadog CEO）

No Priors Ep. 21 | With Datadog Co-founder/CEO Olivier Pomel

Olivier 從開發與維運天天吵架講到 Datadog 的起點，再談生成式 AI 對觀測平台的影響、併購與資安的做法，以及為什麼舊的數值方法不會被取代。

021 講了什麼

• 起點是讓 Dev 和 Ops 站在同一邊Olivier 和共同創辦人在前一家公司一個帶開發、一個帶維運，明明是好朋友，兩個團隊還是整天互相指責。Datadog 一開始要解的不是監控，而是給兩邊一個共用的平台，用同樣的方式看事情。
• 留在紐約，反而逼出效率Olivier 說當年多數投資人，尤其灣區的，把留在紐約做基礎設施公司看成腦袋有問題。也因為怕募不到下一輪，公司從第一天就講求效率，幾乎一路都有獲利。紐約的工程師一待就是三到五年，灣區公司工程師每 18 個月就換一批並不少見。
• AI 讓價值往「看懂程式」移動Olivier 的推論是，假設一個人的生產力變成 10 倍，寫出的東西多 10 倍，對它的理解卻少 10 倍，價值就會從寫軟體轉到理解、保護、運行和修改軟體，而那正是 Datadog 在做的事。
• 舊方法留著，LLM 補上新的資料異常偵測這類數值判斷要非常準，Olivier 說錯 2% 就很痛，所以傳統方法不會消失；LLM 的新用處是把知識庫、email 這些以前用不上的資料拿來，替數字補上脈絡。
• 併購後三個月內要出貨Datadog 挑想留下來做事的創辦人，不挑累了想賣的；併購後三個月內要一起出貨，第一年把對方的產品重建到統一平台上。
• 資安靠鋪得夠廣，不靠高層銷售Olivier 認為資安市場不缺方案，缺的是成效。Datadog 的打法是靠開發者與維運工程師日常使用，把工具部署到每一層。

從哪一段開始看18 段

1. 00:00開場與個人背景介紹 Olivier 和 Datadog。Olivier 從法國的 demo scene 和電腦繪圖講到參與 VLC 早期開發，1999 年到美國，進過 IBM Research 與幾家新創。
2. 01:49Dev 與 Ops 吵架在一家做學校 SaaS 的教育軟體公司，Olivier 帶開發、共同創辦人帶維運，兩邊天天互相指責，Datadog 的起點就是讓兩邊在同一個平台上看見同一件事。
3. 02:54為什麼留在紐約喜歡紐約，也認識能請的工程師；募資時被當成怪事，卻逼出高效率的公司。紐約離灣區的同溫層遠，員工也待得更久。
4. 06:18名字與產品前一家公司把正式環境的伺服器叫 dog，最怕出事的那台資料庫叫 Datadog 17，後來去掉 17 當產品名。接著說明 Datadog 蒐集基礎設施、應用程式與使用者行為，賣給維運與開發團隊。
5. 08:38生成式 AI 的需求面工程師生產力變高，價值轉移到理解與維運軟體；訓練與執行模型也讓工作負載大增。
6. 10:55殺手級應用還沒定現在什麼都做成聊天機器人，兩年後未必如此。要用 AI，資料得先數位化，也得上雲。
7. 12:13新技術堆疊與開源過去每一波技術誰會贏都看得很清楚，這次看不出來。最意外的是開源模型進步的速度，客戶一邊用最強的 API，一邊評估哪些功能能改用自己訓練、自己託管的模型。
8. 14:49AI 要怎麼被觀測新堆疊裡的模型 API、向量資料庫、GPU 都要被觀測，方法仍是 metrics、traces、logs。MLOps 過去因用例太分散沒做起來，現在使用者變成幾乎每一位開發者。
9. 17:23統一平台與團隊分配約一半的團隊做平台。對外照客戶熟悉的分類賣，內部照市場走向設計，併購來的產品也要重建到同一個平台上。
10. 20:14怎麼做併購找想留下來的創辦人；併購後三個月內要出貨，讓對方盡快證明價值，也免得原有員工士氣受挫。
11. 23:55產品擴張的順序前六、七年都花在第一個產品；之後看到客戶在 Datadog 上自己拼出 APM，才決定自己做。有了兩個成功的產品，公司才有信心上市。
12. 26:15進資安資安的使用者與買家都換了一批。Olivier 認為現有方案賣得好卻沒讓人更安全，要靠大量開發者與維運工程師把工具鋪到每一層。
13. 28:47AI 機會與精準度Datadog 一直小心不過度宣傳 AI。異常偵測這類數值判斷，傳統方法比 LLM 準，也不會消失。
14. 31:08LLM 打開的新門知識庫與 email 這些資料現在用得上；只丟 stack trace 給 GPT 多半答錯，加上程式當下的狀態才答得準。
15. 33:31自動化能走多遠用自動駕駛比喻：Google 像在高速公路，多數公司像在羅馬市中心。LLM 已經「點火」，需不需要第二節火箭還不知道。
16. 36:35近期的生產力提升寫作與起草已經夠好；開發者上手新 API 變快；機器大量寄信之後，email 行銷這條路可能整個變樣。
17. 38:39經營方式與人才一直以獲利為前提經營，不因環境改變；在生成式 AI 上要團隊接受犯錯、更快迭代。找人看的是誰能讓問題消失。
18. 41:33從小團隊到大企業都賣使用者都是人，開源與雲端讓各種規模的公司用同一批元件。難處是對個人用戶與大客戶的說法容易互相外溢。

值得記的話5 句

• When you start your car, you don't want to play 20 Questions with it.你發動車子的時候，不會想跟它玩 20 個問題11:10

• We don't really care what gets shipped within three months, but we care that something gets shipped.我們不太在乎三個月內出貨的是什麼，但在乎有東西出貨22:18

• Everybody's buying security software, nobody is more secure as a result.大家都在買資安軟體，卻沒有人因此更安全27:15

• The magic is going to come from combining the language models with the other sources of data.神奇的地方會來自把語言模型跟其他資料來源結合起來33:16

• We've always run the business with the profitability in mind.我們一直是以獲利為前提在經營公司39:11

名詞與人物10 個

Olivier Pomel

Datadog 共同創辦人兼 CEO，本集來賓。

Datadog

雲端環境的觀測與資安平台，主要用戶是工程師。

observability

蒐集基礎設施、應用程式與使用者行為的資料來觀察系統；Olivier 認為它正把基礎設施監控、APM 與日誌管理併成一個大類。

Dev / Ops

開發與維運，Datadog 最初就是要讓兩邊在同一個平台上合作。

VLC

媒體播放器，Olivier 是最早的作者之一。

Datadog 17

前一家公司裡一台人人害怕出事的 Oracle 資料庫，Datadog 的名字由此而來。

Watchdog

Datadog 的智慧層，持續盯著每一個指標找統計偏差。

MLOps / LLM Ops

管理模型開發與上線的工具；Olivier 說過去用例太分散沒做起來，現在每個開發者都在用 LLM，機會變大。

stack trace

程式出錯時的呼叫紀錄；只拿它問 GPT 多半答錯，加上程式狀態才準。

platform

Datadog 的統一平台，內部約一半團隊負責，併購的公司也要重建到上面。

提到但沒有展開

• Olivier 引了網路上把 LLM 形容成「語言的計算機」的說法：可以把各處的 metadata、多個數值模型的輸出和內部 wiki 拼在一起，組出以前做不到的組合。
• 資安的比喻：現在的資安技術像好藥，但要每天注射到每一個器官才有效，沒有人做得到；Datadog 想做的是打點滴，一直開著。
• Olivier 擔心現在對 AI 的期待衝太高，之後可能有一段幻滅期，但仍相信做得到幾年前做不到的事。

在 YouTube 看原片 ↗