Cognition

062 · 競賽程式員做 AI 軟體工程師

29:28YouTube 上架 2024-05-02Scott Wu（Cognition CEO）

No Priors Ep. 62 | With Cognition CEO and Co-Founder Scott Wu

Scott Wu 從程式競賽的訓練談到 Cognition 與 Devin：它能做什麼、做不了什麼，以及軟體工程師的工作五到十年後會變成什麼樣子。

062 講了什麼

• 競賽和創業有相通處Scott 說好的競賽題常在問哪些理所當然的假設其實不成立；好的新創也是找出世界還不相信、但其實是真的事。創始團隊不少人是競賽圈的朋友。
• Devin 是自己做決定的軟體工程師除了寫程式，Devin 也會用命令列、瀏覽器、讀文件、部署、測試與除錯，給一個簡單的提示就能從頭做到尾，使用者可以在旁邊看、隨時給回饋。
• 工程師會變多，不是變少Scott 給兩個理由：工程的需求大得很，而且 Devin 不負責決定要做什麼。現在工程師大概 20% 的時間在想問題、80% 在寫成程式碼，之後可以全部拿來解題，做到 5x 的量。
• 強項是 devops 與資料分析，弱項是決定做什麼團隊自己架資料庫和 Kubernetes 卡了一個小時左右，丟給 Devin 就架好了；但沒辦法叫它「幫我做一門好生意」，要先給精確的描述。
• 難處在讓 Devin 像人一樣除錯Scott 說不能多談內部細節，只說關鍵是讓 Devin 跑程式、重現 bug、加 print、看 log 來解題，而不是一次猜出整份修改，團隊最多力氣花在規劃與評估。
• 工程師往架構師加產品經理靠攏Scott 認為五到十年後的軟體工程師像兩者的混合，TCP、邏輯閘、演算法這些基礎仍然有用。

從哪一段開始看15 段

1. 00:05開場與入門主持人介紹 Scott 和 Cognition 剛發表、在 SWE-bench 拿到領先成績的 Devin demo。Scott 從小喜歡數學，大約 9 歲由哥哥帶進程式，高中畢業時已經打定主意走科技。
2. 01:09IOI 與怎麼練IOI 是程式競賽的奧林匹亞。Scott 說練習靠的是肯下功夫、分析式思考、直視自己的弱點；基本演算法要會，但每一題都是沒出現過的新題。
3. 03:47線上社群Scott 在路易斯安那州的 Baton Rouge 長大，身邊沒什麼同好，競賽是第一次遇到同類；一年大部分時間都在線上聊題目，後來成了很親近的朋友。
4. 05:39競賽與創業相通處在於找出被當成理所當然的假設、獨立思考、從第一原理出發。Scott 說好的新創就是找到世界還不相信但其實是真的事。
5. 06:57Cognition 的團隊公司大約 11 月開始，創始團隊多半是競賽圈的朋友，之後各自在 AI 公司待過五到十年。Scott 認為過去 20 或 30 年世界的進步大多來自軟體，而每個地方都需要更多軟體工程。
6. 08:17Devin 做什麼Devin 能像人類工程師一樣自己做決定，從命令列、瀏覽器、讀文件到部署與除錯都自己來；使用者像站在另一位工程師背後一樣看它做事、給回饋。
7. 09:18外界反應與工程師的未來觀看數比預期多，有人說不可能、有人怕丟工作。Scott 認為工程師只會變多。主持人補充 AI 會釋放過去負擔不起的需求，Scott 附和說知識工作到處都是這樣。
8. 12:08介面的由來主持人說很多 agent 像熱心的實習生，問 Devin 四個分頁的介面從哪來。Scott 說團隊自己一直在用 Devin：agent 跑完才回來等於只有一次機會，帶實習生則是一天看四五次、每次給 30 秒的回饋。
9. 14:27強項與弱項強項是百科全書式的知識、devops 與開發環境設定、資料分析；弱項是決定要做什麼，得靠人給出精確的描述。
10. 16:47怎麼運作Scott 說不能談太多細節，拿 GitHub issue 舉例：理論上完美的智慧能直接寫出修改，實際上人和 AI 都要先跑程式、重現 bug、加除錯訊息。
11. 18:36一到十年後五到十年後所謂的軟體會大改，Scott 把 Devin 看成下一代的人機介面。全世界有 30 million 位軟體工程師，只占人口的 0.4%；一到兩年內，擅長用 AI 的工程師就能放大自己的產出。
12. 21:10agent 往哪裡進步主持人問是基礎模型、推理還是記憶。Scott 說以上皆是：推論加速、更好的推理、規劃、工具使用都會進步，彼此之間有點像在賽跑。
13. 22:31工程師還需要什麼「英文是最熱門的新程式語言」有幾分道理，但 Scott 認為 TCP、邏輯閘、演算法這些基礎仍有用，未來的工程師像技術架構師加產品經理。
14. 24:04二十年後該學什麼主持人問如果連規劃都交給機器，孩子還該不該學資訊科學。Scott 說基礎會用很久；超級智慧與奇點很難預測，AI 對工作與生活的實際影響會更早到，現在還很早期。
15. 26:43團隊文化這五六個月一直在想問題有多大。Scott 說幾乎全隊不是創業過，就是原本打算自己創業；要的是高度負責、重結果不重政治，目前多半從熟人網絡找人。

值得記的話5 句

• finding something that the world doesn't believe is true yet but actually is打造好新創，很大一部分是找到世界還不相信、但其實是真的事06:11

• most of the progress in the world in the last 20 or 30 years has come from software過去 20 或 30 年，世界上大部分的進步都來自軟體07:46

• if anything there's going to be more Engineers not less真要說的話，工程師只會變多，不會變少09:48

• there's a meme that you know the hottest new programming language is English有個流傳的說法：最熱門的新程式語言是英文。Scott 接著說這有不少道理22:46

• a mix between a technical architect and a product manager五到十年後的軟體工程師，像是今天的技術架構師加產品經理23:48

名詞與人物8 個

Scott Wu

Cognition 共同創辦人兼 CEO，從小打數學與程式競賽。

Cognition

Scott 的公司，主持人介紹時說他們自稱是專注在推理的 AI lab。

Devin

Cognition 的 AI 軟體工程師，能處理整個任務並自己做決定。

SWE-bench

用真實 GitHub issue 組成的軟體工程 benchmark，Devin 在上面拿到領先成績。

IOI

International Olympiad in Informatics，程式競賽的奧林匹亞，各國派出最強的選手。

Lunch Club

Scott 先前創辦、經營了約五年的機器學習公司。

devops

環境與部署設定，Scott 說這件事對人類其實很難，是 Devin 很擅長的地方。

GitHub issue

Scott 說明 Devin 解題方式的例子：靠跑程式、重現 bug 來修，而不是直接猜出修改。

提到但沒有展開

• 主持人提到 Scott 中學就認識 Alexandr Wang；Scott 說那個競賽圈很緊密，很多人後來創業，不少人進了 AI。
• 兩位共同創辦人的來歷：Walden 早期做了很多 Cursor 的東西，Stephen 是 Scale AI 最早的工程師之一。

在 YouTube 看原片 ↗