017 · 動手打造隨身 OpenClaw 終端機
物理博士用 OLED 與電子紙做出雙螢幕終端機,操控 OpenClaw 與開源模型,也做成文字 RPG 遊戲機。
原標題:OpenClaw in Your Hand: Building a Physical AI Terminal - Lech Kalinowski, Callstack
重點摘要
- 雙螢幕分工設計OLED 顯示即時輸入的動態畫面,電子紙負責定格後的最終畫面,兩種顯示器各司其職,讓裝置在省電與速度之間取得平衡。
- 從遙控器變成一套系統原本只想幫 DGX Spark 上的 OpenClaw 做一台遙控器,後來發展成內部 shell、agent 控制、RPG 模式等四大類的完整終端機系統。
- 後端接開源大模型終端本身只跑輕量韌體,實際運算丟給後端,講者示範接上一款號稱 1200 億參數的開源 GPT 模型,並包成 OpenAI 風格的介面方便串接。
- 硬體踩過不少雷軟體 I2C 沒接 pull-up 就不會動、GPIO 13 出現靜默失敗、穩壓器一度燒壞 OLED、便宜編碼器雜訊很多,都是動手做才學到的教訓。
- 意外做成文字 RPG 遊戲機因為自己沒玩過紙上角色扮演遊戲,講者用 LLM 生成 NPC、記憶與世界氛圍,一口氣做出四個風格不同的世界。
- 鎖定安靜、無干擾的利基裝置刻意不做語音或高解析度螢幕,主打不被打斷、能安靜使用的場景,這個方向也已經申請臨時專利。
時間軸
時碼點下去會跳到影片的那一段。
| 時碼 | 段落 | 重點 |
|---|---|---|
| 00:00 | 開場故事 | 講者在家裡地下室挖到一台老終端機,開機後居然能用自然語言對話,帶出這場要介紹的裝置。 |
| 01:57 | 講者自我介紹 | Lech Kalinowski 自我介紹是物理博士,說明今天要介紹自己過去幾個月做的裝置、後端與系統。 |
| 02:14 | 動機:幫 OpenClaw 做遙控器 | 整個計畫源自想幫自己在 DGX Spark 上跑的 OpenClaw 做一台實體遙控器。 |
| 02:50 | 螢幕選型 | 純電子紙太慢,講者改用一小片 OLED 搭配電子紙的雙螢幕方案,兼顧速度與省電。 |
| 04:52 | 拆成四大功能類別 | 把系統分成內部 shell、agent 控制、RPG 模式等四類,鎖定用小型微控制器就能跑的 AI 原生作業系統。 |
| 07:24 | 電源管理踩雷 | 因為燒壞過兩片螢幕,講者才意識到要花大力氣做穩壓與電源管理,硬體遠比想像複雜。 |
| 08:27 | 後端架構 | 終端機只跑輕量韌體,另外建了一套後端負責跟 OpenClaw、LLM 有關的所有 agentic 工作。 |
| 09:03 | 接上開源大模型示範 | 示範裝置連上一款開源、1200 億參數的 GPT 模型,並包裝成 OpenAI 風格的介面方便對接。 |
| 10:29 | 硬體踩雷筆記 | 軟體 I2C 沒接 pull-up 就失靈、GPIO 13 靜默失敗、穩壓器燒壞 OLED、便宜編碼器雜訊多,都是一路除錯學到的教訓。 |
| 12:07 | RPG 模式的由來 | 講者說自己沒玩過紙上角色扮演遊戲,於是動手做一套純文字、用 LLM 驅動的 RPG 體驗。 |
| 13:20 | 打造 NPC 與世界觀 | 用 LLM 生成 NPC、記憶機制與冷靜、緊張、詭譎等氣氛,一口氣做出賽博龐克、奇幻、深空等四個世界。 |
| 15:12 | 鎖定安靜無干擾的市場 | 講者觀察到多數同類裝置都在拚音訊或高解析度畫面,他反而主打安靜、不分心的使用情境,並申請了臨時專利。 |
| 16:29 | 專案數字整理 | 三個月內累積約 130 次程式碼提交,做出四種模式、四個世界、16 個 classes,整台裝置靠單顆鋰聚合物電池供電。 |
| 24:00 | 結論:其實是給 LLM 玩的 Game Boy | 講者總結,表面在做控制 agent 的遙控器,骨子裡其實是一台讓人跟 LLM 互動玩耍的 Game Boy。 |
值得記的話
名詞與人物
| OpenClaw | 講者用來操控自己 agent 的專案,這場的裝置就是替它做的實體遙控器 |
|---|---|
| DGX Spark | NVIDIA 出的小型 AI 運算主機,是裝置背後真正跑模型與 agent 的算力來源 |
| ESP32 | 裝置內部採用的雙核心微控制器(MCU),負責畫面渲染與電源管理 |
| 1200 億參數的開源 GPT 模型 | 講者現場示範時接的模型,他只說了參數量與「開源 GPT」,沒有點出正式名稱 |
| Callstack | 講者任職的公司,也是這個專案背後的技術孵化器支持方 |
| provisional patent(臨時專利) | 講者替這台裝置安靜、無干擾的使用情境申請的一種美國專利前置保護 |
延伸
- 開場提到那台在地下室挖到的老終端機,只當成引子,沒有再交代它的來歷。
- 講者提到未來可能把這個方向做成商業裝置,但沒有說明時程或商業模式。
- 對於「AI 原生作業系統」這個利基,講者只點出市場缺口,沒有舉出其他競品或案例。