人機互動與獎勵函數的設計難題

她在羅馬尼亞念數學奧林匹亞出身，Carnegie Mellon 是唯一錄取她的學校；2014 年在 Berkeley 搭 Google 自駕車，看它一個接一個做對決定，讓她大受震撼。Spot Mini 讓人覺得「活了過來」則是 Lex 自己的經驗。

她最愛的虛構機器人是 WALL-E，先生後來自己做了一台會動的 WALL-E（七個自由度）向她求婚，肚子打開，裡面是一個樂高做的盒子。

機器人光靠動作就能傳達內在狀態；她也提到有報導說小孩會對 Alexa 沒禮貌，因為 Alexa 從不會生氣。

她研究的人機互動不談外觀或聊天，而是機器人不再獨自行動，必須滿足使用者的偏好，不是工程師寫定的目標。

逆強化學習從人的行為反推獎勵函數，最早假設人完全理性，後來加入 Boltzmann 理性容許選擇帶一點雜訊。

操作月球著陸器這類遊戲或機械手臂等複雜任務時，人的雜訊大到模型抓不住；行為經濟學也指出人本來就會用捷思、不理性。

機器人不必只被動觀察，可以主動出手蒐集資訊，例如換車道時先靠近一點，看旁邊駕駛會不會減速，藉此判斷對方是保守還是積極。

與其說人不理性，不如假設人在自己的信念下是理性的：對物理的直覺、規劃的視野、甚至還在摸索自己想要什麼。她用直覺物理模型修正月球著陸器的操作，受試者成功降落在兩面旗子之間，她說這不是定論，只是證據。

她的研究刻意跨領域但聚焦演算法基礎，不管是自駕車、四旋翼還是機械手臂，背後想解決的是同一套人機互動原理。

人類同樣會對機器人的意圖形成信念，她的團隊用貝氏更新描述這個過程，讓機器人能選擇讓自己的行為更容易被理解、不那麼令人困惑。

Lex 擔心機器人正在成為人類歷史上一再出現的「被排斥的他者」；她認為人會回應自信，也會回應脆弱，就算知道情緒是假的，人還是忍不住擬人化。

自駕車要把乘客送到目的地，旁邊的人類駕駛也有自己的目標，兩邊部分重疊（都不想撞車）但不完全一樣，協調的過程其實是在找一種賽局均衡。

她提出機器人學的「欠驅動」概念來比喻人：你無法直接控制對方，只能影響對方的決定。Lex 接著分享自己觀察行人過馬路的心得，以及一位跑者給他的建議：跑步時不跟人對眼，大家反而會讓路。

Lex 提到 Jim Keller 認為開車本質上是彈道學問題，可以忽略人的因素；Lex 自己則猜測人的因素會讓難度高出一個數量級以上，並問她怎麼看。

她的思想實驗：把舊金山市中心的人、車、腳踏車全部拿掉，開車問題基本上已經解決；感知也大致到位，市區車速慢不算危險，危險的是高速公路上人類看得很清楚、系統卻可能漏看的邊緣情況。她說不用光達「有點不負責任」，但也說那是個人意見，純視覺她了解得不夠。

她認為學習免不了，但規劃、搜尋、最佳化是很有用的工具；純模仿學習遇到分布外情境會失靈，強化學習又得靠模擬，而模擬終究要靠某種人類行為模型撐起來。

Lex 問常識推理、對死亡的恐懼是不是也得明確寫進模型；她認為理性框架本身已經隱含自我保存，因為死掉就沒辦法再去追求任何目標。

Lex 問 Autopilot、Super Cruise 這類半自動系統；她擔心其中部分系統暗自假設「監督」跟「駕駛」一樣安全；Lex 拿自己蒐集的大量駕駛數據反駁，說監督者的人反而更專注，她同意這確實可能，但仍主張系統設計要讓人真正保持投入。

就算拿掉互動的部分，獎勵還是很難寫對：她以機械手臂的運動規劃為例，自己調成本函數調了十年，還是很難想到每一種情境。兩人談到 Goodhart's law：指標一旦變成目標，就不再是好指標。

工程師給的獎勵函數不該被當成法律條文，而是某個情境下「他想要什麼」的證據，機器人該推論設計者真正的用意。

被人推開、被按下緊急停止鈕，都是機器人可以學習的訊號；就連家裡鞋子被擺整齊，也透露了使用者在意什麼。

她認為與其固定三大法則，不如讓機器人持續調整對獎勵函數的理解，把設計者給的目標當成證據，而不是絕對答案。

她高三在羅馬尼亞拿到一份《Artificial Intelligence: A Modern Approach》的 PDF，當時對 AI 一無所知；吸引她的是：給一個目標，機器就能自己在複雜的情境裡想出一連串決策。

如果只剩五年可活，她說大概不會改變什麼，頂多多去幾趟加勒比海，還是做讓自己快樂的事，包含研究本身。

一位高中物理老師免費幫她補習、鼓勵她申請國外大學，改變了她後來的路。

一次天文館經驗讓她感受到人類在宇宙尺度下微不足道，於是決定把心力放在自己能真正影響到的朋友、家人與在地社群。