新智元報道
編輯：編輯部 HYZ
【新智元導讀】就在剛剛，噩耗傳來：年僅41歲的谷歌DeepMind天才科學家Felix Hill英年早逝。他的一篇博客揭露了AI研究者面臨的巨大壓力：幾大公司的競爭，研究方向的迷失，讓他即使積累了大量財富，內心也依然痛苦。AI研究者們悲痛表示，這個消息令人心碎。
就在剛剛，一個令人悲傷的消息傳來。
谷歌DeepMind研究科學家Felix Hill，于2024年12月5日英年早逝，年僅41歲。
自2023年初以來，他一直在與嚴重的精神疾病作斗爭。期間，他表現(xiàn)出了重度抑郁和嚴重的自殺傾向，終于還是沒有扛過去。
Felix是一位學術成果頗豐的AI學者，谷歌總引用量為19680，參與創(chuàng)建了自然語言理解基準GLUE和SuperGLUE。
Felix Hill本科在牛津大學學習數(shù)學，隨后在劍橋大學拿到了語言學碩士學位，和計算語言學博士學位。
畢業(yè)后，他曾有8個月在高中擔任數(shù)學老師，隨后進入谷歌DeepMind，當了將近8年的AI研究者。
消息傳來，他的AI圈好友無不表示悲痛和難過。
1月11日，F(xiàn)elix的葬禮將于倫敦北部舉行，屆時將進行現(xiàn)場直播。
許多認識他的人悲痛地留言說：Felix是一個很特別的人，超前于這個時代。
左右滑動查看
最令人心碎的博客
是什么樣的原因，讓這樣一位成果豐碩的AI學者的生命逝去？
他生前的一篇博客，揭露了許多細節(jié)。
他詳細描述了2023年母親離世后，正在精神病院接受治療的自己癥狀更嚴重了。接下來的12個月內，他更是陷入極度焦慮和自殺的抑郁狀態(tài)。
他也寫道，自己當初投身AI研究并不是為了賺錢，但AI大爆發(fā)后，自己仿佛被迫進入「戰(zhàn)爭」狀態(tài)，寫論文、搞研究、創(chuàng)業(yè)，都令人壓力重重，找不到出路。
即使積累了大量財富，自己也依然出了問題。
文章地址：https://medium.com/@felixhill/200bn-weights-of-responsibility-da85a44a2c5e
英偉達高級研究者Jim Fan讀完悲痛地表示：這是我讀過最令人心碎的博客，因為它如此真實，如此貼近內心。
Jim Fan表示，AI不應該是200B權重的壓力和痛苦。
曾經(jīng)，這是一個充滿咖啡因帶來的靈光乍現(xiàn)的地方，是令人興奮的深夜arxiv探索之旅，是能讓研究者臉上露出笑容的絕妙想法。但所有涌入的資本和關注，似乎正在迫使每個人競相逐底。
黃仁勛經(jīng)常對員工們強調，不要用「打敗這個，碾壓那個」的措辭。因為大家的目的是為了提升整個生態(tài)，而不是讓任何人陷入深淵。AI學者的工作是做大蛋糕，越大越好，然后再分配。
AI不是零和博弈，事實上，它可能是人類有史以來擁有的最正和的博弈。大家應該做的，是向競爭對手傳遞愛意。
Jim Fan寫道，雖然并未有幸在現(xiàn)實生活中認識Felix，但自己很喜歡他的研究品味，為他的每一篇新論文都設置了Google Scholar提醒。他在AI智能體和VLM方面的工作也對自己影響很深。
「他本應該成為一個很好的朋友。我想認識他，但現(xiàn)在已經(jīng)不可能了?！?/p>
「安息吧，F(xiàn)elix。愿來世你不需要去戰(zhàn)斗?！?/p>
2000億權重的責任：現(xiàn)代AI工作中的壓力
下面這篇博客中，F(xiàn)elix詳細回顧了AI爆火的幾年，給自己的生活帶來的劇變——
過去兩年，AI領域發(fā)生了不可逆轉的變化。
ChatGPT的月活數(shù)接近2億人。Gemini在2024年5月的訪問量接近3.2億次，AI愛好者現(xiàn)在可以使用AI微波爐、AI牙刷，甚至AI足球。
然而，對于我們這些在AI領域工作的人來說，這種大眾興趣的激增既是福也是禍。
誠然，薪資水平上漲了，股價和市值也隨之提高。但另一方面，這種變化也帶來了獨特的壓力。
這篇博客講述的是現(xiàn)代AI領域的壓力。它面向所有在AI領域工作的人（按保守估計，現(xiàn)在全球人口中大約有87%的人在從事AI相關工作），特別是那些從事AI研究的人。
最終，我希望通過討論AI研究中的壓力源，讓我們這些有幸在該領域工作的人生活得更快樂一些。
因為，盡管目前一片混亂，這仍然是一個美妙而充實的職業(yè)——它有潛力解決科學、哲學乃至人類本身的諸多重大問題。
無處可逃
幾個月前，我參加了一個朋友的40歲生日派對。在那些我不太熟悉的人中，我注意到一個奇怪的現(xiàn)象。
盡管我那時身體不適，而且明顯不太想講話，但我周圍還是形成了一個包圍圈，原因僅僅是，大家知道我在DeepMind上班。
而且，他們想聊的不是足球或80年代音樂，恰恰是我最想避免思考的主題——AI。
雖然很感激這么多人對我的工作感興趣，但這也提醒我過去兩年發(fā)生了多大的變化。
銀行家、律師、醫(yī)生和管理顧問都想聽聽我對ChatGPT的看法；雖然很少有人聲稱在工作中直接使用了LLM，但他們確信，AI領域正在發(fā)生一些他們應該了解的事情。
作為一名研究人員，我相信你也能體會到這種在社交場合無法放松的感覺。
但情況更糟。就連在自己家里，我也找不到安寧。
我早已不再看新聞，因為害怕引發(fā)焦慮。但即使是在看足球、VH1、蒙塔爾巴諾探長，或者那部出色的《那不勒斯四部曲》改編劇時，廣告中也充斥著與AI相關的內容。
在這段時間，我時常幻想著收拾行李，跨越大洲去加入一個隱居群體。但很可能連內觀禪修（Vipassana）也被AI滲透了，這不會讓我驚訝。
無形的競爭
幾家大公司競相開發(fā)最大、最好的LLM，這一事實本身就令人壓力重重——無論你為哪家公司工作。
現(xiàn)在從事AI研究，感覺就像參與一場戰(zhàn)爭。希特勒和達奇·舒爾茨的例子告訴我們，參戰(zhàn)可能導致精神病態(tài)、離婚和自殺等嚴重后果。
當然，我并不是要把參與AI研究等同于參與真實戰(zhàn)爭，但我的親身經(jīng)歷卻表明，這種類比是很真實的。
關乎底線的工作
通常，業(yè)界的研究人員并不習慣于自己的工作對雇主的底線產(chǎn)生直接且即時的影響。
當然，許多研究人員都夢想能夠產(chǎn)生這樣的影響。只是以前，這種機會可能是十年難遇。
如今，對LLM基礎研究的結果，往往只會對模型性能產(chǎn)生微小、短期的波動。然而，由于公司估值與LLM性能（難以分割地？）掛鉤，這些波動可能導致股價出現(xiàn)數(shù)十億美元的起伏。
這種動態(tài)令人倍感壓力，而且這也不是AI研究人員在研究生階段、博士后期間，甚至在2022年之前的工作中所能預料到的。
錢，
錢，還是錢
大多數(shù)AI研究人員，尤其是我們這些超過某個年齡的人，當初投身研究并不是為了賺錢。
做自己熱愛的工作還能獲得豐厚報酬聽起來是個完美方案，但這也可能引發(fā)強烈的焦慮。特別是當推動你收入增長的外部因素不在你的控制范圍內，且/或者這些因素讓你對工作的熱愛程度大不如前時。
無論AI是否與此有關，突然積累財富可能會導致各種問題，看看那些經(jīng)過多年努力終于成名的演員或歌手就知道了。成癮、感情破裂、友誼破碎，甚至自殺只是一些較為常見的癥狀。
這些癥狀，我確實都感同身受。
科學家角色缺失
LLM的規(guī)模、簡單性和有效性使得做出「相關」的「科學研究」變得困難，這里的相關指的是能立即改進LLM。
領先的LLM研究人員已經(jīng)開始認同Rich Sutton的「苦澀教訓」：除了規(guī)模之外，幾乎不需要任何創(chuàng)新。
而且，即使理論上可能存在實質性創(chuàng)新，實現(xiàn)它往往需要在不同條件下反復訓練最大規(guī)模的LLM。這甚至連最大的公司都負擔不起。
對于一個「普通」的研究科學家來說，這感覺簡直令人絕望。
對于習慣于在5至10人的小團隊中工作的工業(yè)界科學家來說，這些已經(jīng)很艱難。但學術界的人所遭遇的無疑更加嚴峻，比如那些博士生、博士后和AI/CS/機器學習領域的教職人員。
發(fā)表論文
雖然學術界的人可以（也應該）繼續(xù)發(fā)表從LLM實驗中獲得的見解，但對于工業(yè)界的科學家來說，發(fā)表論文的問題就沒那么明確了。
發(fā)表論文一直是科學過程的內在組成部分，也一直是AI研究的核心原則。我接觸過的大多數(shù)AI研究人員，特別是研究科學家，都同意我的觀點：發(fā)表論文是我們職業(yè)生涯的關鍵。
但是，至少在工業(yè)界，過去2年來，研究成果是否能夠發(fā)表的問題變得越來越不明確。能夠改進LLM的小技巧可能等同于LLM之戰(zhàn)中的關鍵武器。將這些秘密公開是否對資助研究的組織有利，這始終是一個需要深思熟慮的問題。
這一切都意味著，研究人員經(jīng)常對自己想法的前途毫無把握，至少，這會對我造成巨大的壓力。
創(chuàng)業(yè)公司
當然，擺脫這些困擾的一個可行出路，就是規(guī)劃科研方向，籌集資金并成立創(chuàng)業(yè)公司。事實上，目前AI創(chuàng)業(yè)公司（無論大小）的激增表明有多少科學家選擇了這條路。
但成為創(chuàng)始人并不能必然地規(guī)避相關壓力。
眾所周知，創(chuàng)業(yè)的壓力也很大；即使在當前投資者熱情高漲的情況下，許多資金充足的AI創(chuàng)業(yè)公司仍然失敗了。
我知道，成為創(chuàng)始人是一段特別孤獨的旅程。這無疑是當下雄心勃勃的科學家們的一個可行選擇，但這既不會讓做研究變得容易，也不會減輕壓力。
為什么要寫關于壓力的博客
過去兩年在AI領域可謂混亂而瘋狂，而對我個人而言，這更是一段特別動蕩的時期。
2023年4月，我的母親在與阿爾茨海默癥長期抗爭后離世。那時的我正在精神病院接受治療，因為出現(xiàn)了嚴重的精神癥狀，其中壓力很可能是重要誘因。
在接下來的12個月里，表面上我是在康復中，但實際上卻陷入了極度焦慮和自殺傾向的抑郁狀態(tài)。
所幸在這期間，我遇到了非常理解我的處境（以及認可我對公司的價值）的雇主，他們一直為我提供治療和精神上的支持。
經(jīng)過另外6個月的重度抑郁之后，我的狀況開始好轉，最近也感覺自己有能力寫下這些經(jīng)歷。
我深刻地認識到壓力和焦慮是密不可分的；事實上，它們本質上可能是同一件事。誠然，像任何適應性特征一樣，焦慮有時也能帶來積極影響（比如提高生產(chǎn)力），但一旦焦慮變得失控，后果可能相當嚴重。
正是在嘗試重新學習如何成為一名AI研究員的過程中，回顧AI領域這兩年的發(fā)展，讓我獲得了這篇博客中所分享的見解。
誠然，僅僅分享這些見解并不能從根本上解決問題，但在最艱難的時期，能給我?guī)硐Ｍ纳贁?shù)事情之一就是意識到我并不是一個人在戰(zhàn)斗。
如果你現(xiàn)在也在經(jīng)歷類似的困擾，請記住——你并不孤單。
社交焦慮
我已經(jīng)討論了當前從事AI研究的人可能遭受的諸多壓力或焦慮的誘因。
然而，還有一種壓力我尚未提及，這是因為我很幸運從未親身經(jīng)歷過。我對它的了解，完全來自于與朋友和同事的深入交談。
這種壓力就是社交焦慮。
據(jù)朋友們反映，那些有社交焦慮的人往往會覺得群體互動充滿挑戰(zhàn)。在現(xiàn)代AI領域，這是一個格外嚴峻的挑戰(zhàn)，因為大型項目團隊和大規(guī)模的（通常是跨洲際的）協(xié)作已成為必需。
目前行業(yè)中的高流動率更是雪上加霜，因為已建立的團隊（通常作為社交「安全網(wǎng)」）可能在一夜之間解散瓦解。
人員流動還可能引發(fā)信任危機，因為曾經(jīng)可靠的伙伴可能會轉投競爭對手的研究團隊。
值得欣慰的是，社交焦慮和我此前討論過的所有焦慮或壓力表現(xiàn)一樣，都是可以克服的。克服的第一步是培養(yǎng)以家人和「非AI圈」朋友為主的自然支持系統(tǒng)。
而關鍵的第二步，則是我們所有從事AI工作的人，都要開始并持續(xù)保持關于壓力的坦誠對話。
因此，誠摯邀請你在社交媒體上分享自己的經(jīng)歷和感受。讓我們攜手努力，不僅將AI研究打造成一個充滿活力和智力挑戰(zhàn)的領域，更要使其成為一個充滿同理心和善意的溫暖家園。
AI大佬發(fā)長文緬懷
Contextual AI首席執(zhí)行官Douwe Kiela發(fā)文表示，我真的很難過，我親愛的朋友Felix Hill離開了我們。他在世界各地有很多朋友和同事。為了讓更多人知道，他的家人希望我們分享這個網(wǎng)頁，一起紀念他的一生：
EPFL教授，前DeepMind研究科學家Caglar Gulcehre表示，聽到Felix離開我們的消息，真是令人心碎！
他回憶道，「我第一次見到Felix是在蒙特利爾讀博二的時候。那時候，我正經(jīng)歷抑郁癥，頭兩年的生活很難熬。我搬到一個新國家，再加上冰天雪地的天氣，讓我感到特別不適應。
Felix總是充滿活力，樂觀開朗。但有時候，你很難知道別人生活中正在經(jīng)歷什么。所以，對他人多一份理解，不要輕易下結論很重要?；蛟S他們可能正經(jīng)歷著不為人知的困境?？上У氖?，很多人仍然低估了心理健康的重要性。
尋求幫助并不是軟弱的表現(xiàn)。剛到DeepMind工作的頭兩年，我的父親突發(fā)心臟病，后來還失明了；我的姐姐也被診斷出癌癥。那時候，我又搬到了另一個國家。如果不是尋求了專業(yè)幫助，我不知道自己該如何應對這一切。
無論何時需要幫助，都要勇敢去尋求。我很感激身邊有許多支持我的人，在困難時期給予了我很大的幫助。如果心理狀態(tài)不佳，很難在工作上取得成功。向Felix家人致以深切的慰問」。
DeepMind研究科學家Andrew Lampinen發(fā)文懷念其這位曾經(jīng)指導過自己的導師——
Felix Hill是一位非常出色的導師——偶爾也是我的冬泳伙伴。我能加入DeepMind，以及形成如今做研究的方式，很大程度上都要歸功于他。都過去一個月了，我還是覺得難以相信他已經(jīng)離開了。
Felix在選擇研究方向上有著超強的眼光，而且直覺特別準。每當遇到新想法，他總會表現(xiàn)出孩子般的熱情和好奇心，還特別幽默，能夠與他一起工作真的讓人備受啟發(fā)。
他也特別看重跟他共事的每個人。在我剛到DeepMind的時候，他和Jane Wang一起把一群超棒的人聚在了一起，比如Stephanie Chan、Aaditya Singh、Allison Tam，還有其他很多朋友和合作伙伴。
不過他也經(jīng)歷過一段艱難時期，尤其是最近這幾年。我最后一次和他聊天是在他離世前大概一個月，那時他跟我分享了一個雄心勃勃又有點瘋狂的項目想法，讓我仿佛看到了他當年的影子。但那會兒我太忙了，一直沒有再跟進，直到現(xiàn)在為時已晚，至今這件事讓我特別后悔。
紐約大學計算機科學和數(shù)據(jù)科學教授Kyunghyun Cho更是寫了一篇長文緬懷逝者——「再見了，F(xiàn)elix」。
文章地址：https://kyunghyuncho.me/bye-felix/
這段文字寫于2024年12月9日，但當時我既不愿意也無法接受所發(fā)生的事實，所以一直沒有勇氣發(fā)布。即便到現(xiàn)在，每當想起這件事，我的心仍然隱隱作痛。我選擇在2024年的最后一天發(fā)布這段文字，以此緬懷Felix。
時間回溯到2014年初夏。我當時在蒙特利爾大學擔任Yoshua Bengio教授的博士后研究員，而Felix是一位剛剛抵達蒙特利爾的訪問學生。
那時，我正在致力于開發(fā)一個能夠處理長句子的神經(jīng)機器翻譯系統(tǒng)（Neural Machine Translation，NMT），為此我嘗試了所有能想到的方法（注意力機制當時并不在其中，直到同年夏天Dima Bahdanau作為實習生來到蒙特利爾才有了突破）。
在這些探索性嘗試中，我構思了使用門控卷積編碼器（Gated Convolutional Encoder）來替代基于循環(huán)神經(jīng)網(wǎng)絡（RNN）的編碼器。通過對門控機制施加適當?shù)募s束，我成功訓練出了這個模型，并使其具備了一定的可解釋性。
當Felix來到我的辦公桌前，以語言學家和計算機科學家的身份做自我介紹時，我很興奮地想要向他展示這個新模型所揭示的可解釋結構。
于是我向他展示了：
Felix以極其篤定的語氣對我說，「Kyunghyun，語法并不重要」。這大概是我聽過非韓國人中最標準的名字發(fā)音。
那一刻我就預感到，F(xiàn)elix一定會成為我最好的朋友之一——事實證明，從那時起直到現(xiàn)在確實如此）。而他說的這句話，也在往后幾年里頻頻出現(xiàn)在我的學術演講slides中。
在我們共度的那些愉快時光中，除了進行深入?yún)s不失趣味的哲學探討，我們也開展了一些研究合作。
除了共同發(fā)現(xiàn)的諸多有趣成果外，我們最具標志性的「貢獻」反而是一個相當特別的現(xiàn)象：從2016年開始，我們無意中引領了一股持續(xù)3-5年的潮流，就是人人都仿佛著了魔似的要在論文中塞入一個裝滿海量數(shù)字的「超級大表格」（The Really Enormous Table）。
當時我們在寫「Learning distributed representations of sentences from unlabelled data」這篇論文時，完全沒想那么多，但最終還是放入了兩個巨大的數(shù)據(jù)表格：
2018年初，F(xiàn)elix在ICLR的論文集中發(fā)現(xiàn)了好幾篇包含「超級大表格」的論文，這讓我們不禁啞然失笑。
即使在嚴謹?shù)膶W術研究中，我們依然保持著這種愉快的合作方式。
時光飛逝，將近十年后，F(xiàn)elix作為2023年拉美人工智能會議Khipu的組織者之一，邀請我擔任演講嘉賓。他興致勃勃地向我描繪我們將要進行的活動：觀看足球比賽，游覽布宜諾斯艾利斯等等。
然而，當我在2023年3月抵達蒙得維的亞參加Khipu時，卻發(fā)現(xiàn)Felix并未到場。其他組織者告訴我，他因為健康問題無法前來。那時的我還不曾想到，這竟是我最后一次有機會與他相見。
Felix在2023年第二屆Khipu上未領取的參會證件
2024年6月，經(jīng)過漫長歲月，我終于有機會造訪倫敦，便給Felix發(fā)消息約他共進午餐。盡管我清楚見面的可能性渺茫，但我真的非常期待能與他相聚、暢談，一起消磨時光。
我們上次見面還是在疫情之前，之后就只能靠偶爾的遠程視頻聯(lián)系。我也暗自期待能看到他康復的喜人變化。
幾個月后（2024年8月），F(xiàn)elix回復了消息，并為遲復致歉，這實在讓人心疼。他還附上了一張我們的合影（不是AI生成的，但是Felix「生成」的），喚起了我們上次在倫敦相聚的美好回憶。
左圖：這是一張由Felix本人「生成」的與我的合影；右圖：這是一張真實拍攝的Felix與我的合影
上周五，我收到了Douwe發(fā)來的WhatsApp消息。正是由于Felix在2014年的引薦，我才認識了Douwe，并與他建立了深厚的友誼。我立即嘗試聯(lián)系Felix，但不管是WhatsApp還是手機，都已經(jīng)無法接通。
Felix，愿你現(xiàn)在已不再痛苦，在天國與母親團聚。
