今年一月，英裔美籍計算機(jī)科學(xué)家Stuart Russell起草了一份公開信，他也是這份公開信首位簽署人，在這份公開信中，Stuart Russell呼吁研究人員，雖然當(dāng)前大家的目標(biāo)是希望人工智能變得強(qiáng)大，但千萬不要鼠目寸光，局限在這個目標(biāo)上面。在這份公開信中寫道，“我們提醒研究人員注意，隨著人工智能系統(tǒng)的能力越來越強(qiáng)大，我們希望這個系統(tǒng)更加穩(wěn)定，同時也要對人類有益。我們的人工智能系統(tǒng)，必須要做人類要求它們做的東西。”目前，已經(jīng)有數(shù)千人在這份公開信上簽名，包括谷歌，F(xiàn)acebook，微軟公司內(nèi)研究人工智能的專家，以及全球其他行業(yè)中心里的頂尖計算機(jī)科學(xué)家，物理學(xué)家，以及哲學(xué)家。在今年三月底，大約有300名研究人員開啟了一項(xiàng)新研究，希望讓人工智能對人類更加有益，而資助這份研究的資金則是由該公開信的第37位簽署人贊助的，他就是現(xiàn)實(shí)版“鋼鐵俠”Elon Musk。

Russell今年53歲，是加州大學(xué)伯克利分校人工智能系統(tǒng)中心創(chuàng)始人兼計算機(jī)科學(xué)專業(yè)教授，他一直在關(guān)注人工智能的發(fā)展和影響。Russell寫了200多頁的論文，同時他還是人工智能領(lǐng)域里“標(biāo)準(zhǔn)教科書”-----《人工智能：一種現(xiàn)代化方法》作者（谷歌研究主管Peter Norvig也是該書作者）。但是，隨著人工智能發(fā)展的速度越來越快，加劇了Russell對這一領(lǐng)域的擔(dān)憂。

近日他表示，人工智能有了很大跨越，很大程度上是因?yàn)樯窠?jīng)網(wǎng)絡(luò)學(xué)習(xí)算法有了質(zhì)的飛躍。相關(guān)技術(shù)已經(jīng)應(yīng)用在Facebook的人臉識別軟件，智能手機(jī)的私人助手應(yīng)用，以及谷歌的自動駕駛汽車上面了。還有一個現(xiàn)實(shí)中的例子，根據(jù)《自然》雜志上最近刊登的一項(xiàng)研究成果，一個人工神經(jīng)模擬網(wǎng)絡(luò)學(xué)習(xí)玩兒雅達(dá)利公司的視頻游戲，結(jié)果玩兒的竟然比人類還要好，這也引起了業(yè)界震動。“如果這發(fā)生在一個剛出生的孩子身上，你會認(rèn)為，這是與生俱來的。”Russell說到。

今年，在德克薩斯州圣安東尼奧市舉辦的美國物理學(xué)會2015年會上，Russell接受了Quanta Magazine的采訪，并談?wù)摿酥悄鼙举|(zhì)和人工智能安全的巨大挑戰(zhàn)。

你認(rèn)為，人工智能的目標(biāo)就是要能證明它能符合人類價值觀，這意味著什么？

這么說真有點(diǎn)兒氣人吶，這里把兩件事情放在在了一起，一個是要“能證明”，另一個是“人類價值觀”，它們貌似就是非常矛盾的。人類價值觀本身就多少存在一些神秘，從某種程度上，我們的價值觀會在行為上有所表現(xiàn)，你可能希望證明機(jī)器也能做出絕大多數(shù)類似的行為吧。或許，機(jī)器會有一些零碎的東西無法理解，而實(shí)際上，就連人類自己有時都不太認(rèn)可彼此。不過，只要機(jī)器能夠獲得基本權(quán)利，你可能就會發(fā)現(xiàn)它們其實(shí)并不是非常有害的。

你會如何著手實(shí)現(xiàn)這些？

這個問題其實(shí)就是我現(xiàn)在的工作：機(jī)器需要在什么地方擁有一些近似于價值觀的東西呢？重要的是，這些價值觀必須是人類希望他們擁有的。我認(rèn)為答案就是一種名叫“逆向增強(qiáng)學(xué)習(xí)”的技術(shù)。普通的增強(qiáng)學(xué)習(xí)是一種過程，你會根據(jù)自己的表現(xiàn)得到一定的獎勵和懲罰，你的目標(biāo)就是要識別出一些能讓你獲得最多獎勵的行為。這就是【雅達(dá)利游戲公司】DQN系統(tǒng)正在做的事情；它給每個游戲分?jǐn)?shù)，而這套系統(tǒng)的目標(biāo)，就是要讓分?jǐn)?shù)變得越來越大。逆向增強(qiáng)學(xué)習(xí)恰恰與之相反，你會發(fā)現(xiàn)一些行為，然后你需要嘗試搞清楚這種行為嘗試最大化的那個分?jǐn)?shù)是多少。舉個例子，你的家用機(jī)器人看到你早上從床上爬起來，然后把一些褐色的玩意兒放進(jìn)一臺噪音很大的機(jī)器里磨碎，然后再把一些蒸汽、熱水、牛奶和這個液體混合在一起，一飲而盡之后，精神就會變得非常好。此時，逆向增強(qiáng)學(xué)習(xí)技術(shù)就需要學(xué)習(xí)，這其實(shí)就是人類在清晨價值功能的一部分，因?yàn)樗麄冃枰瓤Х取?/p>

關(guān)于人類行為和行為態(tài)度，在書本、電影、已經(jīng)互聯(lián)網(wǎng)之外，其實(shí)存在著大量信息。因此，當(dāng)涉及到人類價值時，機(jī)器需要學(xué)習(xí)的資源是非常龐大的，比如誰贏了比賽金牌，誰去坐牢，以及為什么會這樣。

您是怎么進(jìn)入到人工智能這一領(lǐng)域里的？

當(dāng)我還在學(xué)習(xí)讀書的時候，總體來說，人工智能還不是一種正式的學(xué)術(shù)科目。但是當(dāng)時我所在的是倫敦的一家公立寄宿學(xué)校，位于圣保羅，所以我的時間沒有花在打英式橄欖球上，相反，在附近的一所高校里，我學(xué)習(xí)了計算機(jī)科學(xué)A-level課程。我當(dāng)時為A-level課程準(zhǔn)備了一個項(xiàng)目，就是編了一個程序教自己下井字棋，或是一字棋。當(dāng)時我在那里并不受到人們歡迎，因?yàn)槲铱偸且贿B幾個小時霸占著學(xué)校里的計算機(jī)。第二年，我寫了一個國際象棋程序，同時也獲得了帝國理工大學(xué)教授的許可，可以使用他們學(xué)校里的大型計算機(jī)。搞清楚計算機(jī)如何學(xué)習(xí)下棋真的太有意思了，我學(xué)到了很多今后會在書本上學(xué)到的東西。

不過怎么說呢，當(dāng)時我還只是把這個當(dāng)做是一個愛好；因?yàn)楫?dāng)時我最感興趣的學(xué)科專業(yè)是物理。我在牛津大學(xué)學(xué)習(xí)了物理學(xué)，之后當(dāng)我申請讀研究生的時候，也是申請了在牛津和劍橋繼續(xù)攻讀理論物理專業(yè)。后來我又申請了麻省理工學(xué)院，卡耐基-梅隆大學(xué)和斯坦福大學(xué)三所高校的計算機(jī)科學(xué)專業(yè)，但不幸的是，當(dāng)時我錯過了申請截止日期，好在斯坦福大學(xué)網(wǎng)開一面，于是我來到了斯坦福大學(xué)。

所以，您來美國之后就一直生活在西海岸？

是的。

在您整個職業(yè)生涯里，花了大量時間嘗試?yán)斫馊斯ぶ悄苁鞘裁矗@也是搞清楚機(jī)器會如何實(shí)現(xiàn)人工智能的先決條件。從中您學(xué)到了些什么？

在上世紀(jì)80年代，我進(jìn)行了理論研究，當(dāng)時我開始思考制定理性決策，但問題是，這個問題是不可能解決的。如果你非常理性，你可能會向：這是我目前的狀態(tài)，這是我現(xiàn)在能做的行為，之后我可以做那些行為，接著是那些行為，再接著又是那些行為。哪條路徑能確保實(shí)現(xiàn)我的目標(biāo)呢？理性行為的定義，要求你去優(yōu)化整個宇宙的未來，這靠計算是根本不可能實(shí)現(xiàn)的。

在人工智能中，也有些事情是不可能實(shí)現(xiàn)的，因此我們?nèi)ザx那些我們正在嘗試所做的事情，其實(shí)根本沒有什么意義，所以，我決定嘗試搞明白：我們究竟是如何做決策的？

那么，我們是怎么做的呢？

這里有一個技巧，你可以去思考一個短期預(yù)測，然后再去猜測未來會是什么樣子。因此，舉個例子，在國際象棋程序里，如果他們非常理性，那么他們就只會走那些能確保將死對方的棋，但實(shí)際上，他們并不會這么做。他們會算一下未來要走的幾步棋，然后再猜測一下，如果這么走，對于當(dāng)前自己的棋局是否有幫助，最后，他們會選擇走一步對自己當(dāng)前棋局最為有利的一步棋。

“你能證明你的系統(tǒng)，無論他們有多么智能，都不會重寫系統(tǒng)內(nèi)部最初由人類設(shè)置的那個目標(biāo)嗎？”

實(shí)際上，真正需要重點(diǎn)考慮的另一件事情，就是在多個抽象級別里的決策問題，也就是所謂的“分層決策”。在一個人一生之中，大約要做20萬億個物理動作。舉個例子，在本屆大會上做一次演講，需要作出大約13億個物理動作。如果你是理性的，那么就會預(yù)先想好會怎么做這13億個物理動作，顯然，這非?；闹嚕瑯右彩遣豢赡軐?shí)現(xiàn)的。因此，如果人們想要能夠進(jìn)行目標(biāo)管理，就需要非常豐富的高層次抽象行為庫。你走路的時候會去想，“首先我要么移動我的左腳，要么移動我的右腳，之后我要么移動…”會這樣想嗎？顯然不會。那么你會想些什么呢？你會想“我得趕緊去艾派迪旅游公司，然后訂一個航班。當(dāng)我落地之后，我要打個的。”這才是人類會想的東西。在我的飛機(jī)實(shí)際落地之前，我是不會去想任何東西的，也不會去找出租車標(biāo)記，或是叫車，但是當(dāng)我落地之后，我會需要更多細(xì)節(jié)?；旧希@才是我們真正的生活，未來是鋪開的，很多細(xì)節(jié)能夠及時的靠近我們，但是很多大塊、或是人生的大方向卻是非常抽象的，比如“我要考博士”，“我要生孩子”，等等。

目前的計算機(jī)能做分層決策嗎？

這正是目前人工智能所缺失的那一部分，所有這些高級別行為都來自什么地方？我們不認(rèn)為像DQN網(wǎng)絡(luò)這樣的程序可以識別行為的抽象表達(dá)。有一些游戲，DQN還不知道怎么玩兒，那些難度較高的游戲需要在原始行為表現(xiàn)的基礎(chǔ)上，向前思考很多很多步，舉個例子，如果一個人想，“哦！我現(xiàn)在需要做的，是去開門。”，而開門則需要涉及到拿鑰匙，等等。如果機(jī)器沒有“開門”這個行為表現(xiàn)，那么在這個任務(wù)上就不會有任何進(jìn)展。

但是，如果問題被解決（當(dāng)然這幾乎是不可能的），那么我們就會看到機(jī)器能力將得到極大的提升。我個人其實(shí)也不太確定，在人類級別的人工智能和計算機(jī)分層決策問題之間的主要障礙是什么。

對于人類級別人工智能的可能性，您關(guān)注的是什么？

1994年，在我首版書中有一個章節(jié)，題目叫做“如果我們成功了會怎樣？”因?yàn)樵谖铱磥?，對于人工智能似乎大家還沒有真正思考過這個問題?；蛟S可能因?yàn)檫@距離我們非常遙遠(yuǎn)，但很顯然，如果人工智能獲得成功，那無疑將會是一件大事，甚至?xí)侨祟悮v史上最重大的事件，我們需要用一種較好的方式去描述它。如果這事兒真的成了，那么我們就需要做非常多的思考，至少，要比我們現(xiàn)在正在思考未來會是什么樣多得多。

智能爆炸的基本概念，就是一旦機(jī)器獲得了一定級別的智能水平，他們就能在人工智能上工作，就像我們做的那樣，同時還會提升他們自己的能力，重新設(shè)計他們自己的硬件，等等。同時，他們的智能將會破紀(jì)錄般地被放大。在過去的幾年里，人工智能圈子已經(jīng)逐漸開始重新定義人類級別人工智能參數(shù)（這可能會是個問題），其中最令人信服的參數(shù)必須是要和價值參數(shù)有關(guān)：你構(gòu)建了而一個系統(tǒng)，在優(yōu)化效用函數(shù)上表現(xiàn)的非常好，但是效用函數(shù)并不是非常正確的。牛津大學(xué)哲學(xué)家Nick Bostrom寫了一本書，叫做《超級智能》，他用回紋針作為例子，你說，“做些回紋針”。它就將整個星球變成一個巨大的回紋針堆積場。你構(gòu)建了一個超級優(yōu)化程序；你會給它什么樣的效用函數(shù)呢？因?yàn)檫@個程序就要打算這么干了！

人類價值觀的差異呢？

那是個內(nèi)在問題。你可以說，當(dāng)有某個領(lǐng)域出現(xiàn)了價值觀沖突的時候，機(jī)器應(yīng)該寧可什么都不做。但這是很難實(shí)現(xiàn)的。我認(rèn)為，我們不得不在某些價值功能的基礎(chǔ)上構(gòu)建人工智能。如果你想要一個家庭機(jī)器人，它就必須要很好地分享人類價值觀的不同部分，否則它很可能會做一些非常愚蠢的事情，比如當(dāng)孩子肚子餓了，并且冰箱里沒有食物了，它可能就會把貓放進(jìn)烤箱里做晚飯?，F(xiàn)實(shí)生活中充滿了類似的權(quán)衡，如果機(jī)器可以有一些折中的方式，那么它們在生活中就不會做出那些愚蠢的事情。

從某種意義上來說，在價值觀領(lǐng)域里，我沒有看到任何的解決方案。我同時還覺得，如果人工智能可以判斷正確的人類價值觀，那么可能會帶來巨大的經(jīng)濟(jì)利益。舉個例子，一旦家庭機(jī)器人做出一兩次愚蠢的事情，如同前文講的把貓放進(jìn)烤箱，那么人們肯定再也不會買這種類型的機(jī)器人了。

但同時還有一個問題，如果智能系統(tǒng)自我表現(xiàn)行為符合人類價值觀，那么人類就會過渡到越來越多的智能系統(tǒng)上面，這是否意味著人類自己的價值觀要變得越來越好？還是繼續(xù)表現(xiàn)自我？我不知道答案。

您曾經(jīng)說過，我們需要通過數(shù)學(xué)驗(yàn)證人工智能在所有可能的環(huán)境下表現(xiàn)出的行為，這該怎么做呢？

人們指出的困難之一，就是一個智能系統(tǒng)可以武斷地制造出一個全新的“自我”，而這個新智能系統(tǒng)的目標(biāo)和原來的老智能系統(tǒng)也是不同的。這種場景，相比很多科幻小說作家會經(jīng)常提及，在某種程度上，機(jī)器會自發(fā)地達(dá)到戰(zhàn)勝人類的目標(biāo)。所以問題來了：你能證明你的系統(tǒng)無論它多么智能，都永遠(yuǎn)永遠(yuǎn)不會重寫自己最初由人類設(shè)置的目標(biāo)嗎？

證明這點(diǎn)還是相當(dāng)容易的，正如前文所提到的DQN系統(tǒng)，它可以永遠(yuǎn)不去改變自己“優(yōu)化游戲分?jǐn)?shù)”的目標(biāo)。現(xiàn)在，有一次網(wǎng)絡(luò)攻擊，就是人們談?wù)摫环Q為“wire-heading”的網(wǎng)絡(luò)攻擊，它讓你可以實(shí)際進(jìn)入到雅達(dá)利游戲的控制臺，手工改變屏幕上生成的分?jǐn)?shù)。此時對DQN是不可行的，因?yàn)樗男袨榉秶峭耆谟螒虮旧碇械?；它沒有機(jī)器人手臂去干這種事兒。不過，如果機(jī)器在現(xiàn)實(shí)世界中有了行動能力，那就會帶來嚴(yán)重的問題。因此，你能夠證明你設(shè)計的系統(tǒng)在自身行為范圍之內(nèi)，永遠(yuǎn)不會改變自身機(jī)制嗎？這更難證明了。

如果朝著人工智能這個方向有什么進(jìn)展的話，您覺得會很有希望嗎？

目前有一個新興的行業(yè)領(lǐng)域，叫做“網(wǎng)絡(luò)-實(shí)體系統(tǒng)”，這個系統(tǒng)可以將虛擬環(huán)境與真實(shí)世界進(jìn)行匹配。在網(wǎng)絡(luò)-實(shí)體系統(tǒng)中，你可以用一些二進(jìn)制數(shù)字來代表一個空中交通管制程序，然后你可以獲得一些真實(shí)的飛機(jī)，而你真正關(guān)心的是，不要發(fā)生飛機(jī)碰撞。你要試圖去證明一個關(guān)于虛擬和真實(shí)世界整合的定理，此時你會怎么做呢？你會對真實(shí)世界進(jìn)行非常保守的數(shù)學(xué)描述，比如飛機(jī)在這樣或那樣的環(huán)境下可以加速，等等，你的定理在真實(shí)世界中會是正確的，只要真實(shí)世界能夠包含在你的整體行為環(huán)境之中。

但是，你已經(jīng)指出，數(shù)學(xué)方法可能無法作為人工智能系統(tǒng)的正式驗(yàn)證方法

在數(shù)學(xué)專業(yè)里有個術(shù)語，叫做“不可判定性”。在你所問到關(guān)于計算機(jī)程序的很多問題之中，其實(shí)都存在這樣一個普遍的“不可判定性”問題。著名的計算機(jī)科學(xué)之父，也是人工智能之父阿蘭·圖靈說過，沒有計算機(jī)程序能夠決定是否存在任何其他可能的程序可以最終終止，并輸出一個答案，或是陷入到一個無限循環(huán)之中。因此，如果你開始了一個程序，但是它自身可以重寫，變成另外一個其他程序，那么就會產(chǎn)生問題，因?yàn)槟悴荒茏C明所有其他可能的程序會讓一些“所有權(quán)”滿意。所以問題就是：是否有必要擔(dān)心那些能夠自我重寫的人工智能系統(tǒng)的不可判定性？它們會基于現(xiàn)有程序，加上它們在真實(shí)世界中的經(jīng)驗(yàn)，自我重寫成一個新的程序。在下一個程序如何設(shè)計的問題上，與真實(shí)世界交互的影響范圍可能性又是什么？目前，我們貌似還沒有太多這方面的知識。

via wired, 快鯉魚翻譯，轉(zhuǎn)載標(biāo)明出處