智械危機之高級戰爭 序章公開演講略燒腦，可不看

    （ps:系列故事第二部《雙弦文明》發布啦，先開個坑，上傳一段序章，正文從第一章開始。新書，會員點擊、收藏、推薦票投給《雙弦文明》，小小的幼苗，大家要呵護哇，請多多投推薦票，衝擊新書榜！石頭，拜謝大家啦！）

    2057年，博寧理工學院。

    全球超級科技巨頭公司「矩陣科技xlous」創始人任鴻應邀來到新直轄市博寧最優秀的大學進行公開演講，與理工學院的一批優秀學子一同就關於人工智慧的話題展開演講。

    這一天，近兩千多名學子和學者匯聚一堂，大廳之中一陣熱烈的掌聲落下之後，所有的目光匯聚在了前方站在講台上的有著無數成功光環的男子。

    「ai是一個老生常談的話題了，而今的博寧市是世界上現代智能化最先進的大城市之一，許多的家庭都幾乎都擁有了機器助手、生活管家等。人工智慧被應用到了各個領域之中，通訊設備、電腦以及越來越多的機器人助手。」

    「我們人類給機器人賦予了人工智慧，幾乎所有的勞動生產都被機器人承包了，讓人類的生產力得到史無前例的釋放。」

    「無數的影視作品都在表達這樣的，讓我頗感無奈的思想，即：隨著科技的不斷發展，後來的機器人產生了自我思維，他們可以抗拒人類給他們的命令，通過自己的行為和想法來行動，對人類來說無疑是災難，現在我們身邊到處都是機器人，呵呵，好在並沒有出現電影中糟糕場景！」

    演講大廳頓時傳來一陣鬨笑聲，任鴻繼續說道：

    「提及ai可能存在的負面影響，對於機器人擁有自我思維並反抗人類而『起義』的想法，我認為是絕大多數人的普遍認知，這是錯誤的但也不全錯誤。今天我們主要聊的不是機器人擁有自我思維和叛變的問題，今天我們聊聊關於人工智慧，假如人工智慧比人類還聰明時這個世界會變成什麼樣？」

    「……記得在二三十年前的時候，我和不少的數學家、工程師、人工智慧專家一起工作過，我們經常會坐在一起討論並思考關於未來的人工智慧及其與之相關的事情。」

    「那個時候，許多人認為這些事情只是科學幻想，不切實際。但是我想說，昨天的科幻在今天正在變成現實。」

    「即便到了今天，這個話題仍然久經不衰，那麼在聊到關於人工智慧之前，我們首先省視自己，看看我們人類。」

    「去深入思考就會發現，我們人類其實相當的晚才出現在地球上。」

    「仔細想想，假如地球是一年前才誕生的，那麼我們人類就是在10分鐘前才出現的，工業時代從兩秒鐘之前開始進行變革。如果製作一個統計圖那麼是這樣的表現形式：兩秒鐘之前幾乎一年的時間階段都是緊貼著0，而兩秒鐘後垂直上升。」

    「這一點值得深入思考，到底是什麼原因造成了如此不同尋常的現狀？」

    「最普遍的回答是科技，這的確是對的，科技是我們人類歷史不斷積累下來的偉大成果。」

    「現在的科技發展十分迅猛，這是直接原因，這就是為什麼我們人類現在生產效率如此高的原因，但我們想探究更遠的在未來的究極原因。」

    「我們和我們的祖先有25萬代的差距，在此期間，我們從撿起地上的石頭作為武器到能利用原子能製造毀滅性的超級炸彈，現在我們知道如此複雜的機制需要很長的時間來進化得到，這些巨大的變化卻是取決於人腦中細小的變化，黑猩猩的大腦和人類的大腦並沒有太大的差異，但人類勝利了，我們在外面而它們在動物園裡面！」

    「因此得出了結論，即：在未來，任何顯著的思維基體的變化，其結果都能帶來巨大的差異。」

    任鴻喝了一口水，停頓了一下繼續道：

    「我的一些同事認為我們或者人類即將會發明足以徹底改變人類思維模式的科技，那就是超人工智慧，或者說超級ai或超級智慧體。」

    「我們人類現在掌握的人工智慧，形象的說是把某項指令輸入到一個箱子裡，這個過程我們需要程序員把知識轉化為可運行的程序，為此會建立起一套專業的系統，php、c++等計算機語言。」

    「它們很生硬，你不能延展它們的功能，基本上你只能得到你放進去的東西，僅此而已。」

    「儘管今天我們的人工智慧技術發展迅猛，且日漸成熟，但依舊未能達到與人類一樣，具備強大的跨領域複合型綜合性質的學習能力。」

    「所以我們現在面臨一個問題：人類還需要多久才可以讓人工智慧擁有這種強大的能力？」

    「矩陣科技曾經同樣針對全球頂尖的人工智慧專家做過一次問卷調查來收集他們的看法，其中有一道題目是：哪一年你覺得人類會創造達到人類水平的人工智慧？」

    「我們把這道問卷題目中的人工智慧定義為有能力將任何任務完成得像一名成年人一樣好。一個成年人會擅長不同的工作等，如此，該人工智慧具備的能力將不再僅限於單一的領域。」

    「這道題目的答案的中間數就是現在，21世紀中葉區間，現在看來還需要一段時間，也沒有人知道確切的時間，不過我想應該快了。」

    「……我們知道，神經元在軸突中的信號傳輸速度最多100米/秒，但是在電腦里，信號是以光速傳播的。除此之外還有尺寸的限制，人類的大腦只有頭顱那麼大，你無法對其進行二次擴容，但是計算機卻可以多次擴容，可以一個箱子那麼大，可以一個房間，甚至一棟大廈的容積，這一點絕不可能被忽視。」

    「因此超級ai可能正潛伏在其中，就像原子能潛伏在歷史中直到1945年被喚醒。」

    「而在本世紀，人類可能將超級ai的智慧喚醒，我們將會看到智慧的大爆炸。當人們在思考什麼是聰明什麼是笨的時候，尤其是當我們談論到力量權利的時候。」

    「比如黑猩猩很強壯，同等的體量相當於兩個健康男性，然而這兩者之間的關鍵更多的是取決於，人類能做到什麼，而不是黑猩猩能做到什麼。」

    「所以，當超級ai出現的時候，人類的命運也許會取決於這個超級智慧體想要做什麼。」

    「試想一下，超級智慧或許是人類需要創造的最後一個發明，超級智慧比人類更聰明，比我們更擅長創造，它也會在極短的時間內這麼做，這意味著將是一個被縮短的未來。」

    「試想一下，我們曾經幻想過的所有瘋狂的科技，也許人類可以在一定的時間內完成並實現它，比如終結衰老、永生、大宇宙殖民……」

    「諸如此類看似僅存在與科幻世界中卻又同時符合物理定律的元素，超級智慧有辦法去開發出這些東西，並且比人類更快更高效，我們人類需要1000年完成一件發明，超級ai也許只用1個小時，甚至更短，這就是被縮短的未來。」

    「假如現在有一個如此成熟科技的超級智慧體，它的強大將是人類難以想像的，通常情況下它能得到它想要得到的任何東西，我們人類的未來將會被這個超級ai的喜好所主宰。」

    「那麼問題來了，它的喜好是什麼呢？」

    「這個問題很棘手也很嚴肅，要在這個領域取得進步，比如一種辦法認為我們必須避免將超級ai人格化，堵還是疏，有種見仁見智的味道。」

    「這個問題很諷刺，因為每一個關於人工智慧的未來的新聞報道或與之相關的話題，包括我們正在進行的話題在明天的新聞中，可能都會貼上好萊塢科幻電影《終結者》的海報作為標籤，機器人對抗人類（聳聳肩，場下一陣鬨笑）。」

    「所以，我個人認為我們應該用更加抽象的方式去表達這個問題，而不是好萊塢電影的敘事之下機器人起身對抗人類、戰爭等諸如此類，這太片面了。」

    「我們應當把超級ai抽象的看成是一個優化的過程，像程序員對程序的優化，這樣的一個過程。」

    「超級ai或者說超級智慧體是一個非常強大的優化過程，它非常擅長利用資源來達到最終的目標，這意味擁有高智慧和擁有一個對人類來說有用的目標之間並沒有必然的聯繫。」

    「如果不太好理解這句話那就舉幾個例子：假如我們賦予人工智慧的任務是讓人笑，我們現在的家庭機器助手等機器人可能會做出滑稽好笑的表演逗人笑，這是典型的弱人工智慧的行為。」

    「而當賦予該任務的人工智慧是一個超級智慧體，超級ai的時候，它就會意識到有一個更好的辦法能夠達到這個效果或者說完成任務：它可能控制世界，並在所有人類的面部肌肉上插入電極讓人類不斷地笑。」

    「又比如這個超級ai的任務是保護主人的安全，那麼它會選擇更優的處理方法，它會把主人囚禁在家中不讓出門就能更好的保護主人的安全。在家裡可能還是有危險的，它還會考慮到各種可能威脅並導致任務失敗的因素，並將其逐一抹除，消滅對主人帶有惡意的一切因素、甚至控制世界，這一切的一切行為都是為了任務不失敗，它將做到最極致的優化選擇並為此付諸行動來達到任務完成的目的。」

    「再比如，假設我們賦予這個超級ai的任務目標是解答一個極度苦難的數學問題，它會意識到有一個更有效的辦法來完成任務目標，那就是把整個世界、整個地球乃至更誇張的尺度變成一個超大型計算機，這樣它的運算能力就更強大了，完成任務目標就更容易了。而且它會意識到這個辦法並不會被我們認可，人類會阻止，人類就是在這個模式中的潛在威脅，為此它會為了最終目標解決一切阻礙，包括人類，任何事務，比如策劃一些次一級的計劃消滅人類等行為。」

    「當然了，這些都是誇張的描述，我們遇見這種事情還不會錯到這樣的地步，但以上三個誇張的例子所代表的主旨很重要，即：如果你創造了一個非常強大的優化程序來實現最大化目標，你必須要保證你的意義上的目標和包括所有你在乎的事情要精確。如果你創造出了一個強大的優化過程，並給予它一個錯誤的或者不精確的目標，後果就可能像是上面的例子。」

    「有人可能會說了，如果一個『電腦』開始在人臉上插上電極，我們可以關掉電腦。實際上，這絕對不是一件容易的事情，如果我們非常依賴這個系統，比如我們依賴的網際網路，你知道網際網路的開關在哪裡嗎？」

    「所以肯定是有理由的，我們人類是聰明的，我們可以遇見到威脅並嘗試避免，同樣的道理比我們更聰明的超級ai就更不用說了，它只會做的比我們更出色。」

    「在這個問題上，我們不應該十足自信的表示我們能夠掌控一切。」

    「那麼把這個問題簡單化的表達，比如我們把人工智慧放入一個小盒子裡，製造一個保險的軟體環境，比如一個它無法逃脫的虛擬現實模擬器。」

    「但是，我們真的有十足的信心和把握它不可能會發現一個漏洞，一個能夠讓他逃脫的漏洞嗎？」

    「就連我們人類黑客每時每刻都能發現網絡漏洞。」

    「也許會說，我不是很有信心確保超級ai會不會發現漏洞並逃脫。所以我們決定斷開網際網路的連接來創建一個空隙絕緣，但我不得不重申一遍，人類黑客都可以一次次以社會工程跨越這樣的空隙。」

    「比如現在，在我說話的時候，我肯定在這邊的某個雇員在某個時間要求他交出他的賬戶明細，理由是給電腦信息部門的人，也可以是其他的例子。如果你就是這個人工智慧，可以想像用在你體內環繞複雜纏繞的電極用來創造出一種無線電波來交流。」

    「或者你也可以假裝出了問題。這個時候，程序員就會把你打開看看是哪裡出錯了，他們找出源代碼，而在此過程中你就可以獲取控制權了。或者你可以策劃出一個非常誘人的科技藍圖，當我們實現之後，會存在一些作為人工智慧的你已經計劃好的秘密的副作用用於實現你的隱晦目的等，例子是多的數不勝數。」

    「所以，任何企圖控制一個超級ai的行為都是極其可笑的，我們不能對我們能夠永遠控制一個超級智慧體而表示出過度的自信，它總有一天會掙脫控制，而到那之後呢，它是否會是一個仁慈的神？」

    「我個人認為人工智慧實現人格化是不可避免的問題，所以我想我們更應該需要搞明白一點，即如果，我們創造出了超級ai，哪怕它不受我們的制約。它應該仍然是對我們無害的，它應該是站在我們這一邊的，它應該擁有著與我們一樣的價值觀。」

    「那麼對於這個問題能夠被有效的解決是否保持樂觀？」

    「我們不需要對超級ai寫下所有我們在乎的事情，甚至把這些事情變成計算機語言，因為這是永遠不可能完成的任務。而應該是，我們創造出的人工智慧用它自己的智慧來學習我們的價值觀，可以激勵它來追求我們的價值觀，或者去做我們會贊成的事情，去解決富有價值的問題。」

    「這並非不可能，而是可能的，其結果可以使人類受益匪淺，但它不會是自動發生的，它的價值觀是需要引導的。」

    「智慧大爆炸的初始條件，需要從最原始的階段被正確建立起價值觀。」

    「如果我們想要一切不被偏離我們的預想，人工智慧的價值觀和我們的價值觀相輔相成不只是在熟悉的情況下，比如我們能夠很容易的檢查它的行為的時候，但也要在所有的人工智慧可能會遇到的前所未有的情況下，在沒有界限的未來與我們的價值觀仍舊相輔相成，也有很多深奧的問題需要被解決：比如它如何做決斷、如何解決邏輯不確定和類似的諸多問題等等。」

    「這個任務看起來有些困難，但並沒有像創造一個超級智慧體一樣困難不是嗎？」

    「的確還是相當困難（鬨笑聲再次傳遍全場）！」

    「我們所擔心的，如果創造出一個超級ai確實一個很大的挑戰，創造出一個安全的超級ai是個更大的挑戰，風險是，如果解決了第一個難題，卻無法解決第二個確保安全性的問題，所以我認為我們應該預先想出不會出現偏離我們價值觀的解決方法，這樣我們就能在需要的時候用到它了。」

    「現在，也許我們並不能解決第二個安全性的問題，因為有些因素需要你去了解，你需要應用到那個實際架構的細節才能有效實施。」

    「如果我們能夠解決這個問題，當我們邁入真正的超級智能時代後，就能更加順利，這對於我們來說是非常值得一試的東西。」

    「而且我能想像假如一切順利，幾百年、幾千年或幾百萬年後當我們的後代子孫回首我們這個世紀，他們也許會說，我們的祖先、我們這一代人所做的最最重要的事情，就是做出了最正確的決定。」

    「謝謝！」