最近，ChatGPT幾乎刷屏國內(nèi)外各大社交媒體，它流暢對答、寫劇本、寫代碼等各項功能令人驚奇，許多技術(shù)人也不斷深究其強大的背后原理，本文作者就是其中之一。

原文鏈接：https://www.jonstokes.com/p/chatgpt-explained-a-guide-for-normies

作者|JonStokes

【資料圖】

譯者|彎月責編|鄭麗媛

出品|CSDN（ID：CSDNnews）

最近，很多非常聰明、精通技術(shù)的人都在討論ChatGPT，但我感覺他們都沒有說到點上，他們對這款機器人的核心組件以及各個部分如何協(xié)同工作，并沒有透徹理解。

需要說明的是，我并不是說自己了解ChatGPT的一切。我和其他人一樣，包括活躍的機器學習研究人員，仍在學習和思考中。

我希望通過本文說明一下自己的理解，幫助其他“落伍”的人。

機器學習：基礎(chǔ)知識

ChatGPT的核心是生成式機器學習模型家族的大型語言模型。這個系列還包括StableDiffusion以及所有其他提示驅(qū)動的文本模型，現(xiàn)在每天新聞討論的都是這些模型。

簡單來說，生成式模型是一種函數(shù)，它可以將結(jié)構(gòu)化的符號集合作為輸入，并生成相關(guān)的結(jié)構(gòu)化符號集合作為輸出。

下面是結(jié)構(gòu)化符號集合的一些示例：單詞中的字母句子中的單詞圖像中的像素視頻中的幀

將一個符號集合轉(zhuǎn)換為另一個相關(guān)符號集合的方法有很多種，這些方法并不限于計算機程序。你可以編寫一個使用規(guī)則和查找表的計算機程序，就像60年代的聊天機器人。

概念介紹：確定性與隨機性

在討論關(guān)系之前，我們先來介紹兩個概念，它們將在本文中反復(fù)出現(xiàn)：確定性：確定的過程指的是，在輸入既定的情況下，必然能得到相同的輸出。隨機性：隨機過程指的是，在輸入既定的情況下，得到的輸出有一定隨機性，即有時得出這樣的輸出，有時則會得出其他輸出。

例如，糖果機就是確定性的，投入一塊錢，轉(zhuǎn)動手柄，每次都能拿到一塊糖。也就是說，一塊錢=一塊糖，永遠不變。

但從另一個角度來看，糖果機也是隨機的，投入一塊錢，轉(zhuǎn)動手柄，每次都能拿到一塊糖，但這塊糖的顏色基本上是隨機的，且每種顏色的概率取決于機器內(nèi)部不同顏色的比例。五臺不同的糖果機，五種不同的顏色比例，就會有五種不同的顏色輸出概率分布。

暫時拋開這些關(guān)鍵概念，下面我們來說一說為什么關(guān)系很難。

關(guān)系很重要

符號集合可以按照不同的方式關(guān)聯(lián)在一起，關(guān)系越抽象越微妙，我們就需要投入越多技術(shù)來解決需要捕捉這種關(guān)系的問題。

1.假設(shè)我們將集合{cat}與{at-cay}關(guān)聯(lián)在一起，這是一個標準的“豬拉丁”轉(zhuǎn)換（PigLatin，一種英語語言游戲，形式是在英語上加上一點規(guī)則使發(fā)音改變，小孩子經(jīng)常通過這種游戲秘密交流），我可以用一個簡單的手寫規(guī)則集來管理這種關(guān)系。

2.假設(shè)我們將集合{cat}與{dog}關(guān)聯(lián)在一起，那么這兩個集合可以在多個抽象級別上關(guān)聯(lián)。作為有序的符號集合（序列），二者都有三個符號。作為三個符號的序列，二者都是單詞。作為單詞，二者都指代生物有機體。作為有機體，二者都是哺乳動物。作為哺乳動物，二者都是家養(yǎng)寵物。等等。

3.假設(shè)我們將集合{thecatisalive}與{thecatisdead}關(guān)聯(lián)在一起，那么就可以使用更多、甚至更高階的概念來比較和對比這兩個符號序列。所有與貓相關(guān)的概念都可以考慮，所有“活著”與“死”相關(guān)的概念也在考慮范圍內(nèi)。在另一個層面上，許多讀者會發(fā)現(xiàn)我們可以稱之為對薛定諤貓的互文引用。

4.我們再添加一種關(guān)系，{thecatisimmature}與{thecatismature}。那么此處，我們討論的是身體發(fā)育階段還是情感發(fā)展狀態(tài)？因為它是一只貓，“immature”（不成熟）的意思就是“年輕”、“孩子”等。如果句子的主語是人，那么這個句子更有可能討論的是適齡行為的一些情感概念。

在閱讀上述內(nèi)容時，你可以想象，隨著列表項從1到4，符號之間的可能關(guān)系會出現(xiàn)爆炸式增長。隨著可能關(guān)系數(shù)量的增加，關(guān)系本身的抽象性、復(fù)雜性和微妙性方面也在加劇。

上述，不同的關(guān)系采用不同類別的符號存儲和檢索（從紙筆到數(shù)據(jù)中心），以有用的方式捕獲和編碼。

對于第1個關(guān)系，我們只需在一張紙上畫出簡單地“豬拉丁”關(guān)系，任何人看了這張圖，就可以將英語單詞轉(zhuǎn)換為“豬拉丁”。但是到第4個例子的時候，我們就會思考一個問題：為什么機器學習會需要價值幾千萬美元的資源？

1.我們發(fā)現(xiàn)這兩個集合之間可能存在的關(guān)系就像一個小宇宙。這是一個令人眼花繚亂、緊密相連的概念網(wǎng)絡(luò)，從簡單的物理特征到生物分類學，再到身體和情感發(fā)展的微妙概念，一直沿著抽象階梯向上延伸。

2.一些更抽象的可能關(guān)系出現(xiàn)的可能性更大。因此，我們就需要考慮概率元素。正如我在例子中所說，如果我談?wù)摰氖且恢回?，那么成熟和不成熟更有可能是與身體發(fā)育相關(guān)的一組概念，而不太可能圍繞情感或智力發(fā)育。

對于上述第2條中提到的概念，“不太可能”并不意味著不可能，特別是如果我們拓寬背景。例如，我們添加一些額外的詞：{Regardingthecatinthehat:thecatismature.}{Regardingthecatinthehat:thecatisimmature.}

突然間，所有的可能性都發(fā)生了變化。此處，成熟和不成熟代表的含義可能就是另一個領(lǐng)域。

概括：當符號集合之間的關(guān)系簡單且確定時，你不需要太多存儲或計算能力即可將一個集合與另一個集合關(guān)聯(lián)起來。當符號集合之間的關(guān)系復(fù)雜且隨機時，將一個集合與另一個集合相關(guān)聯(lián)，就需要投入更多的存儲和計算能力，從而以更豐富、更復(fù)雜的方式關(guān)聯(lián)這些集合。

概念介紹：概率分布

高中的化學曾介紹過一個概念，有助于我們思考生成式AI：原子軌道。

原子軌道指的是電子在原子核外空間出現(xiàn)機率較大的區(qū)域。不同能級的電子具有不同形狀的軌道，這意味著它們可能會出現(xiàn)在不同的區(qū)域。

下圖是氫原子的軌道：

我們單獨挑出一個來看看：

對于上圖中的軌道，如果你用比電子更小的東西戳原子，區(qū)域越亮，你戳到電子的幾率就越高。對于圖片中的黑色區(qū)域，并不意味著找到電子的概率為零，只是說這個區(qū)域出現(xiàn)電子的概率低到幾乎為零。

這些軌道是概率分布，它們具有特定的形狀，上圖中的軌道像四個花瓣，所以如果你觀察這四個區(qū)域之一的一個點，則更有可能發(fā)現(xiàn)一個電子，而黑色區(qū)域則相反。

以上就是你需要了解的量子化學知識，也是暫時你需要了解的所有背景知識。下面，我們來談一談ChatGPT。

ChatGPT不了解任何真相，也沒有任何觀點

你可以想象，對于ChatGPT這樣的模型，模型可能生成的每個可能文本塊（從幾個亂七八糟的單詞到整篇連貫的文章）都是概率分布中的一個點，就像以上我們討論的氫原子軌道中電子的分布位置。

當你在ChatGPT的輸入框輸入一組單詞時，例如：“Tellmeaboutthestateofacatinaboxwithaflaskofpoisonandabitofradioactivematerial”，你可以把點擊“提交”按鈕的動作想象成進行一次觀察，這會引發(fā)波函數(shù)坍縮，并得出一個符號集合（只是許多可能的集合的一個）。

有些讀者可能會意識到，文本到文本的大型語言模型，實際上是在概率空間中找到一個單詞，并將它們串在一起形成句子。不過，在這個抽象層次上，“潛在空間指的是模型可能輸出的所有單詞的多維空間”與“潛在空間指的是可能輸出的所有單詞序列的多維空間”之間有一定的區(qū)別。為了方便讀者理解，并最大程度地降低復(fù)雜性，此處我們采用后一個定義。

有時，文本提示輸入會將你帶到概率分布中的一個點，其對應(yīng)的集合為{Thecatisalive}，而有的時候，你會到達不同的點，比如對應(yīng)于{Thecatisdead}。

請注意，上述輸入符號也有可能會將你帶到模型的潛在空間中的一個點，其對應(yīng)的集合為{ph|ngluimglw|nafhCthulhuR|lyehwgah|naglfhtagn}，盡管這種可能性幾乎為零。這一切都取決于文本輸入戳中的概率分布的形狀，以及計算機的隨機數(shù)生成器。

重點在于，在這個例子中，我們經(jīng)常說語言模型“知道”貓的狀態(tài)（生或者死），但其實這并不重要。模型內(nèi)部是否對貓有一定的了解，以及對其環(huán)境有不同的掌握，這些其實也是次要的。

更好的方式是從這個角度理解：

在模型可能產(chǎn)生的所有符號集合的空間中（從胡言亂語的集合到莎士比亞的文集），模型概率分布中某些區(qū)域包含的符號集合，我們?nèi)祟惱斫鉃閠hecatisalive。在同一個概率空間中還有一些相鄰區(qū)域包含的符號集合，我們?nèi)祟惱斫鉃門hecatisdead。

以下是我們可能會在ChatGPT的潛在空間中遇到的一些與貓相關(guān)的符號集合，即可能的輸出空間：{Thecatrousedherselffromslumberandblinkedhereyes.}{ThesoftbreathingofthesleepingcatgreetedSchr?dingerasheopenedthebox.}{Jamon,decathimdead.}{“I’vekilledmyfavoritecat!”screamedSchr?dingerashepulledhispet’slifelesscorpsefromthebox.}{Patcheswatchedthescenefromabove,hisastralcatformfloatingneartheceilingashismasterliftedhislifelessbodyfromtheboxandwept.}

當你用不同的輸入集合戳模型時，遇到有些輸出集合的概率可能更高，但理論上所有輸出集合都有可能遇到。

因此，雖然你和我都圍繞某個事實與ChatGPT進行交互時，例如，孟加拉虎是否瀕臨滅絕，我們不應(yīng)該認為ChatGPT是擁有一些個人經(jīng)歷的實體，或者認為ChatGPT掌握了一些關(guān)于孟加拉虎的事實，即便它告訴你和我兩個人的信息有一些矛盾，也不能認為它對其中一個人撒謊。

相反，我們應(yīng)該認為，通過我的文本提示，我觀察到了概率分布中的一個點，這個概率分布對應(yīng)于關(guān)于孟加拉虎的一組事實和概念，而你也做了相同的事情。我們兩個得到了不同的單詞序列，而且這些單詞序列似乎代表不同的事實，例如它告訴我這種老虎瀕臨滅絕，但告訴你這種老虎非常普通，這是因為我們兩個戳中了概率分布中不同的波瓣，并在不同波瓣中找到了不同的點。我戳中的概率分布中波瓣包含的單詞序列，按照人類的理解，意思是孟加拉虎瀕臨滅絕。你戳中的概率分布中波瓣包含的單詞序列，按照人類的理解，意思是孟加拉虎數(shù)量過剩。

那么，我們應(yīng)該如何解決這個問題呢？

考慮到實際情況是，孟加拉虎確實瀕臨滅絕，我們需要去掉概率分布中你戳中的那個波瓣（即孟加拉虎數(shù)量過剩），或者至少降低這個概率。

幻覺：特性還是錯誤？

當大型語言模型輸出的單詞序列不符合現(xiàn)實真相時，我們說該模型是產(chǎn)生了“幻覺”。

目前，我們有一套方法可以幫助我們塑造大型語言模型輸出的概率分布，也就是說讓一些區(qū)域變得更小或密度更低，而一些區(qū)域變得更大或更密集：

1.訓練

2.微調(diào)

3.帶有人類反饋的強化學習(RLHF)

我們可以在高質(zhì)量的數(shù)據(jù)上訓練一個基礎(chǔ)模型。所謂的高質(zhì)量數(shù)據(jù)指的是符號集合，我們作為人類觀察者認為這些數(shù)據(jù)有意義，而且是符合世界真相的符號集合。通過這種方式，經(jīng)過訓練的模型就像一個原子，其軌道的形狀也符合我們的認知。

接下來，我們嘗試一下這個模型，找出我們不希望在觀察過程中在輸出空間中遇到的區(qū)域，然后我們使用更有針對性、精心設(shè)計的訓練數(shù)據(jù)對模型進行微調(diào)。這種微調(diào)會縮小一部分波瓣，并擴大一部分波瓣，同時我們希望在多次微調(diào)波瓣的形狀之后，這個波函數(shù)一次又一次的縮小能夠得到更加令我們滿意的輸出。

最后，我們利用帶有人類反饋的強化學習，引入一些人為因素來幫助我們調(diào)整模型概率空間的形狀，使其盡可能緊密地覆蓋所有可能輸出空間中對應(yīng)于世界“真相”的點，同時不覆蓋“虛假”事物相對應(yīng)的點。正確完成這一步的工作后，模型概率空間的所有觀察對我們來說都是“真相”點。

關(guān)于本節(jié)中的內(nèi)容，我個人主要有兩個問題：

1.我們一直提到的這個“觀察者”是誰，是負責解釋模型的輸出并判斷對錯的人？他們是聰明還是愚蠢？他們真的對真相感興趣，還是說他們只是想塑造這個模型的概率分布來達到自己的目的？

2.如果我有幸成為決定模型輸出是否真實的觀察者，我真的只想要真相嗎？如果我想讓模型講一個關(guān)于獨角獸的睡前故事，我會希望它模仿某位著名的主持人給我講故事嗎？一般來說模型的創(chuàng)造能力是一個特性，而不是非黑即白，不是嗎？

這些問題是“幻覺”問題的核心，但這些不是技術(shù)問題，而是語言、解釋學、政治的哲學，最重要的是：這是一個權(quán)力的問題。

ChatGPT完全不了解你

與ChatGPT的交互體驗非常強大，但實際上它只是一個UI，就像計算器應(yīng)用程序看起來像一個小型物理計算器一樣。

關(guān)鍵詞：