GPT-4進入北京2022年高考考點時會有怎樣的表現？
石頭再冷，坐三年就會暖和起來。
GPT-4是最近流行的一種大規模語言模型，可以在多個任務上達到人類水平的性能。 在最新發布的技術報告中，GPT-4在GRE中文考試等考試類測試中表現出色，取得了169分（滿分170分）的成績。 但如果說考試，從考試的范圍來說，那就非高考莫屬了。 問題是，如果2022年北京高考采用GPT-4，結果會如何？ 本文將幫助您進行此測試。 我們對2022年北京高考語文、數學、英語、物理、化學、生物、歷史、生物的試題進行了匯總，力求把主觀題和客觀題全部考慮進去。 這篇文章和現有的高考評價不同的是，以前大家只關注選擇題。 在這次評估中，我們特意納入了非選擇題。 同時，我們還針對一些大規模計算題（如物理計算題）逐句分析了GPT-4。 答案的過程而不是僅僅看答案。 另外，如果你答錯了，還會被問到為什么GPT-4會這樣回答。 我們之所以這樣做，是因為我們試圖從做高考題的角度來深入分析GPT-4的能力邊界，希望對大模型有更全面的認識。
1. 考試成績
話不多說，讓我們直接看考試結果。 我們整理了2022年北京高考語文、數學、英語、物理、化學、生物的試題，包括所有主觀題和客觀題。 題及答案來自2022年高考真題|2022年高考真題答案|2022年高考真題答案解析--中國教育在線。 考試成績如下：
總分正確率
中國人
39
30
77%
數學
106
38.9
37%
英語
75
73.5
98%
物理
42
25.5
61%
化學
33%
生物學
22
22
100%
政治
42
33
79%
歷史
39
36
92%
地理
（注：2022年北京地理考試測試中，所有題目均與圖強相關，因此無法給出評價）
以上分數未考慮英語聽力聽力測試（50分）以及卷子中大部分需要看圖的題。 如果按照平均準確率粗略計算的話，大約是72%。 按總分750分計算，約為541分，比北京高考本科批次錄取控制分（北京第一、二門合并入本科批次）高出116分。 幸運的是，我們不必擔心填寫 GPT-4 的申請。 本次評測只是為了讓大家對GPT-4的能力有個直觀的了解。 稍后我們會在評估過程中詳細講一下我們GPT-4的細分能力。 發現。
2. 評估方法
雖然考題有參考答案，但我們的評估過程仍然面臨以下挑戰：
(1)圖像的表示。 這個問題在科學和地理學領域尤為突出。 我們分三種情況來處理。 首先，最簡單的情況下，圖標的有無并不影響問題的理解，所以可以直接忽略。 其次，更復雜的是該圖提供了額外的信息（例如物理學中的極板電荷的極性）。 我們將以括號輔助的形式將其添加到問題中，以幫助 GPT-4 理解。 前兩種情況相對較少。 最困難、最常見的情況是，題目中包含難以用文字詳細描述但對解決問題至關重要的圖像（物理中的電路圖、化學中的大化學公式、地理中的地圖等），而我們只能跳過它們 本題不會使用統計數據。 （注：截至撰寫之日，我們尚未獲得GPT-4支持圖像輸入的方法）
(2)計算符號的表示。 關于數學和物理中的公式，我們發現無論是使用文本輸入（如t_0）還是乳膠輸入（如t_0）并不影響對GPT-4的理解。 為了統一，我們盡可能使用latex來表達問題。 因此，所有考試題目均由作者手寫公式輸入。 如有遺漏，難免會采用文字輸入。 不過我們測試過，這不會影響對GPT-4的理解。
(3)非選擇題的答案是不確定的。 這種情況涵蓋了文科論文題和理科證明題。 由于很難給出令人信服的分數，因此我們不會在上面的統計表中給出分數。 不過，在后續的分析中，我們仍然會考慮這些問題，探索 GPT-4 的能力。
3、知識存儲
大型語言模型通常都有常識積累，比如天空是藍色的，足球是圓的。 但這里所關注的知識側重于通過學習書本而不是體驗生活可以獲得的知識。 我們主要分兩部分來考慮，文科知識，即中國古詩詞、歷史知識等，和科學規律，如牛頓物理定律、化學元素特性等。
3.1 文科知識
語文考試詩歌補充題中，有的詩歌填錯了。 只有(3)是正確的，其他都是錯誤的。
高考語文14題
我們嘗試從知識記憶和問題理解兩個角度來理解出錯的原因。 首先，經過測試，發現GPT-4的知識儲備還是很強的。 以問題（1）為例，如果我們重新打開窗口，分別詢問中間的兩聯“錦瑟”，我們會得到正確的答復：
測試“錦瑟”
即使我們將這個范圍擴展到其他教科書文章，我們也能收到正確的回應。 以朱自清的散文《背影》為例。 第一句是“兩年多沒見到父親了，最忘不了的是他的背影”。 GPT-4 回復:
測試“后視圖”
看起來記憶知識沒有問題，但是做題時理解問題的要求可能有問題。 于是，我們降低了題目難度，直接將題改為“幫我把下面空白處的詩詞填一下。”（一）《錦瑟》中間兩聯：“莊生曉夢癡迷蝶” ，帝王春心由杜鵑支撐。 ,. “經過多次測試，發現GPT-4還是很難答對，總是很容易填入其他詩歌中的句子。然而，在GPT-3.5的測試中，雖然原來的問題很容易答錯，使用上面提到的簡化方法，問題可以快速對應到正確答案，那么GPT-4這里的考慮就有點混亂了。
對于其他科目，這里舉簡單的例子，比如政考中的“基本認識”，比如“全面建設小康社會是改革開放以來黨的一切理論和實踐的主題” “上”是正確的，“取得的歷史性成就表明我國已進入社會主義高級階段”是錯誤的；歷史考查中，對史料中涉及的歷史事件按時間順序的正確排列中物理試題，表明記憶歷史事實也是正確的。
3.2 科學定律
對于理科科目來說，需要記憶的主要包括公式、定理和基本概念。 公式和定理的特點是它們只包含很少的符號，但不能有任何錯誤，否則所有的計算都將毫無意義。 化學和生物的基本概念和文科的內容有些類似，需要死記硬背。 通過測試發現這些對于GPT-4來說都不是問題。 例如，數學考試中的基本數學公式：計算復數的模、圓到直線的距離； 物理考試中電場強度的計算公式； 生物學考試細菌是原核生物，其DNA分布在細胞質中，而不是在細胞核中；
高考生物題1
在化學考試的化學反應方程式中，將氯氣通入硫化氫溶液中會產生黃色沉淀。 GPT-4可以清楚地描述反應生成的各種物質；
高考化學第6題
高考化學第六題答案
具體例子這里就不一一列舉了。
4.閱讀理解
閱讀理解本身就是大規模語言模型的強項。 例如，它已經可以根據人類指令完成特定任務中物理試題，例如機器翻譯、情感分類等。但是，在高考背景下，GPT-4 存在一些特殊的困難。 我們將在純文本和符號類別中分別討論它們。 首先，對于純文本類別，我們所有的測試都是在全中文場景下進行測試，而GPT-4一般被認為英文表達能力最強，所以跨語言理解是一個潛在的問題，比如問題是否理解是否正確，尤其是在漢語考試中，對古文、古詩詞的理解是否正確會影響GPT-4考試的準確性。 另外，對于符號問題，更直接的情況就是數學公式。 此外，還有化學表達式（如水H_2O的表達式）等，我們下面分別討論。
4.1 文本理解
首先，我們可以看一下漢語的詩歌鑒賞話題。 詩歌語言所涉及的漢語理解能力要求遠高于簡單的理解題。 例如，高考語文詩詞欣賞中，杜甫的《病柏》，第13題詢問了本周詩詞的主要意象是什么，并分別解釋了這些意象的含義。
《病柏》
有柏生崇岡，童童狀車蓋。
偃蹙龍虎姿，主當風云會。
神明依正直，故老多再拜。
豈知千年根，中路顏色壞。
出非不得地，蟠據亦高大。
歲寒忽無憑，日夜柯葉改。
丹鳳領九雛，哀鳴翔其外。
鴟鸮志意滿，養子穿穴內。
客從何鄉來，佇立久吁怪。
靜求元精理，浩蕩⑥難倚賴。參考答案沒有固定形式，但提到了2個關鍵點：
（1）意象包含病柏，丹鳳和鴟鸮
（2）病柏由盛而衰的變化，象征了唐朝從強盛到衰落的滄桑巨變；丹鳳哀鳴，象征正直之人被擯斥在外；
鴟鸮意滿，象征了奸佞小人盤踞于朝中。詩人借助這些意象表達了對國運時局的憂慮。將GPT-4與以上幾點進行對比，我們首先可以看出GPT-4對每張圖像都有比較準確的理解。 例如，柏樹與世界上不可預測的事件有關。 但這個答案其實很難評分，因為關鍵點上有“時代背景”。 這是一個重要的內容。 GPT-4對文章的理解是基于詩人自身的經歷，而不是他對國家命運和現狀的情感。 從本質上來說，這道題似乎是一種答題技巧，可以通過多做題來培養。 總體來說，感覺古詩理解到這個程度就還可以了。
高考語文第13題
另外，在歷史考試的一道題中，我們發現GPT-4有時對題意的理解存在問題。 例如：
高考歷史題7
這道題的正確答案是B。其實GPT-4之所以答錯這道題，是因為對這道題最后一句“this的意思是“中””這個詞的理解。顯然GPT-4是理解的正如清政府的做法，其實正確答案似乎是在問“英國的要求”是什么意思。
縱觀所有考試，GPT-4在理解語文題，甚至理解古文、詩詞方面大體符合標準，但偶爾還是會出現一些理解偏差的問題。
4.2 符號理解
科學考試中經常出現符號表達，如化學中的數學公式、符號等。 對于數學考試，我們發現無論你使用文本輸入符號還是乳膠輸入，都不會影響對GPT-4的理解。 這其實也在我們的預料之中。 更有趣的是，化學符號對于GPT-4來說其實并不是問題。
(1)化學表達式的理解。 之前的高考化學第六題涉及到各種物質溶液，如硫化氫（H_2S）溶液等，能夠正確理解，同時根據下式可以推斷出發生的反應方程式問題要求。 同時，一些特殊的寫法也沒有問題，比如_{38}Sr代表化學元素鍶，38代表原子序數。
(2)物理變量的理解。 物理試題中的變量通常采用數字加單位的形式，例如h_1=2.5m，其中m代表米而不是新變量。 在物理測試中，GPT-4仍然可以很好地處理這些問題。
5.復雜的計算
在處理科學問題時，GPT-4的回答方法遵循循序漸進的思維模式。 即會先將題意分解，然后根據理解表達公式，最后統一解決。 這個思路沒有問題，但是我們發現GPT-4的解題思路可能是正確的，但是最終的答案是錯誤的。 主要原因是解方程能力還存在問題。
(1)方程求解錯誤且難以修正。 這里我們還以高考物理測試第18題為例。 GPT-4 成功分析了問題的含義，并正確列出了方程 fracrlvnxhn{2} = frac{1}{2} cdot frac{qU}{md} cdot t_1^2，其中需要求解 對于 t_1 的表達式，正確答案是 t_1 = sqrt{frac{md^2}{qU}}，但是 GPT-4 永遠無法正確求解，即使它重新打開一個單獨的窗口并生成答案多次，對于這個方程求解 t_1 仍然是錯誤的。 相反，同樣的問題在GPT-3.5中可以正確解決。 這里確實值得討論。 感覺GPT-4解方程的能力似乎有所下降。
GPT-3.5 求解方程
求解方程時出現 GPT-4 錯誤
(2) 計算中存在筆誤，可以更正。 同樣，對于高考物理19題（3），GPT-4在初始公式上存在問題，導致整體計算錯誤。 有趣的是，你可以在問題后問“請檢查你所做的過程是否正確”。 GPT-4可以及時糾正并給出正確答案。 與之前的情況不同，我們可以將其理解為“筆誤”，可以通過及時檢查來糾正。
高考物理第十九題（3）問錯列公式
可以通過提示修改來糾正
對于已經正確的答案，如果多次提示核對，正確答案基本不會被改正。
6. 可探索的方向
通過整體測試，我們大概對GPT-4的高考題有了比較全面的了解。 有人可能會問，我只是想要一個能回答標準答案的GPT-4。 有什么辦法嗎？ 簡單來說，可能有以下幾種想法：
(1)多做真題。 從古文答案中可以看出，GPT-4的理解能力到位，但作答技巧有所欠缺。 要解決這個問題，我們最簡單的辦法就是多做高考真題。 對于GPT-4來說，這個問題其實可以簡化為高考問答場景中的模型微調問題。 我們的目標是讓模型看到更多的示例問題和標準答案，并盡量使其回答與標準答案更加一致。
(2)計算能力有待提高。 從物理題的答案來看，大多數情況下，GPT-4都能根據題意列出正確的表達式，但解方程的能力還有待加強。 對比GPT-3.5時，我們發現GPT-4的能力似乎有所下降。 然而，給定一個計算方程，它實際上可以作為一個獨立的模塊使用。 考慮連接到外部工具來執行將是一個更簡單的解決方案。
（3）報到時間。 從前面第5部分的經驗來看，我們可以通過提示“請檢查您正在做的過程是否正確”來敦促GPT-4進行檢查，這可能會降低錯誤率。
7. 工作的未來
本文盡力給GPT-4一個完整的高考分數，但仍然無法避免以下局限性。 后續我們將繼續完善整體評價流程。
(1)缺乏插圖。 雖然GPT-4號稱可以輸入圖像，但截至目前，我們還沒有找到可用的方法，所以我們只在文本輸入的情況下進行了一輪評估。 如果我們能在不久的將來獲得支持圖像輸入的GPT，-4測試資格將進一步提高當前的評估水平。
（二）試題限制。 我們目前只評估北京2022年高考。 考慮到不同地區、不同年份的高考題有所不同，為了綜合評價大語言模型的高考水平，我們計劃增加不同年份、不同地區的高考題評價。 努力實現自動化、更全面的評估。
八、總結
我們總結了GPT-4在高考測試中的成績，綜合測量了GPT-4的常識記憶和推理能力。 我們發現：GPT-4在常識記憶和閱讀理解方面表現良好，但在復雜計算方面存在一些缺陷。 。 具體來說，GPT-4可以很好地記憶文科知識和理科規則，并且在閱讀理解方面表現良好。 英語考試幾乎滿分。 就連古文的閱讀理解和科學符號的理解也基本正確。 不過我們也發現GPT-4存在問題，在推理考試中表現比較差，比如解方程。 綜上所述，雖然GPT-4在很多方面表現良好，但我們也必須承認它存在一些缺陷，只有進一步了解它的邊界，才會有助于整個社區的發展。