我們現在知道AI如何「思考」了——實際上它幾乎沒在思考 / We Now Know How AI 'Thinks'—and It's Barely Thinking at All (WSJ)

我們現在知道AI如何「思考」了——實際上它幾乎沒在思考 / We Now Know How AI 'Thinks'—and It's Barely Thinking at All (WSJ)

日期: 2025-04-26

來源: https://www.wsj.com/tech/ai/how-ai-thinks-356969f8?mod=panda_wsj_section_alert

---

引言 (Introduction)

• 背景概述：隨著人工智能技術的快速發展，OpenAI、Anthropic、Google等領先AI公司的領導者持續預測AI即將達到人類級別的智能。然而，越來越多的研究人員對此提出質疑，並開始深入研究AI系統的內部運作機制。

• 核心事件：新興的「機械可解釋性」(mechanistic interpretability)研究領域揭示了當前大型語言模型(LLM)的思考方式與人類截然不同，它們更像是依靠大量啟發式規則(heuristics)的集合，而非真正理解世界的模型。

• 重要性與目的：這一發現對於評估AI是否真的接近人類級別的通用智能(AGI)至關重要，本摘要旨在深入剖析研究人員如何探索AI思維的內部機制，以及這些發現對AI未來發展的影響。

• 關鍵摘要：研究顯示，現今的AI系統並非如某些專家所宣稱的那樣接近AGI，而是通過記憶和應用大量特定情境的規則來模擬智能，這種方法與人類建立因果關係和預測未來的方式有本質區別。

主要內容分析 (Main Content Analysis)

• AI思維的本質：啟發式規則的集合而非世界模型

• 關鍵事實與論點:
• 研究人員開發了新工具，能夠探索大型語言模型的內部運作機制，這一領域被稱為「機械可解釋性」(mechanistic interpretability)
• 聖塔菲研究所教授Melanie Mitchell指出，目前存在關於這些模型實際運作方式的爭議，以及描述它們時使用的擬人化語言問題
• Mitchell在最近的一系列文章中論證，越來越多的研究表明，這些AI模型似乎是開發了巨大的「啟發式規則集」(bags of heuristics)，而非創建更高效的心智模型
• 這些啟發式規則是解決問題的捷徑，而非像人類那樣通過理解因果關係來推理

• 深入分析:
• 人類和動物思維的一個關鍵特徵是建立「世界模型」，包含因果關係的理解，這使我們能夠有效地預測未來和推理未知情況
• 相比之下，AI系統雖然能夠產生流暢的文本並表現出表面上的推理能力，但它們的內部機制更像是一個龐大的規則集合，而非真正的理解
• 哈佛大學AI研究員Keyon Vafa表示，「啟發式規則集」理論為他解開了一個謎題，這正是他們嘗試描述的現象
• 這種結構性差異解釋了為什麼AI在面對訓練數據範圍外的問題時表現不佳，它們缺乏人類那種靈活適應新情況的能力

• 曼哈頓導航實驗：AI如何「記憶」而非「理解」

• 關鍵事實與論點:
• Keyon Vafa及其團隊進行了一項實驗，訓練AI模型學習曼哈頓的街道導航指令
• 實驗結果顯示，AI建立的「心智地圖」與實際的曼哈頓街道地圖完全不同
• 該模型推斷出許多不可能的操作，如跨越中央公園的路線或對角線穿越多個街區
• 儘管如此，該模型仍能以99%的準確率提供曼哈頓任意兩點間的逐步導航指示

• 深入分析:
• 這一實驗清晰地展示了AI與人類思維的根本差異：AI並非通過理解城市的拓撲結構來導航，而是記住了無數特定情境下的規則
• 當研究團隊封鎖了虛擬曼哈頓僅1%的道路，迫使AI繞道而行時，其表現顯著下降
• 這表明AI缺乏人類那種能夠靈活應對小變化的能力，一個人可能無法以99%的準確率背誦紐約市的逐步導航指示，但能夠輕鬆避開道路施工
• AI模型之所以如此龐大，部分原因是它們必須記住無數的啟發式規則，而無法像人類那樣將知識壓縮成更高效的心智模型

• AI發展的局限性與未來趨勢

• 關鍵事實與論點:
• 研究顯示，AI在數學等領域的表現存在特殊性，例如它們為不同範圍的數字乘法學習了不同的規則集
• 這些發現表明，當前的AI系統實際上是過度複雜的「魯布·戈德堡機器」(Rube Goldberg machines)，充滿了臨時拼湊的解決方案
• 這可能解釋了為什麼不同公司的AI模型似乎以相同的方式「思考」，並趨向於相似的性能水平
• 多位AI領域的領導者仍然預測AGI即將到來：埃隆·馬斯克(Elon Musk)聲稱AI將在2026年超越人類智能，OpenAI的Sam Altman表示指向AGI的系統正在出現
• Anthropic的首席安全官警告稱，「虛擬員工」將在一年內進入美國公司

• 深入分析:
• AI研究人員此前也曾過度樂觀：1970年，麻省理工學院教授Marvin Minsky告訴《生活》雜誌，計算機將在「三到八年內」達到普通人的智能水平
• 對AI思維局限性的研究可能是改進它們的重要部分，MIT AI研究員Jacob Andreas寫道，更好地理解語言模型的挑戰會帶來新的訓練方法
• 儘管AI的「思維」能力可能正在趨於平緩，但它們仍將繼續發展並改變我們的生活
• 軟件開發人員才剛剛開始探索如何利用這些無疑令人印象深刻的系統來提高生產力

多元觀點 / 潛在爭議 (Multiple Perspectives / Potential Controversies)

• 文章呈現了AI發展領域中兩種對立的觀點：
• 一方面，OpenAI、Anthropic、Google等公司的領導者堅信AI即將達到人類級別的智能，Sam Altman甚至表示「指向AGI的系統正在出現」
• 另一方面，越來越多的研究人員質疑這一觀點，認為當前AI架構存在根本性限制，它們僅僅是通過學習大量啟發式規則來模擬智能

• 關於AI是否已經或即將達到AGI的爭議核心在於對「理解」和「思考」的定義：
• 支持者指出AI能夠產生流暢的文本，表現出表面上的推理能力，最近在「推理模型」方面的進展進一步說服了一些觀察者
• 批評者則認為，真正的智能需要建立因果關係的世界模型，而非僅僅是規則的集合，AI在面對訓練數據範圍外的問題時表現不佳證明了這一點

對投資方面的影響 (Investment Impact)

• 影響分析：
• 對AI技術公司的影響：這些研究發現可能導致投資者重新評估AI技術公司的估值，特別是那些主要依靠AGI承諾吸引投資的初創公司
• 對AI基礎設施提供商的影響：如果AI模型確實需要更大的規模來通過「啟發式規則集」實現更好的性能，這可能意味著對計算資源的需求將繼續增長，有利於NVIDIA等芯片製造商和雲服務提供商
• 對整體市場的影響：如果投資者開始認識到AGI可能不會如某些預測那樣很快到來，可能會導致AI相關股票的估值調整，特別是那些估值過高的公司

• 機會與風險：
• 投資機會：專注於將現有AI能力應用於實際業務問題的公司可能會表現更好，因為它們的商業模式不依賴於AGI的實現
• 同時，研究AI局限性的公司可能開發出更有效的訓練方法，正如MIT研究員Jacob Andreas所指出的
• 主要風險：過度投資於承諾即將實現AGI的公司可能面臨風險，特別是如果這些公司的估值主要基於這一承諾
• 不確定性：AI發展的實際路徑和時間表仍然高度不確定，這增加了投資風險

• 應對策略思考：
• 投資者可以考慮更加關注那些專注於將現有AI技術應用於解決實際業務問題的公司，而非僅僅追逐AGI願景的公司
• 密切關注AI研究領域的進展，特別是「機械可解釋性」方面的突破，這可能提供關於AI實際能力和局限性的更清晰圖景
• 評估公司時，應考慮其AI策略是否過度依賴於AGI的實現，或者是否有更實際的應用路徑
• 請強調：此處僅為基於新聞內容的邏輯推演與分析，不構成任何具體的投資建議。

結論 (Conclusion)

• 核心訊息回顧：最新研究揭示，當前的AI系統並非如某些專家所宣稱的那樣接近AGI，而是通過記憶和應用大量特定情境的規則來模擬智能。這一發現對於評估AI技術的實際能力和未來發展路徑至關重要。

• 綜合評估：這些研究結果可能標誌著AI發展敘事的轉折點，從過度樂觀的AGI預測轉向對AI實際能力和局限性的更務實理解。儘管如此，AI技術仍將繼續發展並改變我們的生活，只是可能沿著與某些預測不同的路徑。

• 未來展望 / 後續關注點：值得關注的是「機械可解釋性」研究領域的進一步發展，以及這些發現如何影響AI訓練方法的演進。同時，觀察主要AI公司如何調整其敘事和研究方向，以及投資者如何重新評估AI技術公司的估值，也將提供重要線索。

---

免責聲明：本文內容由 AI 輔助整理與摘要，僅供參考，請查閱原始來源獲取完整資訊。

補充

機械可解釋性:

https://ck-intelligent-fortune-blog.blogspot.com/2025/04/llm-mechanistic-interpretability-for.html

“Bag of heuristics”（啟發式規則袋）這一說法在近期對大型語言模型（LLM）機械可解釋性（mechanistic interpretability）的討論中被廣泛使用，最早可追溯到：

Melanie Mitchell（聖塔菲研究所）系列文章（2024–2025）

Mitchell 在其 Substack 博客《LLMs and World Models》第一、二篇文章中首次以「bag of heuristics」來形容當前大型語言模型的內部機制，指出它們更像是一大堆針對特定任務、特定情境的捷徑規則集合，而非真正建構起世界因果關係的心智模型。

更早的認知科學與專家系統背景

− 在 1970 年代，MIT 的 Herbert A. Simon 和 Allen Newell 在《Human Problem Solving》（人類問題解決）一書中，提出人類與早期人工智能系統均依賴「啟發式」（heuristics）來搜尋解決方案。

− 1980–1990 年代的專家系統（Expert Systems）則以大量 if‑then 規則組成「知識庫」，本質上也是一種類似「規則袋」的實現，只不過當時並未稱為 “bag of heuristics”。

總結來說，當前語境下的“bag of heuristics”一詞，最直接源自 Mitchell 等機械可解釋性研究者對 LLM 內部工作方式的新比喻；而其所指涉的「啟發式規則集合」概念，則可回溯至 Simon & Newell 對認知和 AI 啟發式方法的早期闡述。

在目前的研究與產業討論中，「bag of heuristics（啟發式規則袋）」這一比喻正逐漸獲得以下幾類開發者與研究人員的認可，儘管各方用詞不盡相同，但核心觀點趨於一致：

機械可解釋性（Mechanistic Interpretability）社群

Anthropic、Google DeepMind、OpenAI 等機構旗下的可解釋性團隊，都在其內部或公開技術博客中，陸續揭示大型模型內部其實蘊含了大量專門對付特定任務的「電路」或「子網路」（subcircuits）。這些子網路在本質上，就像是針對不同情境設計的一類啟發式規則集合。

代表作：Google DeepMind「Transformer Circuits」系列文章（Chris Olah 等人），Anthropic 在其 Interpretability Roadmap 中對模型微觀結構的研究，都強調模型是靠多個「heuristic circuit」協同工作來完成推理和生成。

學術界與獨立研究者

Melanie Mitchell（聖塔菲研究所）在其 Substack 博客《LLMs and World Models》專文中，以「bag of heuristics」點明當前 LLM 並未構建完整因果世界模型，而是堆疊大量針對具體問題的猜測捷徑。

哈佛大學的 Keyon Vafa 團隊在 Manhattan 導航實驗中，觀察到模型其實是「記憶」了無數特定起訖點的路徑規則，進一步佐證了這一理論。

MIT 的 Jacob Andreas 等人也在論文與技術博客中呼應：更深入理解這些「啟發式規則」機制，能為改進訓練方法提供新思路。

大模型開發公司內部觀點

雖然 OpenAI、Anthropic、Google 等公司官方對外報告或宣傳文檔中，較少直接使用「bag of heuristics」這樣的比喻，但研發團隊在技術白皮書與學術發表裡，卻反覆發現並描述模型內部的「局部歸納規則」（local induction heuristics）與「專用算子」（specialized operator），本質與「啟發式規則袋」一致。

以 OpenAI 為例，其針對 GPT 系列中「induction heads」（誘導頭）的研究，就揭示了模型如何透過特定注意力機制來實現文本模式複用，本質上是一種啟發式策略。

小結：

– 「Bag of heuristics」並非空穴來風，而是當前機械可解釋性研究裡一個被多方驗證、研究人員頻頻提及的核心概念；

– 各大模型開發機構的內部研究或公開技術博客，已多次以不同術語、不同層次論述了相同本質——模型靠大量針對性啟發式規則而非統一世界模型來「模擬思考」。