本文是人機協作搭配 LLM 產出
本課程從 單一神經元 的運作機制開始，逐步深入 群神經元 和 層神經元 在語言模型中的角色，最後帶入 功能向量 (Functional Vector) 的概念，探索 AI 是如何透過這些結構來生成回應、調整語氣，甚至決定是否拒絕回答問題。
首先，單一神經元的激活方式決定了它在處理文字時所負責的特定特徵。例如，某些神經元可能專門負責情緒表達，而另一些則影響語法結構。然而，單一神經元的影響極其有限，真正影響 AI 決策的，是由多個神經元共同作用的 群神經元機制。當這些神經元組合成一個神經層 (Layer-wise Representation)，我們便能觀察到更高層次的語言理解與推理過程。
這時，研究者發現語言模型的行為並非來自於單一神經層的個別激活，而是由一組具特定功能的向量影響輸出結果，這便是 功能向量 的概念。這些向量控制了 AI 在不同情境下的決策方式，例如 拒絕向量 讓 AI 在敏感問題上選擇拒絕回答，專業語調向量 讓 AI 的語氣變得更正式，說真話向量 則讓 AI 更傾向於基於事實回答問題。此外，這些功能向量可以透過數學運算來組合，形成新的行為模式，使 AI 的決策更加靈活可控。
為了精確解析這些功能向量，研究者採用了 Sparse Autoencoder (SAE) 技術，自動識別語言模型內部的向量結構。透過 SAE，研究人員成功提取 3,400 萬個功能向量，揭示 AI 內部決策過程的關鍵要素，並證明這些向量可以被調整、增強或削弱，以改變 AI 的回應模式。
這堂課程不僅幫助我們理解 AI 如何從 單一神經元的激活 發展到 群神經元的協同運作，最終形成 功能向量的控制機制，更讓我們看到 AI 的行為是可塑的，未來透過精確調整這些向量，AI 可被設計成具備特定風格、個性化應用的智慧系統，為人工智慧技術的發展開啟更可控、更透明的可能性。
https://youtu.be/Xnil63UDW2o?si=poDM5tEw72ewb3eD