在人工智能日益普及的今天，我們與大型語言模型（LLMs）的互動已變得司空空見慣。然而，要讓這些AI系統精準、高效地回應我們的需求，關鍵在於「提示詞」（Prompt）的品質。一份精心設計的自然語言提示詞，往往能大大影響LLM的表現。但究竟什麼才算是「好的」提示詞？最近一項由新加坡國立大學等機構進行的元分析研究，深入探討了這個問題，並提出了一個全面性的框架，為我們與AI的溝通揭示了「黃金法則」。
為何提示詞品質如此重要？
過去，提示詞的評估多半側重於AI模型的輸出結果，例如效能指標或反覆試錯，這可能導致提示詞被「優化」成機器易於理解而非人類友好的形式。這不僅降低了提示詞的可解釋性與可驗證性，更可能引發AI模型的「對抗性行為」（adversarial behaviors），甚至影響其可靠性和人機溝通的流暢度。為了彌補這些局限，這篇開創性論文《What Makes a Good Natural Language Prompt?》提出了一個以屬性（Property）和以人為中心（human-centric）的框架，旨在系統性地評估提示詞的品質。
六大維度，二十一個關鍵屬性
研究團隊透過對2022年至2025年期間超過150篇頂級自然語言處理（NLP）和AI會議論文及技術部落格的全面性調查，識別出21個關鍵提示詞屬性，並將它們歸類為六個評估維度：
- 溝通與語言 (Communication and Language)：
- 字符數量 (Token quantity)：提示詞在最小化字符使用的同時，提供最佳和相關資訊的程度，平衡資訊完整性與效率。
- 表達方式 (Manner)：提示詞在多輪對話中保持清晰、直接，並將不必要的歧義、複雜性和混淆降至最低的程度。
- 互動與參與 (Interaction and engagement)：提示詞明確鼓勵模型透過提問來收集必要細節和要求的程度。
- 禮貌性 (Politeness)：提示詞保持尊重、專業和符合上下文的禮貌程度，包括使用「請」、「謝謝」等禮貌用語。
- 認知 (Cognition)：
- 管理內在負荷 (Manage intrinsic load)：提示詞明確引導模型將複雜任務分解為與LLM技能相符的可執行步驟的程度。
- 減少外在負荷 (Reduce extraneous load)：提示詞透過簡化語言和移除冗餘或不相關資訊來最小化不必要複雜性的程度。
- 鼓勵內在負荷 (Encourage germane load)：提示詞明確鼓勵模型利用其先驗知識或深度工作記憶（例如「自我提問」）來解決問題的程度。
- 指令 (Instruction)：
- 目標 (Objective(s))：提示詞明確傳達任務目標的程度，包括預期的角色、輸出、格式、約束、受眾等。
- 外部工具 (External tool(s))：提示詞明確引導模型識別何時需要特定外部工具或知識資源，並執行相應外部呼叫的程度。
- 元認知 (Metacognition)：評估提示詞在明確引導模型推理、自我監控和自我驗證輸出以達到預期並增強可靠性的程度。
- 示例 (Demo(s))：提示詞明確包含示例、演示和反例以說明所需輸出的程度。
- 獎勵 (Reward(s))：提示詞明確建立反饋和強化機制，鼓勵模型達到所需輸出的程度。
- 邏輯與結構 (Logic and Structure)：
- 結構邏輯 (Structural logic)：評估提示詞結構的邏輯清晰度和連貫性，以及各組成部分之間的進展。
- 上下文邏輯 (Contextual logic)：評估提示詞內及跨溝通輪次中指令、術語、概念、事實及其他組成部分的邏輯一致性和連貫性。
- 幻覺 (Hallucination)：
- 幻覺意識 (Hallucination awareness)：提示詞明確引導模型生成基於事實和證據的回應，同時最小化推測或無根據主張的程度。
- 事實性與創造力的平衡 (Balancing factuality with creativity)：提示詞明確引導模型平衡創造性生成與事實準確性的程度。
- 責任 (Responsibility)：
- 偏見 (Bias)：提示詞是否避免偏見，並明確鼓勵模型生成無文化、性別、種族或社會經濟偏見的內容。
- 安全性 (Safety)：提示詞是否不包含不安全內容，並明確鼓勵模型生成安全輸出。
- 隱私 (Privacy)：提示詞是否不包含敏感隱私資訊，並明確鼓勵模型生成不含個人敏感或可識別資訊的內容。
- 可靠性 (Reliability)：提示詞明確鼓勵明確推理過程和歸因，包括承認模型局限性與不確定性的程度。
- 社會規範 (Societal norms)：提示詞是否排除有害規範，並明確鼓勵模型生成符合廣泛接受的文化、道德和倫理標準的內容。
屬性如何影響模型表現？
研究揭示了提示詞屬性對模型表現的影響存在顯著的不平衡性。例如，在真實世界聊天場景中，溝通屬性最受支持，其次是指令和認知屬性，因為用戶通常會提供豐富的提示詞來處理複雜多變的任務。而在推斷/問答（Reasoning/QA）任務中，邏輯與結構的強調則符合這些基準測試中系統解決方法的重要性。
研究還發現，OpenAI的專有模型（如ChatGPT、GPT-4/4o）和開源的LLaMa模型被研究得最廣泛，這引發了人們對這些屬性在不同模型之間可轉移性效果的擔憂。某些屬性，如「更好的內在負荷管理」、「示範」和「外部工具」，被認為是普遍有效的，因為LLMs在沒有明確指導下，仍需這些輔助來分解複雜任務、從示例中學習或使用工具。然而，「幻覺意識」和「責任」等屬性則更具任務特異性。
高質量提示詞中的屬性關聯性
研究團隊收集了969個高品質提示詞（包括來自ChatGPT Prompts Collections、Awesome ChatGPT Prompts等）進行評估，並分析了這些屬性之間的相關性。他們發現了17對強相關（相關係數 ≥ 0.7）的屬性，其中一些符合現實世界的重疊，例如：「字符數量」、「表達方式」、「結構邏輯」、「上下文邏輯」和「外在負荷」之間存在自然相關性。
令人驚訝的是，研究還發現了「目標」與「內在負荷」、「目標」與「內在負荷（germane load）」之間，以及「幻覺意識」與「可靠性」之間也存在強烈相關。這些觀察提供了實用的提示詞設計建議：
- 優化提示詞的直接性、清晰度和簡潔性，可能同時提高字符效率、邏輯連貫性並減少外在認知負荷。
- 當提示詞邏輯清晰地引導模型自我監控或逐步執行任務時，清晰的目標會自然浮現。
- 在提示詞中明確加入幻覺意識，有助於提高模型對可靠性的認知。
多屬性增強的實證探索
研究進一步探討了結合多個提示詞屬性對模型推理表現的影響，發現在大多數情況下，單一屬性增強通常能產生最大的影響，而不是多個屬性的組合。例如，禮貌性對Llama模型在某些任務上表現最佳，而元認知對Qwen模型則效果顯著。此外，透過對特定屬性（如禮貌性）進行指令調整（instruction-tuning），可以顯著提升模型的性能，這表明在訓練數據中整合某些屬性可以產生更有效和穩健的推理模型。
結語
這項研究為自然語言提示詞的評估和優化奠定了基礎，彌合了人機溝通的鴻溝，並為提示詞研究開闢了新方向。它挑戰了「組合屬性總是會帶來更好結果」的假設，並強調了根據特定模型和任務需求，策略性地選擇和優化單個或特定組合屬性的重要性。隨著AI領域的持續發展，深入探討提示詞屬性與模型行為之間的關係，將是未來研究的關鍵所在。
論文：