近期，Anthropic公司推出了一項創新的安全技術——“憲法分類器”，旨在解決大型語言模型中普遍存在的濫用自然語言提示問題。這項技術通過在大型語言模型中嵌入類似人類價值觀的“憲法”，為模型設定了明確的安全邊界，防止其生成超出預期的輸出。
在最新發布的學術論文中，Anthropic公司的安全保障研究團隊詳細介紹了這一新安全措施。他們指出，在引入憲法分類器后，Claude3.5 Sonnet（Anthropic公司的最新大型語言模型）的越獄成功率顯著降低，降幅高達81.6%。同時，該技術對模型性能的影響微乎其微，生產流量的拒絕率僅增加了0.38%，推理開銷也僅提升了23.7%。
為了驗證憲法分類器的有效性，Anthropic公司還發起了一項挑戰活動。他們設計了一系列與化學、生物、放射和核（CBRN）相關的越獄關卡，邀請用戶嘗試突破。然而，這一活動也引發了一些爭議。有批評者認為，這實際上是在利用社區成員作為免費的安全志愿者或“紅隊隊員”，幫助他們測試閉源模型的安全性。
面對這些質疑，Anthropic公司進行了回應。他們解釋說，成功越獄的模型是通過繞過憲法分類器的防御措施，而非直接規避這些措施。同時，他們也承認了在測試過程中存在的一些問題。例如，一些基于規則的測試系統可能產生了誤報和漏報，導致部分提示的拒絕率異常高。
盡管存在這些挑戰和爭議，但Anthropic公司的憲法分類器仍被視為在解決大型語言模型安全問題上邁出的重要一步。它不僅在遏制模型越獄方面取得了顯著成果，還展示了將人類價值觀融入AI技術中的潛力。然而，需要明確的是，這項技術并非萬能的解決方案。它仍然需要不斷的研究和改進，以應對日益復雜的安全威脅。
