AI Security Glossary
什麼是 LLM Data Poisoning？
一種網路攻擊，惡意行為者故意破壞用於訓練或微調 AI 模型的數據，導致其輸出不正確、有偏見或有害的資訊。
企業定義
大型語言模型 (LLM) 透過分析大量文字來學習。Data Poisoning 發生在攻擊者滲透該訓練數據並引入微妙的惡意更改時。因為 AI 從這些損壞的數據中學習，它對某些概念的基本理解就會變得有缺陷。
Data Poisoning 是如何運作的
攻擊者可以透過多種方式破壞數據：
- 後門攻擊： 攻擊者在訓練數據中引入特定的「觸發」詞。當 AI 將來看到這個觸發詞時，它會執行惡意操作或輸出特定的謊言。
- 可用性攻擊： 攻擊者用噪音或矛盾的資訊淹沒訓練數據，降低模型的整體準確性和可靠性。
- 針對性錯誤資訊： 攻擊者巧妙地改變訓練集中的事實（例如，更改財務數據或醫療建議），以操縱 AI 未來的輸出。
為什麼這對企業風險很重要
Data Poisoning 難以察覺，因為惡意數據通常隱藏在數 TB 的合法文字中。如果企業使用從網路上抓取的受損數據來微調開源模型，由此產生的 AI 系統將變得根本不可信。
如果 AI 提供有害或歧視性的輸出，這可能會導致嚴重的聲譽損害、有缺陷的自動化決策以及重大的法律責任。