社會工程是一種成熟的網絡攻擊形式，由于人工智能的進步，惡意組織如虎添翼，我們未來可能會面臨更復雜的社會工程攻擊
大語言模型（LLM）
-
是指使用大量文本數據訓練的深度學習模型，可以生成自然語言文本或理解語言文本的含義。像ChatGPT這樣的大型語言模型有數百萬甚至數十億個參數，允許它們以連貫且上下文相關的方式理解和生成文本。
-
ChatGPT 已成為惡意攻擊者武器庫中的強大工具。措辭不佳、錯誤百出的電子郵件使我們的垃圾郵件箱混亂的日子可能很快就會一去不復返了。精心設計的釣魚郵件成功率往往會更高，此類電子郵件的收件人通常包括財務負責人或是在組織里與交易支付等環節有關系的其他人員?，F在可以通過使用LLM增強和優化文本，使釣魚郵件看起來更有說服力。值得注意的是， LLM可使惡意攻擊者的釣魚郵件更好地匹配目標受眾的語言和上下文。
-
據國外網站pcgamer的報道，WormGPT 是暗網上可用的大語言模型（LLM），由一位膽大的黑客設計，不關心道德的局限性，可以被要求完成各種邪惡的任務，包括惡意軟件創建和“與黑帽有關的一切”。相比于ChatGPT，WormGPT不用像OpenAI或谷歌這樣的大型公司那樣，必須要承擔相關的法律義務。這意味著惡意行為者不必擔心他們的帳戶被阻止——他們可以使用它制作任何類型的內容。
深度偽造技術（Deepfake）
-
使用AI和深度學習技術來創建高度逼真的虛假內容，通常使用生成對抗網絡（GAN）的機器學習算法，將現有視頻中個人的面孔替換為其他人的面孔。這些先進的算法通過分析和學習大量數據，生成高逼真度的視覺和音頻內容，這些內容可以欺騙觀看者相信這些的視頻是真實的。這可能采取合法使用的形式，如在社交媒體過濾器上換臉，或采取更邪惡的形式，如捏造政治演講或使用人們的真實姓名進行欺詐。
-
增強深度偽造視頻逼真度的難點在于準確復制頭發和面部特征。當deepfake的畫布具有明顯不同的發際線或面部結構時，生成的結果就看起來就不那么令人信服了。然而，惡意攻擊者發現有很多演員愿意讓人錄制他們的視頻并改變他們的外表。此外，也不乏確信自己的身份永遠不會暴露的人愿意被錄制。
-
目前對深度偽造技術的使用甚至比創建它們的工具的可用性更令人擔憂。令人震驚的是，大約90%的深度偽造技術被用于未經同意的色情內容，尤其是用于復仇目的。使問題更加復雜的是，歐洲缺乏保護受害者的具體法律。
一種有力的勒索手段
-
試想一下，如果有人獲取到偽造的隱藏攝像頭錄像，并利用人工智能將參與者的臉替換為受害者的臉。雖然錄像是偽造的，但很難向他人解釋清楚情況，這種情形下很容易向勒索者妥協。人工智能的引入為包括犯罪活動在內的各個領域帶來了新的實踐路徑，我們可能會發現自己步入了一個各類新型惡意行為者越來越多的時期。
-
關鍵問題仍然存在：惡意行為者將在多大程度上突破界限？我們不能忽視這樣一個事實，即網絡犯罪是一個高利潤的行業，涉及數十億美元。某些犯罪組織的運作方式與合法公司類似，擁有自己的雇員和資源基礎設施。他們深入研究開發自己的deepfake生成器只是時間問題（如果他們還沒有這樣做的話）。以他們雄厚的財力，這不是是否可行的問題，而是是否值得的問題。在這種情況下，答案可能是肯定的。
-
目前有哪些可以預防措施？各種掃描工具已經出現，聲稱它們能夠檢測深度偽造，例如Microsoft的視頻身份驗證器工具等。此外，英特爾聲稱其FakeCatcher scanner在深度偽造檢測方面具有96%的準確率。
語音偽造同樣可對組織構成重大威脅
-
語音偽造（Voice fakes）是人工生成或操縱的錄音，旨在模仿或冒充某人的聲音。與深度偽造視頻一樣，語音偽造也是使用先進的機器學習技術生成的，尤其是語音合成和語音轉換算法，模仿特定個人的語音模式、語氣和細微差別，生成高相似度的音頻。只需幾秒鐘的音頻就能制作出偽造的音頻。但要想有效地欺騙熟人，則需要更長的錄音。如果目標人物在網上很有影響力，那么獲取這些錄音就變得更加簡單。
-
另外，高明的社交工程師可以巧妙地與目標進行超過一分鐘的對話，從而相對輕松地獲取語音樣本。目前，語音偽造比深度偽造具有更高的逼真度，對目標說話模式的研究只會提高攻擊成功的概率。此類攻擊的成功與否取決于惡意行為者愿意投入多少精力，這些類型的社會工程學攻擊在惡意組織內部獲得了很高的關注和資源分配。
-
鑒于語音偽造所帶來的威脅，在進行交易或共享敏感信息的敏感電話中實施雙因素身份驗證顯然至關重要。我們正在進入一個數字通信時代，任何形式的通信的真實性都可能受到質疑。
隨著人工智能日益融入日常生活，它自然也與網絡安全領域交織在一起。雖然語音偽造和深度偽造掃描儀的出現令人充滿希望，但必須徹底測試其準確性?？梢灶A期，滲透測試工作將越來越關注人工智能，從而導致一些安全評估的轉變。
未來，評估知名人士的線上信息以及制造高度逼真的深度偽造內容的難易程度，可能很快就會成為網絡安全團隊工作不可或缺的一部分，甚至可能會出現專門用于打擊社交工程攻擊的事件預防和響應團隊。
目前，如果有人成為深度偽造勒索的受害者，他們能向哪里求助呢？他們肯定不會找自己的雇主說："可能有敏感視頻在流傳，不過不用擔心，這只是一個深度偽造的視頻"。但是，如果有一支能夠以保密的方式解決這一問題，并減輕此類攻擊對個人影響的團隊，那么這將成為公司需要考慮的一項重要服務。
雖然新的人工智能驅動世界對網絡安全格局的變革力量是顯而易見的，但這些變化是好是壞仍然不確定。
內容參考：
https://www.helpnetsecurity.com/2023/09/06/ai-social-engineering/
