生成式 AI 的蓬勃發展與其帶來的挑戰

2022 年底， ChatGPT 橫空出世 1。

「ChatGPT」是一個由 OpenAI 開發的自然語言處理模型，它能夠透過文字介面與使用者進行自然而流暢地對話，協助使用者高品質地完成各項工作，舉凡寫作、寫歌、寫程式、改文法錯誤等自然語言任務都難不倒它，在輸入關鍵字的幾秒鐘後，就可產生使用者要求的內容。它的出現受到廣泛的歡迎與追捧，上線 2 個月後活躍用戶即突破一億，普羅大眾都在為它的表現驚嘆，並紛紛研究更好的提示詞以提高使用效率。

到了 2023 年， OpenAI 推出了新的 GPT-4 模型 2，具備更精確的生成結果和處理多模態資料的能力，能夠將手繪的網頁草稿轉換成相對應的程式碼，效果十分驚人。另外一方面，微軟身為 OpenAI 的最大合作夥伴，更趁勢將 ChatGPT 整合至自家的 Bing 搜尋引擎與 Office 等各項產品，提供內容自動生成與摘要的功能，谷歌與其他科技公司也推出類 ChatGPT 服務緊追在後。

而除了 ChatGPT 外，更早之前， AI 繪圖一樣吸引不少大眾的目光， OpenAI 擴散生成模型（Diffusion Model）的文字生成圖片系統「DALL．E-2」3，能夠讓使用者給定任意文字敘述，快速生成高品質的圖片與畫作。同樣地，谷歌、Meta、輝達等科技公司也紛紛推出自己的文字生成影像與影片等生成模型（包含：Imagen 4、Imagen Video 5、Phenaki 6、Make-a-Scene 7、Make-a-Video 8、eDiff-I 9）。可以說隨著ChatGPT與AI繪圖的成功，一時間，生成式 AI （Generative Artificial Intelligence）與相關技術成為人工智慧目前最熱門的研究方向，各式內容生成的工具，如雨後春筍不斷推出，蓬勃發展。

這些生成式人工智慧讓內容創作變得更簡單，讓人們可以更快速大量地創造出高品質的影像與文字內容，一位名為 Sincarnate 的網友就利用類似 OpenAI 的 DALL．E-2 的 AI 繪圖服務 Midjourney 10 生成名為「太空歌劇院」的作品，並在藝術比賽拿下首獎，可見這些技術的優越性。

但這些技術的背後也牽涉許多關於隱私與著作權的問題，因為這些生成模型的訓練資料，大多數都是經由網路爬蟲下載，大部分資料並沒有經過原作者的授權，如 ChatGPT 就使用許多未經授權主流媒體的文章內容進行訓練，至於 AI 繪圖，也是使用大量網路與繪師等未授權圖片進行訓練。另外，有網友收集數十張某知名繪師的作品圖，微調開源文字生成圖像模型 Stable Diffusion 11、12，就可使用微調過的新模型，配合關鍵字輕鬆快速地進行類似風格的 AI 繪圖創作 13，被繪師們認為是竊取繪畫風格。這些未經授權擅自盜用資料的行為，已經造成許多主流媒體與上千位藝術家對提供相關服務的公司進行抗議與提告。

除了隱私與智財權的問題，可以預期將來會有更多的手機應用程式與開源軟體內建這些功能，一般大眾會更容易接觸與使用這些技術。不像傳統複雜的編輯軟體，使用者只要透過幾個簡單的操作與關鍵字就可以完成複雜且高品質的編修，隨著內容生成的門檻大幅降低，這些強大深度生成模型，也可能被有心人士用於生成大量難辨真偽的偽造內容、假新聞、和內容農場文章，如之前受到各界關注的深偽技術（Deepfake），可以把影片的人臉置換成任何他們想要的人臉與表情，或直接對人臉的特徵，如：年齡、性別等特徵直接進行操作。

Facebook 跟 Instagram 等社群軟體就曾多次發現不少使用深偽技術自動生成照片申請的人頭帳號、粉絲專頁與社團，進行詐騙或散播敏感言論。以下為真實案例：英國一間能源公司的 CEO，接到德國母公司上司一通電話，要求他緊急將 24 萬 3 千美金匯至指定供應商帳戶，該 CEO 自認對於上司聲音相當熟悉，所以接到電話之後不疑有它，就派人去轉帳，但其實這通電話是透過聲音轉換（Voice Conversion）技術偽造的詐騙電話 14。

深偽技術不斷推陳出新，如果再配合使用這些最新生成式 AI 技術，則可產生更真實的偽造內容與影片，因此，在這波生成式 AI 的浪潮，舉凡你身邊的資訊，皆不再是眼見為憑，尤其是當這些生成式 AI，可能會一本正經地產生虛構的錯誤內容，更需要你我注意。因此，需要社會各界對相關議題的重視，培養良好的媒體識讀能力，與開發相關的偵測及來源追蹤工具，才能避免可能發生的社會問題。

偽造內容偵測與智財權保護等其他可能的反制手段

隨著生成式 AI 的技術不斷進化，可能導致偽造內容與智財權盜用的氾濫，嚴重的話，也可能會演變成不可忽視的資訊安全與社會信任威脅。美國國防高等研究計劃署（DARPA）早在 2016 年即開始 Media Forensics 研究計畫，開發關鍵技術以遏止相關多媒體偽造內容的氾濫。在計畫結束後，DARPA 更在 2020 年繼續執行 Semantic Forensics 研究計畫，目標為讓機器能理解圖像及影片中所蘊含的語意，做出更精準的偽造內容辨識和事件偵測。同時間，由於劍橋分析事件影響美國總統大選的事件，Meta、谷歌、微軟等大公司也持續投入大量資源於相關鑑識研究，可見其重要性。

要偵測某個影像或文章是否為 AI 生成，最簡單的方式，就是收集正負樣本訓練資料，即真實與 AI 生成的資料，透過監督學習的方式，使用深度學習或其它機器學習的模型訓練一個二元分類器來進行判讀。在 ChatGPT 公開的一段時間後， OpenAI 釋出相關的 AI 生成文章檢測器 15，使用者可至網站輸入相關文章進行偵測，但還是會有無法判別的情況。

訓練二元分類器需要收集大量資料以盡可能包含各種情況，不僅收集與標註費時費力，實務上執行也有相當的困難度。美國史丹佛大學研究團隊提出一個零樣本 AI 文章偵測器 16，針對 AI 生成的文章與人類寫的文章其在語言模型中預測分數的分布在通常不同區域的特性進行設計，在不需要收集大量資料的情況下，也能達到非常不錯的效果。

另外，也有研究者試著在語言模型中加入浮水印 17，讓生成內容包含一些特定的模式（Pattern），藉此讓其更容易被檢測器判斷是否為 AI 生成的內容。而關於 AI 繪圖，有研究學者發現 18、19，可以從訓練好的擴散模型中，抽取原先訓練的樣本，這些研究更引起 AI 繪圖是否有抄襲的疑慮，而要辨別圖片是否是 AI 生成，同樣可以訓練二元分類器進行判讀，也能夠添加浮水印進行著作權保護 20。

但為了避免有心人士利用開源的 AI 繪圖模型，盜用特定藝術家的畫作模仿其藝術風格，大量產生類似風格的繪圖，透過法規的模糊地帶損害藝術家的智財權，美國芝加哥大學 Ben Zhao 教授領導的團隊，開發名為 GLAZE 的 AI 繪圖防禦工具 21。其想法乃基於對抗樣本的概念，即添加人眼不可分辨的微小的躁聲，讓深度學習模型的預測產生錯誤的結果，因此，透過 GLAZE 保護的圖片，當惡意使用者要使用它們微調 AI 繪圖的模型，進行類似風格的創作，將無法產生他們想要的結果。

但是，添加這些對抗擾動會降低原本圖片的品質，而且需要藝術家針對每一張圖片，進行同樣步驟。有鑑於此，美國東北大學 Bau 教授團隊開發「生成模型概念去除技術」22，可以有效抑制擴散生成模型生成某個概念與風格的 AI 繪圖。其原理為利用一個已經訓練好開源的 AI 繪圖模型（老師），透過免分類器引導與知識蒸餾的方式訓練另一個 AI 繪圖模型（學生），抑制指定概念與風格的圖片生成。目前 AI 繪圖就如同深偽內容一樣，仍可能有一些極限，因此生成的內容可能包含一些視覺瑕疵和不合理的地方，最常見的瑕疵是手部的部分，形狀奇怪或是只有 4 個指頭或多於 5 個指頭，圖片就有很高機會是 AI 生成的。

生成式 AI 的技術將不斷地進化與快速地推陳出新，上述的保護方法，也許很快就會被有心人士破解，因此，當人們沉浸於生成式 AI 帶來的便利，也應該考慮它可能帶來的威脅，並對於相關的保護與防衛技術同樣投入大量的研究，包括：生成內容依據的來源追蹤、AI 生成內容偵測、更穩健的數位浮水印或攻擊力更強對抗樣本等研究，讓大眾都能放心地使用生成式 AI 的服務。

  1. https://openai.com/blog/chatgpt
  2. OpenAI, GPT-4 Technical Report, arXiv preprint arXiv:2303.08774v2, 2023.
  3. https://openai.com/dall-e-2/
  4. Saharia, Chitwan, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour et al. “Photorealistic text-to-image diffusion models with deep language understanding.” arXiv preprint arXiv:2205.11487, 2022.
  5. Jonathan Ho, William Chan, Chitwan Saharia, Jay Whang, Ruiqi Gao, Alexey Gritsenko, Diederik P. Kingma et al. “Imagen video: High definition video generation with diffusion models.” arXiv preprint arXiv:2210.02303, 2022.
  6. Ruben Villegas, Mohammad Babaeizadeh, Pieter-Jan Kindermans, Hernan Moraldo, Han Zhang, Mohammad Taghi Saffar, Santiago Castro, Julius Kunze, and Dumitru Erhan. “Phenaki: Variable length video generation from open domain textual description.” arXiv preprint arXiv:2210.02399, 2022.
  7. Oran Gafni, Adam Polyak, Oron Ashual, Shelly Sheynin, Devi Parikh, and Yaniv Taigman. “Make-a-scene: Scene-based text-to-image generation with human priors.” arXiv preprint arXiv:2203.13131, 2022.
  8. Uriel Singer, Adam Polyak, Thomas Hayes, Xi Yin, Jie An, Songyang Zhang, Qiyuan Hu et al. “Make-a-video: Text-to-video generation without text-video data.” arXiv preprint arXiv:2209.14792, 2022.
  9. Yogesh Balaji, Seungjun Nah, Xun Huang, Arash Vahdat, Jiaming Song, Karsten Kreis, Miika Aittala et al. “ediffi: Text-to-image diffusion models with an ensemble of expert denoisers.” arXiv preprint arXiv:2211.01324, 2022.
  10. https://www.midjourney.com/home/?callbackUrl=%2Fapp%2F
  11. https://github.com/CompVis/stable-diffusion
  12. Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer, “High-Resolution Image Synthesis with Latent Diffusion Models,” IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2022.
  13. Ruiz, Nataniel, Yuanzhen Li, Varun Jampani, Yael Pritch, Michael Rubinstein, and Kfir Aberman. “Dreambooth: Fine tuning text-to-image diffusion models for subject-driven generation.” arXiv preprint arXiv:2208.12242, 2022.
  14. https://qz.com/1699819/a-new-kind-of-cybercrime-uses-ai-and-your-voice-against-you/
  15. https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text
  16. Mitchell, Eric, Yoonho Lee, Alexander Khazatsky, Christopher D. Manning, and Chelsea Finn. “DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature.” arXiv preprint arXiv:2301.11305, 2023.
  17. Kirchenbauer, John, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, and Tom Goldstein. “A watermark for large language models.” arXiv preprint arXiv:2301.10226, 2023.
  18. Somepalli, Gowthami, Vasu Singla, Micah Goldblum, Jonas Geiping, and Tom Goldstein. “Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models.” arXiv preprint arXiv:2212.03860, 2022.
  19. Carlini, Nicholas, Jamie Hayes, Milad Nasr, Matthew Jagielski, Vikash Sehwag, Florian Tramèr, Borja Balle, Daphne Ippolito, and Eric Wallace. “Extracting training data from diffusion models.” arXiv preprint arXiv:2301.13188, 2023.
  20. Yu, Ning, Vladislav Skripniuk, Sahar Abdelnabi, and Mario Fritz. “Artificial fingerprinting for generative models: Rooting deepfake attribution in training data.” In IEEE/CVF International Conference on Computer Vision (CVPR), pp. 14448-14457. 2021.
  21. Shan, Shawn, Jenna Cryan, Emily Wenger, Haitao Zheng, Rana Hanocka, and Ben Y. Zhao. “GLAZE: Protecting Artists from Style Mimicry by Text-to-Image Models.” arXiv preprint arXiv:2302.04222 (2023).
  22. Gandikota, Rohit, Joanna Materzynska, Jaden Fiotto-Kaufman, and David Bau. “Erasing Concepts from Diffusion Models.” arXiv preprint arXiv:2303.07345 (2023).