當機器彼此學習、在生成的過程中自我吞噬時，會發生什麼事？圖像模型能從一張隨機圖片中辨認出最快樂的人，或判斷一個人的族裔嗎？當前大多數文字生成圖像的系統，都建立在少數幾個有限的資料集、模型與演算法之上。這些模型乍看像黑盒子，仔細檢視後卻會發現，它們是由多個相互串接的模型與演算法組成的複雜管線。我們運用回授、誤用與駭入等藝術策略，拆解圖像生成模型的內部運作：讓模型反覆面對自己的輸出、拆解文字生成圖像的管線、為圖像加上標籤，並發現意想不到的相關性。講演中，我們分享對 Stable Diffusion 管線的研究、操弄大型公開圖文資料集中的美感評分、揭露 NSFW 分類機制，以及運用 CLIP（Contrastive Language-Image Pre-training）揭示這些模型在日常使用中所隱含的偏見與問題性相關。
講演以我們在生成式 AI 模型上所做的各種實驗展開。首先談我們作為藝術家與程式設計者如何看待這些模型、以及我們對其工作流程的研究，接著深入探討 Stable Diffusion 的管線與資料集。研究過程中我們發現，許多關鍵環節都建立在同樣少數的資料集、模型與演算法上。這讓我們認為，若深入研究某些特定機制，或許能反思圍繞生成式 AI 的更大政治論述。我們把模型拆解為理解其運作所必需的三個步驟：資料集、嵌入與擴散。我們的例子主要以 Stable Diffusion 為基礎，但許多概念也適用於其他生成模型。
隨著資料集與機器學習模型的規模和複雜度不斷增長，理解其細節變得越來越困難。像訓練 Stable Diffusion 所用的大型資料集，往往以本身也採用機器學習的演算法進行篩選。為了「提升」圖像生成品質，LAION 的龐大資料集經過一套美感預測演算法篩選，而這套演算法明顯偏好水彩與油畫。除了美感評分，圖像也會經過 NSFW 分類器評分，輸出圖像含有露骨內容的機率。這套演算法本身也帶有歧視性傾向，我們在講演中加以探討，並進一步追問：我們希望資料集由誰、以何種方式篩選與建構？
許多生成模型建立在 CLIP 及其開源版本 Open-CLIP 之上，以隨機的方式連結圖像與文字：它們連接圖像與文字、將文字數位化，並計算字詞與圖像之間的距離。然而它們在訓練中高度仰賴大量圖文配對，可能因此把偏見帶進資料庫。我們進行了各種「錯誤標註」的實驗並找出其中的相關性——例如用 ThisPersonDoesNotExist 的臉孔判斷誰「快樂」、依外貌探討族裔與職業，以及分析不同文化食物的圖庫照片。結果往往與人的預期相符，但這代表什麼嗎？
第三部分我們更仔細地檢視圖像生成的過程，聚焦於 Stable Diffusion 的管線。像 Stable Diffusion 這樣的生成式 AI 模型，不僅能依文字描述生成圖像，也能處理既有圖像，並依設定相當精確地重現輸入的圖像。然而當這種 AI 重製被遞迴地當作輸入時，誤差會隨著每次迭代累積。我們觀察到，依參數與設定不同，圖像會逐漸變成紫色的圖樣，或收斂成少數幾種平庸的概念。這讓人不禁追問：這些模型究竟有多傾向於回到它們學到的模式？