隨著AI生成圖像工具如Lensa、Remini和FaceApp日益普及，人們透過這些應用程式創造的數位形象，已成為線上展示自身的新方式，為使用者帶來愉快、自信或更高的能見度。然而，這類技術的快速發展也引發了對演算法偏見及社會不平等的擔憂，尤其是在印度等多元社會中，AI恐加劇現有的階級與美貌歧視。
AI對美的定義並非憑空想像，而是從其學習的數十億張網路圖像中歸納而來。這些資料集透過標籤、排名、按讚和分享等方式建立，卻普遍反映出既有的社會階層。例如，根據Joy Buolamwini和Timnit Gebru的「Gender Shades研究」顯示，與「美麗」、「成功」或「專業」相關的圖像中，淺膚色、纖瘦體態、年輕面孔以及上流社會的城市美學，始終佔據過高比例。
當前的生成式AI模型，如Midjourney、Stable Diffusion和DALL-E，皆是透過抓取網路、社群媒體和圖庫中數十億張圖像進行訓練，這些資料往往未經本人同意。調查LAION-5B等資料集發現，其中甚至包含私人照片、醫療影像以及原本不打算公開分享的個人內容。AI透過將人臉特徵微調至其所定義的「美」的數學平均值，在抽象的「潛在空間」（latent space）中運作，以達到「美化」效果。
使用者在上傳照片至AI圖像工具時，常需授權公司廣泛的權利，允許儲存、修改和重複使用這些圖像，甚至可能用於訓練未來的模型或分享給第三方。例如，Lensa的「魔幻頭像」風靡一時後，即傳出相關數據隱私問題。部分應用程式還會提取獨特的「臉部嵌入」（facial embeddings），即便原始照片被刪除，這些數學指紋仍可在不同圖像和平台上識別個人。
更令人擔憂的是，用於創建AI生成人像的技術，也同時助長了「深偽」（deepfake）內容的氾濫。根據Sensity AI的研究，線上逾九成深偽內容屬於非自願性色情，其中絕大多數以女性為目標，構成嚴重的性別暴力問題。
在印度，美的理想標準因地域、種姓、階級和文化背景而異。然而，AI生成的美貌往往反映出全球化、菁英化的審美觀，傾向於抹去或修正當地特有的臉部特徵、較深的膚色、非主流體態以及在地風格。儘管AI圖像工具常被視為讓美變得更容易取得，但這種「可近性」並未自動瓦解權力結構。演算法環境鼓勵一致性，促使使用者內化主流審美觀，將能見度與符合標準劃上等號。
女性主義學者疾呼，AI應被重新設計，以呈現美的多樣性和多維度，反映多重且具脈絡性的美學，而非僅收斂於單一理想。該文章指出，若不願挑戰決定誰的美被放大、誰的美被「編輯掉」的系統，我們將可能錯把光滑肌膚和電影般的光線當成進步，卻未能解決根深蒂固的排斥結構。
