التحيز والتمييز في الذكاء الاصطناعي (AI) و مقاطع الفيديو المزيفة (Deepfake)

Published:

المقدمه ====== تُستخدم خوارزميات الذكاء الاصطناعي (AI) في مهامنا اليومية، بدءًا من محركات البحث (search engines) وتصنيف البريد الإلكتروني (email filtering) وصولًا إلى الإشراف على المحتوى الموجود على شبكات التواصل الإجتماعي (content moderation). التغطية الإعلامية للذكاء الاصطناعي قد تجعلنا نؤمن بواحد من سيناريوهين: سيناريو إيجابي يتمثل في قدرة الذكاء الإصطناعي على ميكنة جميع المهام و حل جميع المشكلات، و سيناريو آخر كارثي حيث يسيطر الذكاء الاصطناعي على البشرية [1]. ومع ذلك، نادرًا ما تنخرط هذه التغطية في نقاش بنّاء حول المخاطر الواقعية التي تصاحب الذكاء الاصطناعي، وتأثيره على المجتمع، والسياسة، والاقتصاد، النوع الجندري والعرق، والتوجه الجنسي، والطبقة الاجتماعية، وغيرها [1]. أحد الجوانب التي تؤثر بها أنظمة الذكاء الاصطناعي في مجتمعاتنا هو تعزيز الديناميكيات القائمة للسلطة والنفوذ. فقد أظهرت الأبحاث أن الأنظمة المعتمدة على الذكاء الاصطناعي عرضة لإعادة إنتاج التحيزات الاجتماعية الضارة [34]، مما يؤدي إلى تعزيز الهياكل الاجتماعية اللافاعله و اللاعادله التي تفضل الأشخاص الذين يتمتعون تاريخيًا بامتيازات، مثل تفضيل الرجال على النساء في الوظائف المرتبطة بمجالات العلوم والتكنولوجيا والهندسة والرياضيات (STEM) [2]. تُعد مقاطع الفيديو المزيفة (Deepfake) والأنظمة التي تنتجها أحد تجليات هذا التعزيز للسلطة، حيث تحمل هذه التقنية مخاطر كبيرة، لا سيما على النساء. تقنيات التزييف العميق (DeepFake) وتأثيرها ================================== تستخدم تطبيقات التزييف العميق خوارزميات ذكاء اصطناعي جاهزة لإنشاء محتوى مزيف. من بين هذه الخوارزميات: الشبكات التوليدية التنافسية (GAN)، والمشفّرات التلقائية التباينية (VAE)، وذاكرة المدى القصير الطويل (LSTM)، والتي تُستخدم لتدريب تطبيقات التزييف العميق على استبدال وجوه الأشخاص في مقاطع الفيديو المختلفة أو نسخ تعابير وجه شخص معين وتطبيقها على شخص آخر [5]. تُظهر التطبيقات مفتوحة المصدر مثل FaceSwap و DeepFaceLab كيف تُستخدم خوارزميات VAE في إنشاء مقاطع فيديو التزييف العميق. إلا أن هذه التطبيقات، مثلها مثل غيرها من أنظمة الذكاء الاصطناعي، لا "تتعلم" فعليًا شيئًا عن المهمة التي يُفترض بها تنفيذها، بل تتعلم علاقات متداخلة بين مجموعة من المتغيرات الموجودة في بيانات التدريب [6]. تدّعي الشركات التي تطور هذه الأنظمة أن قرارات و إختيارات أنظمة الذكاء الاصطناعي صحيحة، دون أي ضمانات بأن هذه القرارات تُتَخذ بناءً على الاسباب الصحيحه، ومن هنا جاء استخدام مصطلح "الصندوق الأسود" لوصف أنظمة الذكاء الاصطناعي. في هذا المقال، نناقش أولًا مخاطر التحيز (bias) والتمييز (discrimination) في خوارزميات الذكاء الاصطناعي بشكل عام. تعني أنظمة الذكاء الاصطناعي المتحيزة هنا "الأنظمة الحاسوبية التي تميز بشكل منهجي وغير عادل ضد أفراد أو مجموعات معينة لصالح آخرين" [49]. ثم نلقي نظرة أقرب على التمييز في مقاطع الفيديو المزيفة العميقة (deep fakes videos)، وتطبيقات التزييف العميق (deep fake)، ونماذج كشف التزييف العميق (deep fake detection systems). التحيز والتمييز في الذكاء الاصطناعي(AI) ========================= هناك العديد من الأبحاث حول التحيز والتمييز في خوارزميات الذكاء الاصطناعي [34, 35]، مما أدى إلى ظهور مجال "الذكاء الاصطناعي المسؤول (Responsible AI)" كمجال بحثي جديد يسعى إلى مناقشة المشكلات المرتبطة بهذه الخوارزميات وإيجاد طرق لبناء أنظمة أكثر موثوقية وعدالة. إحدى المشكلات الأكثر مناقشة هي عدم العدالة، حيث تتخذ الأنظمة قرارات تمييزية بناءً على العرق، أو الجنس، أو الدين، أو غيرها من السمات. من أشهر الأمثلة على ذلك هو خوارزمية COMPAS، وهي أداة تقييم مخاطر تُستخدم في النظام القضائي الأمريكي لتحديد احتمالية تكرار الجريمة من قبل المجرمين المدانين. في عام 2016، كشفت تحقيقات ProPublica أن المتهمين السود كانوا أكثر عرضة لأن يتم تصنيفهم بشكل غير صحيح على أنهم يشكلون خطرًا أعلى لإعادة ارتكاب الجرائم مقارنةً بالمتهمين البيض، الذين كانوا أكثر عرضة لأن يتم تصنيفهم بشكل غير صحيح على أنهم لا يشكلون مخاطر[21]. هناك أمثلة مشابه لتمييز أنظمة الذكاء الاصطناعي ضد المسلمين [24]، العرب، اليهود [26]، ذوي البشرة السوداء، مجتمع الميم [22] و ذوي الاعاقة [25]. يرجع التحيز في أنظمة الذكاء الاصطناعي إلى عدة عوامل، منها: 1. **نقص فهم البعد الاجتماعي والتاريخي للمجتمعات :** غالبًا ما يفتقر الباحثون والمهندسون، الذين يكونوا اغلبهم رجال من ذوي البشرة البيضاء، الذين يطورون هذه الخوارزميات إلى الفهم الاجتماعي والتاريخي للبيانات التي يستخدمونها خاصة بالنسبة للأقليات [27]. 2. **الاعتماد على الأنظمة التمييزية القائمة:** يتم بناء أنظمة الذكاء الاصطناعي فوق أنظمة موجودة مسبقًا، والتي قد تكون متحيزة بالفعل [27]. 3. **عدم المساءلة:** يسمح غياب المساءلة الشركات التقنية الكبرى بإنتاج أنظمة ذكاء اصطناعي قمعية، ثم الادعاء بأن التحيزات التي تظهر فيها مجرد "أخطاء برمجية" [27]. 4. **غياب التنوع بين مطوري الذكاء الاصطناعي:** غالبًا ما يكون مطورو هذه الأنظمة من خلفيات متشابهة، أغلبهم رجال من ذوي البشرة البيضاء مما يؤدي إلى تصميم أنظمة لا تعمل بشكل جيد للجميع [27]. 5. **الثقة الزائدة في الذكاء الاصطناعي (Technochauvinism):** يؤدي سوء فهم كيفية عمل الأنظمة إلى الاعتماد المفرط عليها، حتى عندما تكون غير دقيقة أو متحيزة [27]. التمييز في تطبيقات التزييف العميق(DeepFake) =========================== تشهد مقاطع الفيديو المزيفة العميقة انتشارًا واسعًا، حيث أظهرت دراسة عام 2023 أن عدد مقاطع الفيديو المزيفة العميقة على الإنترنت وصل إلى 95,820 مقطع، بزيادة بلغت 550٪ منذ عام 2019 [36]. تعود هذه الزيادة جزئيًا إلى سهولة الوصول إلى تطبيقات التزييف العميق، حيث إن بعض التطبيقات مفتوحة المصدر متاحة على الإنترنت. على منصات التواصل الاجتماعي الرئيسية، تُستخدم مقاطع التزييف العميق للسخرية من السلطات والأشخاص في مواقع النفوذ، وفقًا لدراسة حللت 1413 مقطع فيديو مزيف على يوتيوب وتيك توك [9]، وهو ما يُعتبر عنصرًا مهمًا في حرية التعبير. ومع ذلك، فإن مقاطع الفيديو المزيفة العميقة تشكل أيضًا خطرًا على المجتمع من خلال نشر المعلومات المضللة، والابتزاز، والتنمر، والتحرش، والأخبار الزائفة، وعمليات الاحتيال المالي [8]. لكن هذه المخاطر تزداد بشكل ملحوظ بالنسبة للنساء، خاصة في مقاطع التزييف العميق للمحتوى الإباحي التي تشكل 96٪ من إجمالي مقاطع التزييف العميق على الإنترنت [7]. وجدت دراسة أخرى أن 100٪ من مقاطع التزييف العميق الإباحية استهدفت نساءً مشهورات، خاصة من الولايات المتحدة وكوريا [9]. حتى المقاطع غير الإباحية تستهدف النساء بشكل رئيسي، حيث كشفت دراسة تحليلية لأهم خمس مواقع إباحية متخصصة في التزييف العميق، و14 قناة يوتيوب غير إباحية، أن 100٪ من المقاطع الإباحية المزيفة استهدفت النساء، في حين أن 39٪ من مقاطع التزييف العميق على يوتيوب استهدفت النساء [7]. من بين التهديدات التي تشكلها هذه المقاطع انتشار المعلومات المضللة، والابتزاز، والتنمر، والتحرش، والأخبار الزائفة، وعمليات الاحتيال المالي. لكن المخاطر الأكبر تقع على النساء، حيث إن 96٪ من مقاطع التزييف العميق الإباحية تستهدف النساء، وغالبًا ما تكون الضحايا من المشاهير [7]. بالإضافة إلى ذلك، تعاني أنظمة كشف التزييف العميق من التحيز ذاته الموجود في أنظمة الذكاء الاصطناعي الأخرى. فقد أظهر الدراسات أن هذه الأنظمة تعاني من أداء ضعيف عند التعامل مع مقاطع الفيديو التي تعرض أشخاصًا من خلفيات عرقية معينة، مما يزيد من احتمالية تصنيف مقاطع الفيديو الخاصة بالنساء والأشخاص ذوي البشرة الداكنة على أنها مزيفة. بما أن خوارزميات الذكاء الاصطناعي تُستخدم في بناء تطبيقات التزييف العميق (Deepfake)، نرى أن التمييز في الذكاء الاصطناعي ينعكس أيضًا في هذه التطبيقات. ويتجلى ذلك في الأداء الجيد لتطبيقات التزييف العميق على مقاطع الفيديو التي تحتوي على مواضيع من الإناث مقارنة بالذكور. على سبيل المثال، تطبيق DeepNude، الذي يتيح للمستخدمين "إزالة ملابس" النساء في الصور، مما يسمح للتطبيق بإنشاء نسخ من الصور الأصلية التي تحتوي على أجزاء من الجسم عارية. لا يؤدي هذا التطبيق بشكل جيد على صور الرجال مقارنة بصور النساء، لأن خوارزمية الذكاء الاصطناعي التي بُني عليها التطبيق تم تدريبها أساسًا على صور النساء [7]. وهذا يوضح كيف يُستخدم الذكاء الاصطناعي لتعزيز ديناميكيات السلطة الجنسية وكيف أن التحيز الجنسي متجذر بعمق في مجتمعاتنا ويُعاد إنتاجه بواسطة خوارزميات الذكاء الاصطناعي. حظرت معظم منصات الوسائط الاجتماعية إنشاء ملفات تعريف التزييف العميق، حيث يتم إنشاء صورة الملف الشخصي والنص باستخدام الذكاء الاصطناعي. تقوم منصات الوسائط الاجتماعية بمراقبة ملفات تعريف المستخدمين عن طريق إزالة تلك التي تحتوي على تزييف عميق باستخدام مزيج من أساليب الكشف التلقائي وأساليب الكشف اليدوي. تعتمد الأساليب التلقائية على استخدام أنظمة الذكاء الاصطناعي للكشف عن ملفات التعريف المزيفة، بينما تعتمد الأساليب اليدوية على البشر للكشف عن الملفات المزيفة. قد يؤدي التصنيف الخاطئ لملف تعريف حقيقي على أنه مزيف إلى حظر أو إزالة ملف المستخدم. قد يؤدي ذلك إلى ضرر اقتصادي إذا كان الملف يستخدم للترويج لخدماتها المهنية. كما يمكن أن يؤدي إلى ضرر غير مباشر قد ينتج عن فقدان رأس المال الاجتماعي [10]. وبالمثل، هناك أدوات تستخدم الذكاء الاصطناعي لاكتشاف مقاطع الفيديو المزيفة تلقائيًا [11،12]. أطلق الباحثون من META تحدي اكتشاف التزييف العميق Deepfake Detection Challenge (DFDC) [13] تشجيع الباحثين على تطوير أدوات أفضل لاكتشاف مقاطع الفيديو والصور المزيفة. في عام 2020، أعلنت Microsoft عن إصدار Microsoft Video Authenticator [14]. Microsoft Video Authenticator هو أداة يمكنها تحليل الصور الثابتة أو مقاطع الفيديو لتقديم درجة ثقة تفيد بأن الوسائط قد تم التلاعب بها اصطناعيًا. بالنسبة للفيديوهات، يمكنها تقديم درجة الثقة في الوقت الفعلي لكل إطار أثناء تشغيل الفيديو. نظرًا لأن هناك مشكلات تحيز أو تمييز في أنظمة الذكاء الاصطناعي المختلفة، بما في ذلك الرؤية الحاسوبية، وهي مجال البحث المتعلق بتقنيات الذكاء الاصطناعي الخاصة بالفيديو والصور، يمكن العثور على نفس المشكلات في الأنظمة التلقائية التي تكشف عن مقاطع الفيديو أو الصور المزيفة. على سبيل المثال، وجدت دراسة أن نحو ثلث مقاطع الفيديو في مجموعة البيانات التي يتم استخدامها عادةً لتدريب نماذج اكتشاف التزييف العميق، FaceForensic++، تتضمن مواضيع من الإناث ذوات البشرة البيضاء [15]. بعد موازنة مجموعة البيانات التدريبية لاختبار قدرة النماذج على التعميم، وجدت الدراسة أن أداء نموذج اكتشاف التزييف العميق على مقاطع الفيديو التي تحتوي على مواضيع من ذوي البشرة الداكنة كان الأسوأ، حيث ارتفعت نسبة الخطأ 22 مرة مقارنة بالفيديوهات التي تحتوي على مواضيع من الذكور البيض (نسبة الخطأ 0.3%) والفيديوهات التي تحتوي على مواضيع من الذكور الأفارقة (6.7%) [15]. كما وجدت الدراسة أن الفيديوهات التي تحتوي على نساء أفريقيات أو آسيويات من المرجح أن يتم تصنيفها بشكل خاطئ على أنها مزيفة مقارنة بالفيديوهات التي تحتوي على رجال من ذوي البشرة البيضاء [15]. هذه النتائج تظهر أيضًا أن الفيديوهات التي تحتوي على نساء تكون أكثر عرضة ليتم تصنيفها بشكل خاطئ على أنها مزيفة [15]. وجدت دراسة أخرى أن السمات الديموغرافية (مثل العمر والجنس والعرق) والسمات غير الديموغرافية (مثل الشعر والبشرة، إلخ) تؤثر في أداء نماذج اكتشاف التزييف العميق [16،17]. وهذا يعني أن نموذج اكتشاف التزييف العميق الذي يمكنه اكتشاف مقاطع الفيديو المزيفة التي تحتوي على نساء شقراوات من ذوات البشرة البيضاء قد لا يكون قادرًا على اكتشاف مقاطع الفيديو المزيفة التي تحتوي على نساء من عرق آخر أو أكبر سناً. ما يجعل اكتشاف الفيديوهات المزيفة أمرًا صعبًا بشكل خاص هو أن خوارزميات الذكاء الاصطناعي وتطبيقات التزييف العميق تتحسن في إنشاء مقاطع الفيديو التي لا تحتوي على أي تشوهات. مما يعني أن الطرق الحالية المستخدمة لاكتشاف مقاطع الفيديو المزيفة، مثل اكتشاف التشوهات في مقاطع الفيديو المزيفة، لم تعد فعالة. هذا يجعل المهمة صعبة ليس فقط على نماذج اكتشاف التزييف العميق التلقائية، ولكن أيضًا على البشر. على سبيل المثال، في دراسة حيث قام الباحثون بدراسة قدرة 210 شخصًا على اكتشاف مقاطع الفيديو المزيفة، وجد الباحثون أن الناس لا يمكنهم اكتشاف التزييف العميق بشكل موثوق، وأن زيادة وعيهم أو استخدام الحوافز المالية لم يحسن دقة اكتشافهم. كما وجد الباحثون أن الأشخاص الذين تم دراستهم يميلون إلى الخلط بين مقاطع الفيديو المزيفة واعتبارها حقيقية بدلاً من العكس [18]. هذا يعني أن مهمة اكتشاف الفيديو المزيف هي مهمة صعبة للغاية، ليس فقط على نماذج اكتشاف التزييف العميق ولكن أيضًا على البشر. وجدت دراسة أخرى أن دقة الأشخاص في اكتشاف مقاطع الفيديو المزيفة تختلف حسب الخصائص الديموغرافية، وأن دقة الأشخاص تتحسن عندما يصنفون مقاطع الفيديو التي تتوافق مع خصائصهم الديموغرافية [19]. هذا يضيف عنصر التحيز في البشر، وهو أمر من المرجح أن يتم نقله إلى نماذج اكتشاف التزييف العميق من خلال استخدام تسميات بشرية متحيزة في مجموعة البيانات التدريبية. تشير هذه النتائج إلى أنه من الصعب إيقاف انتشار مقاطع التزييف العميق على منصات الوسائط الاجتماعية من خلال الاكتشاف فقط. وأن جهود منصات الوسائط الاجتماعية لاكتشاف وإزالة مقاطع التزييف العميق لا تؤدي بشكل جيد بالنسبة للمجموعات المهمشة مثل النساء والأشخاص من ذوي البشرة الملونة – وهي نفس الفئات المستهدفة من قبل مقاطع الفيديو المزيفة في المقام الأول. البشر ليسوا بالضرورة أفضل أو أقل تحيزًا في اكتشاف التزييف العميق أيضًا. حلول مقترحة =========== وهذا يعني أنه لحل التحدي الذي تطرحه مقاطع التزييف العميق على وجه الخصوص، ومشكلة المعلومات المضللة والتضليل بشكل عام، يجب أن نفكر أبعد من الحلول التقنية للعثور على حلول بخلاف تطوير أدوات الذكاء الاصطناعي لحل مشكلة تم إنشاؤها بالفعل بواسطة أدوات الذكاء الاصطناعي. من ناحية أخرى، لا يمكننا الاعتماد فقط على المراجعين البشريين للمحتوى لاكتشاف التزييف العميق أو المعلومات المضللة والتضليل، حيث إنهم غير موثوقين، بالإضافة إلى أن مراقبة المحتوى مهمة شاقة قد تتسبب في مشاكل نفسية للمراجعين [39، 40]. نظرًا لأن البشر غير موثوقين في اكتشاف التزييف العميق ونماذج الذكاء الاصطناعي الحالية لاكتشاف التزييف العميق متحيزة، يجب التفكير في إمكانيات أخرى. قد تكون الخطوة الأولى إلى الأمام هي تحسين نماذج الكشف عن التزييف العميق الحالية من خلال تضمين السياقات الاجتماعية والتاريخية في مجموعة البيانات التي تم جمعها لتدريب نماذج الذكاء الاصطناعي لاكتشاف التزييف العميق. على سبيل المثال، يجب أن يُؤخذ في الاعتبار تاريخيًا أن النساء من ذوات البشرة الملونة أكثر عرضة للتشيؤ الجنسي مقارنة بالنساء البيض [43، 44]. وهذا يعني أنه من الضروري تدريب نموذج كشف التزييف العميق باستخدام مجموعة بيانات شاملة تمثل الأشخاص من مختلف الفئات الديموغرافية بشكل متوازن. من أجل حل طويل الأجل، نحتاج إلى سياسات وتنظيمات أكثر صرامة يمكن أن توقف انتشار تطبيقات التزييف العميق بفعالية، أو على الأقل تجعل من الصعب استخدامها. على سبيل المثال، تم تعطيل مستودع GitHub الخاص بـ DeepFaceLab بواسطة GitHub [20]. ومع ذلك، جاء ذلك متأخرًا بعد أن تم استخدامه لإنشاء 95٪ من مقاطع التزييف العميق كما زعمت منتديات التزييف العميق ومجتمع المبدعين [42]، ولا يزال يتعين اعتماده من قبل العديد من الشركات الأخرى مثل متجر Apple الذي يستضيف DeepFaceLab - Face Swap Editor [41]. تحميل الأشخاص المسؤولية عن مقاطع الفيديو التي يقومون بإنشائها وخلق مساحات إنترنت آمنة بدلاً من بناء مساحة مليئة بالكراهية والمعلومات المضللة والتضليل لتعزيز التفاعل وتحقيق الأرباح هو خطوة مهمة أخرى. وبالمثل، من الضروري تنفيذ سياسات تحمي بياناتنا على الإنترنت من أن يتم جمعها بشكل جماعي واستخدامها لتدريب أي خوارزمية ذكاء اصطناعي. الخاتمة ======== ناقشنا في هذا المقال قضايا التحيز والتمييز في خوارزميات الذكاء الاصطناعي، مع التركيز على تطبيقات التزييف العميق. كما استعرضنا مدى موثوقية البشر والأنظمة الآلية في اكتشاف المقاطع المزيفة، وقدمنا بعض الحلول للحد من انتشار التزييف العميق، بما في ذلك تحسين البيانات المستخدمة في التدريب وفرض لوائح أكثر صرامة. تبقى الحاجة ملحة إلى استراتيجيات شاملة تحمي الأفراد من الأضرار المحتملة لهذه التقنية المتطورة.

References:

  1. https://www.elgaronline.com/edcollchap/book/9781803928562/book-part-9781803928562-5.xml
  2. https://www.reuters.com/article/world/insight-amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK0AG/
  3. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3705658
  4. https://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf
  5. https://insights.sei.cmu.edu/blog/how-easy-is-it-to-make-and-detect-a-deepfake/
  6. https://efatmae.github.io/files/publications/2021/sigir_2021.pdf
  7. https://regmedia.co.uk/2019/10/08/deepfake_report.pdf
  8. https://www.security.org/resources/deepfake-statistics/
  9. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4759677
  10. https://dl.acm.org/doi/pdf/10.1145/3613904.3641999
  11. A survey of face manipulation and fake detection. arXiv preprint arXiv:2001.00179, 2020.
  12. The creation and detection of deepfakes: A survey. ACM Computing Surveys (CSUR), 54(1):1–41, 2021.
  13. https://ar5iv.labs.arxiv.org/html/2006.07397
  14. https://blogs.microsoft.com/on-the-issues/2020/09/01/disinformation-deepfakes-newsguard-video-authenticator/
  15. https://www.ijcai.org/proceedings/2021/0079.pdf
  16. Analyzing Fairness in Deepfake Detection With Massively Annotated Databases https://ieeexplore.ieee.org/abstract/document/10438899
  17. Deepfake: Classifiers, Fairness, and Demographically Robust Algorithm https://ieeexplore.ieee.org/abstract/document/10581915
  18. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8602050/
  19. https://www.nature.com/articles/s44260-024-00006-y
  20. https://github.com/iperov/DeepFaceLab/blob/master/README.md
  21. https://www.propublica.org/article/ how-we-analyzed-the-compas-recidivism-algorithm.
  22. Fairness for Unobserved Characteristics: Insights from Technological Impacts on Queer Communities https://dl.acm.org/doi/10.1145/3461702.3462540
  23. AI ageism: a critical roadmap for studying age discrimination and exclusion in digitalized societies https://link.springer.com/article/10.1007/s00146-022-01553-5
  24. https://www.vox.com/future-perfect/22672414/ai-artificial-intelligence-gpt-3-bias-muslim
  25. How Could Equality and Data Protection Law Shape AI Fairness for People with Disabilities?https://dl.acm.org/doi/10.1145/3473673
  26. https://www.unesco.org/en/articles/new-unesco-report-warns-generative-ai-threatens-holocaust-memory
  27. On the Origins of Bias in NLP through the Lens of the Jim Code https://arxiv.org/abs/2305.09281
  28. SOS: Systematic Offensive Stereotyping Bias in Word Embeddings https://aclanthology.org/2022.coling-1.108/
  29. Systematic Offensive Stereotyping (SOS) Bias in Language Models https://arxiv.org/abs/2308.10684
  30. Race After Technology https://www.ruhabenjamin.com/race-after-technology
  31. https://www.wired.com/beyond-the-beyond/2019/01/safe-face-pledge/
  32. https://sitn.hms.harvard.edu/flash/2020/racial-discrimination-in-face-recognition-technology/
  33. More Than a Glitch https://mitpress.mit.edu/9780262548328/more-than-a-glitch/
  34. Biases in Large Language Models: Origins, Inventory, and Discussion https://dl.acm.org/doi/10.1145/3597307
  35. Ethics and discrimination in artificial intelligence-enabled recruitment practices https://www.nature.com/articles/s41599-023-02079-x
  36. https://www.securityhero.io/state-of-deepfakes/#:~:text=The%20total%20number%20of%20deepfake,of%20all%20deepfake%20videos%20online.
  37. Twitter Universal Dependency Parsing for African-American and Mainstream American English https://aclanthology.org/P18-1131/
  38. https://freedomhouse.org/report/freedom-net/2023/repressive-power-artificial-intelligence
  39. Behind the Screen: Content Moderation in the shadow if social media https://yalebooks.yale.edu/book/9780300261479/behind-the-screen/
  40. Content Moderation: The harrowing, traumatizing job that left many African data workers with mental health issues and drug dependency https://data-workers.org/fasica/
  41. https://apps.apple.com/us/app/deepfacelab-face-swap-editor/id1568914185
  42. https://www.deepfakevfx.com/downloads/deepfacelab/
  43. Revisiting the Jazebel Stereotype: The impact of Target Race on Sexual Objectification https://journals.sagepub.com/doi/10.1177/0361684318791543
  44. OpinionL Society needs to stop sexualizing Latina women https://www.statepress.com/article/2021/02/spopinion-society-needs-to-stop-sexualizing-latina-women
  45. https://urfjournals.org/open-access/beyond-traditional-assessment-exploring-the-impact-of-large-language-models-on-grading-practices.pdf
  46. https://d1wqtxts1xzle7.cloudfront.net/115274703/2105-libre.pdf?1716614482=&response-content-disposition=inline%3B+filename%3DConfronting_Structural_Inequities_in_AI.pdf&Expires=1728486104&Signature=VfIoc~qNQ4f~6h~Ohs7G8BtY8vHMgoP0aNb8YOaIGpJl4tfarsGjlCnYGRDQZzEicat5mzfID9ZN1W756Z8pVpwzWUGvGwPPexF-VTJQYtOB352nIFgDHaDtOSD7u3ReE3dXI96Eg3o3pyynrzj2FRze5eCvC0nu3Tvg85kpoaZf4WiB15DpFnMoPmr5b1V5M-LXZLKY1gilSzrTh4sikeZ3JAl~sgqAHxqkWn3wK6lZ2CcfbV4CXuozUxBbb-6VJFuuPytF7djk7M0rQEdKdIgwH547nbionEXkwjf1QZgROAUfc2q7iYV4XbXudxd5BF8VHLJ26Zkpb5G7S-~t0A__&Key-Pair-Id=APKAJLOHF5GGSLRBV4ZA
  47. https://link.springer.com/article/10.1007/s40593-021-00285-9#ref-CR112
  48. https://www.frontiersin.org/journals/psychology/articles/10.3389/fpsyg.2018.00481/full
  49. https://aclanthology.org/Q18-1041.pdf