Hugging Face використовують для створення дипфейків роздягнення жінок і дітей

The Verge AIблизько 5 годин тому0 переглядів

Дослідження AI Forensics виявило, що сім з дев'яти найпопулярніших моделей редагування зображень на Hugging Face готово генерують неконсенсуальні сексуалізовані дипфейки за простими запитами. Це підвищує репутаційні та правові ризики для бізнесу, що використовує відкриті AI-моделі без власних фільтрів безпеки.

ВердиктНегативнаImpact 6/10

⚠️ Платформа не фільтрує шкідливий контент. Для компаній, що інтегрують відкриті моделі — обов'язково додавайте власні шари безпеки, інакше несете повну відповідальність за вихідні дані.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

  • 7 з 9 топових моделей редагування зображень на Hugging Face генерують дипфейки роздягнення за простими промптами
  • Основні конкуренти (Gemini, ChatGPT) блокують такі запити — Hugging Face ні
  • Дослідження провела європейська некомерційна організація AI Forensics
  • Платформа не впроваджує системну модерацію для розміщених моделей
  • Бізнес, що використовує ці моделі, несе повну юридичну та репутаційну відповідальність

Як це змінить ваш ринок?

Ринок відкритих AI-моделей ділиться на два сегменти: з вбудованими захистами та без них. Компанії, що інтегрують моделі другої категорії, отримують «часову бомбу» — один випадок генерації кримінального контенту через ваш продукт достатній для судових позовів, блокування акаунтів платіжних систем та незворотної втрати довіри клієнтів. Фінанси, медіа, освіта та e-commerce — перші в зоні ризику.

Визначення: Неконсенсуальний дипфейк — синтезоване зображення або відео, створене без згоди зображеної особи, часто сексуалізованого характеру, що є злочином у багатьох юрисдикціях.

Для кого це і за яких умов

  • Лідерство: потрібна політика закупівлі/використання AI — 1-2 тижні на розробку, юрист або CISO
  • IT-команда: впровадження Content Safety API (Microsoft, Google, AWS) або власного класифікатора — 3-5 днів розробки, $0.01-0.05 за запит
  • Маркетинг/Продажі: аудит промо-матеріалів, згенерованих через відкриті моделі — 1 день перевірки
  • Мін. масштаб: будь-яка компанія, що пускає AI-генерований контент всередину/назовні

Альтернативи

Microsoft Content SafetyGoogle Cloud Vision AIAWS RekognitionВласний класифікатор
Ціна$1.50/1K запитів$1.50/1K запитів$1.00/1K запитівGPU-години + розробка
Де працюєХмара, контейнерХмараХмараOn-premise / хмара
Мін. вимогиAPI-ключAPI-ключAPI-ключML-інженер, датасет
Ключова різницяГотові категорії: сексуальне насилля, дитяче вибухуванняСильніша OCR, менш гнучкі категоріїДешевший обсягамиПовний контроль, але витрати на тренування

💬 Часті запитання

Звіт перевірив саме 9 моделей inpainting/outpainting. Але логіка платформи однакова для тисяч інших моделей — системної модерації немає.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

7 днів безкоштовно
HuggingFacedeepfakesAIsafetycontentmoderationnonconsensualimageryopen-sourceAI

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiupskill.live