AI News

Hugging Face використовують для створення дипфейків роздягнення жінок і дітей

Редакція AI NewsДжерело: The Verge AIОпубліковано Оновлено
The Verge AI•4 місяці тому•2 перегляди•

Дослідження AI Forensics виявило, що сім з дев'яти найпопулярніших моделей редагування зображень на Hugging Face готово генерують неконсенсуальні сексуалізовані дипфейки за простими запитами. Це підвищує репутаційні та правові ризики для бізнесу, що використовує відкриті AI-моделі без власних фільтрів безпеки.

ВердиктНегативнаImpact 6/10

⚠️ Платформа не фільтрує шкідливий контент. Для компаній, що інтегрують відкриті моделі — обов'язково додавайте власні шари безпеки, інакше несете повну відповідальність за вихідні дані.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

  • •7 з 9 топових моделей редагування зображень на Hugging Face генерують дипфейки роздягнення за простими промптами
  • •Основні конкуренти (Gemini, ChatGPT) блокують такі запити — Hugging Face ні
  • •Дослідження провела європейська некомерційна організація AI Forensics
  • •Платформа не впроваджує системну модерацію для розміщених моделей
  • •Бізнес, що використовує ці моделі, несе повну юридичну та репутаційну відповідальність

Як це змінить ваш ринок?

Ринок відкритих AI-моделей ділиться на два сегменти: з вбудованими захистами та без них. Компанії, що інтегрують моделі другої категорії, отримують «часову бомбу» — один випадок генерації кримінального контенту через ваш продукт достатній для судових позовів, блокування акаунтів платіжних систем та незворотної втрати довіри клієнтів. Фінанси, медіа, освіта та e-commerce — перші в зоні ризику.

Визначення: Неконсенсуальний дипфейк — синтезоване зображення або відео, створене без згоди зображеної особи, часто сексуалізованого характеру, що є злочином у багатьох юрисдикціях.

Для кого це і за яких умов

  • •Лідерство: потрібна політика закупівлі/використання AI — 1-2 тижні на розробку, юрист або CISO
  • •IT-команда: впровадження Content Safety API (Microsoft, Google, AWS) або власного класифікатора — 3-5 днів розробки, $0.01-0.05 за запит
  • •Маркетинг/Продажі: аудит промо-матеріалів, згенерованих через відкриті моделі — 1 день перевірки
  • •Мін. масштаб: будь-яка компанія, що пускає AI-генерований контент всередину/назовні

Альтернативи

Microsoft Content SafetyGoogle Cloud Vision AIAWS RekognitionВласний класифікатор
Ціна$1.50/1K запитів$1.50/1K запитів$1.00/1K запитівGPU-години + розробка
Де працюєХмара, контейнерХмараХмараOn-premise / хмара
Мін. вимогиAPI-ключAPI-ключAPI-ключML-інженер, датасет
Ключова різницяГотові категорії: сексуальне насилля, дитяче вибухуванняСильніша OCR, менш гнучкі категоріїДешевший обсягамиПовний контроль, але витрати на тренування

💬 Часті запитання

Чи стосується це лише моделей редагування зображень?

Звіт перевірив саме 9 моделей inpainting/outpainting. Але логіка платформи однакова для тисяч інших моделей — системної модерації немає.

Чи можна довіряти моделям з тегами «safety» на Hugging Face?

Теги ставлять автори моделей, не платформа. Незалежний аудит — єдиний гарант.

Які юрисдикції вже карають за такий контент?

ЄС (AI Act, DSA), Велика Британія (Online Safety Act), США (штатні закони про дипфейки), Канада, Австралія. Штрафи сягають 4-6% глобального обертання.

Чи достатньо додати попередження в Terms of Service?

Ні. Регулятори вимагають технічних заходів (safety by design), а не юридичних відмов.

Як швидко можна впровадити базовий захист?

Підключення Microsoft Content Safety API — 1-2 дні розробника. Власний класифікатор — 2-4 тижні.

Підтекст

Hugging Face як найбільший хаб відкритих моделей уникає модерації, бо це загрожує їхній позиції «нейтральної інфраструктури». Інвестори тискуть на масштабування, а не на безпеку — тому відповідальність зсувається на кінцевих користувачів.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
HuggingFacedeepfakesAIsafetycontentmoderationnonconsensualimageryopen-sourceAI

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me