AI News
Є ДІЯНегативнаImpact 7/10🏛️ Державне управління BREAKING

Дослідник Джейкоб Коксон підстав у OpenAI та Anthropic через ризики сверхінтелекту

Редакція AI NewsДжерело: e/accОпубліковано Оновлено
e/acc•2 місяці тому•5 переглядів•

Дослідник Джейкоб Коксон, що три роки працював над предобученням в OpenAI та Anthropic, уволився, попереджуючи, що обидві компанії гоняться за сверхінтелектом без достатнього контролю. Він заявляє, що керівник алайменту в Anthropic підтверджує його думку та оцінює ймовірність зникнення людства в наступні 10 років понад 10%.

ВердиктНегативнаImpact 7/10

⚠️ Сигнал тревоги. Для лідерів, хто приймає стратегічні рішення про AI — це не хайп, а реальна оцінка ризиків від тих, хто працює всередині лідерів галузі.

Що це означає для вас

Власнику / керівнику

Запитайте свій AI-команду або постачальника: яке у них є оцінка ймовірності катастрофального ризику від їхніх моделей?

Перший крокНаступному зустрічі з AI-постачальником або внутрішньою командою задайте одне питання: «Яка ваша внутрішня оцінка ймовірності неп контролюваного сверхінтелекту?» (10 хв)

З новини: >10% ймовірності зникнення людства в наступні 10 років

Пропустіть, якщо: якщо ваша компанія не використовує моделі від OpenAI, Anthropic або подібних frontier-лабораторій

Якщо ви приймаєте рішення про AI — запитайте свого постачальника: якою вони оцінюють ймовірність катастрофи?

Отримати карту AI-можливостей →

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

  • •Дослідник з трьох років досвіду в OpenAI та Anthropic уволився через ризики сверхінтелекту
  • •Він попереджає, що обидві компанії не мають достатнього контролю над самопокращуваним ШІ
  • •Керівник алайменту в Anthropic підтверджує ризик та оцінює ймовірність зникнення людства понад 10% у 10 років
  • •Це не зовнішня критика — це попередження з всередині лідерів галузі
  • •Для бізнесу це сигнал переглянути оцінку ризиків при práci з frontier AI

Як це змінить ваш ринок?

Це підвищує регуляторний та репутаційний ризик для компаній, які залежать від моделей OpenAI або Anthropic. Якщо ризик реальний — бізнес може стикнутися з обмеженнями доступу або вимогами щодо прозорості. Лідерам слід готуватися до можливих обмежень на використання найпотужніших моделей.

Визначення: RSI (Recursive Self-Improvement) — процес, при якому ШІ покращує себе самостійно, що може призвести до непередбачених та потенційно неконтрольованих результатів.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

  • •Для лідерів компаній, які використовують API OpenAI або Anthropic: потрібна можливість запитати постачальника про ризик-оцінку, без спецкоманди, 10 хв на запит
  • •Для компаній до 200 людей: це не вимагає змін у інфраструктурі, а лише додає питання до ризик-менеджменту
  • •Якщо ви не використовуєте frontier-моделі — ця новина не змінює ваші дії

Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 | з колонками: Ціна, Де працює, Мін. вимоги, Ключова різниця.

| | OpenAI GPT-4o | Anthropic Claude 3 | Відкриті моделі (Llama 3) | Ціна | $5 / 1M вхідних токенів | $8 / 1M вхідних токенів | Безкоштовно (саморозгортання) | Де працює | Хмара (API) | Хмара (API) | Локально або хмара | Мін. вимоги | Інтернет-з’єднання | Інтернет-з’єднання | GPU 24GB+ для повного розміру | Ключова різниця | Frontier-можливості, високий ризик за новиною | Сильний фокус на безпеку, але ризик за новиною | Повний контроль, але потребує ресурсів для розгортання


💬 Часті запитання

Чи означає це, що слід přest пользоватися моделями OpenAI або Anthropic?

Ні, це не заклик до бойкоту. Це заклик до розумної оцінки ризиків. Якщо ваш бізнес залежить від цих моделей — слід запитати постачальника, як вони оцінюють ймовірність катастрофальних сценаріїв.

Чи є це новиною про AGI?

Не прямо. Мова йде про сверхінтелект через рекурсивне самопокращення (RSI), що є шляхом до AGI, але не гарантує його негативного результату. Акцент — на відсутності контролю над цим процесом.

Чи має слід слідкувати за подібними заявами зсередини компаній?

Так. Якщо більше дослідників публічно висловлюють подібні занепокоєння — це може сигналізувати про системний ризик у галузі, що варто брати до уваги при плануванні.

Підтекст

Це не зовнішній критик або теоретик — це люди з всередині OpenAI та Anthropic, які бачать, як гонка за RSI знижує оглядовість. Їхі попередження сигналізують: навіть лідери галузі не впевнені, що виграють у безпеці.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
superintelligenceAIalignmentexistentialriskOpenAIAnthropicJacobCoxon

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me