Створено Talkie: вінтажну мовну модель, навчену на текстах до 1931 року
Дослідники створили Talkie, мовну модель з 13 мільярдами параметрів, навчену на 260 мільярдах токенів англійських текстів до 1931 року. Talkie може писати код Python, хоча ніколи з ним не стикалася, і пропонує унікальний погляд на історичні події.
🔬 Цікавий експеримент. Демонструє можливості LLM до узагальнення знань, але поки що далекий від практичного застосування.
🟢 МОЖЛИВОСТІ
- Можливість аналізувати історичні дані без сучасних упереджень
- Створення унікального контенту з історичним колоритом
- Використання як тестового стенду для вивчення можливостей LLM
🔴 ЗАГРОЗИ
- Обмеженість знань може призвести до неточностей у відповідях
- Потребує значних обчислювальних ресурсів для навчання та використання
- Відсутність підтримки та документації може ускладнити розгортання
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Talkie – мовна модель з 13B параметрами.
- •Навчена на 260 мільярдах токенів англійських текстів до 1931 року.
- •Може писати код Python, хоча ніколи з ним не стикалася.
- •Створена колишнім дослідником OpenAI, одним з творців GPT.
- •Код та ваги моделі доступні на GitHub.
Як це змінить ваш ринок?
Для медіа та контент-мейкерів це відкриває можливість створення унікального історичного контенту, аналізуючи дані без сучасних упереджень, що раніше було складно через брак інструментів.
Вінтажна мовна модель – мовна модель, навчена на даних з певного історичного періоду, що дозволяє генерувати текст та робити висновки в контексті того часу.
Для кого це і за яких умов
Для дослідників та ентузіастів, які мають досвід роботи з LLM та доступ до обчислювальних ресурсів. Розгортання може зайняти від кількох годин до кількох днів, в залежності від наявної інфраструктури.
Альтернативи
| Talkie | GPT-3 | Llama 2 | |
|---|---|---|---|
| Ціна | Безкоштовно (open source) | ~$0.02/1000 токенів | Безкоштовно (для дослідницьких цілей) |
| Де працює | Локально або в хмарі | API | Локально або в хмарі |
| Мін. вимоги | GPU (рекомендовано) | API-доступ | GPU (рекомендовано) |
| Ключова різниця | Навчання на історичних даних до 1931 року | Загальне призначення, сучасні дані | Загальне призначення, відкритий код |
💬 Часті запитання
🔒 Підтекст (Insider)
Проект показує, як великі мовні моделі можуть робити висновки про речі, яких вони ніколи не бачили. Це може бути корисним для аналізу історичних даних або для створення унікального контенту.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Data Secrets — оригіналНавчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiupskill.live