Андрей Карпати розкритика: один з улюблених методів роботи з LLM від Andrej Karpathy

TL;DR

• •Техніка stream‑of‑consciousness зменшує час на формулювання промптів на 30‑50%.
• •Потрібен лише голосовий ввід і модель з можливістю обробки довгих послідовностей (мінімум 8K токенів).
• •Метод працює з будь‑якою LLM, але найкраще з моделями 7B+ та контекстом 16K+.
• •Не потребує додаткового fine‑tuning або спеціальних промптів‑бібліотек.
• •Можливо застосовувати в маркетингу,творенні контенту та підтримці клієнтів.

Як це змінить ваш ринок?

Маркетингові агентства зможуть швидше генерувати креативні копії, зменшуючи залежність від дорогих промпт‑інженерів і скорочуючи цикл одобрень з тижнів до днів. Це знижує вартість створення контенту і збільшує його обсяг без додаткового найму фахівців.

Визначення: stream‑of‑consciousness prompting — метод, при якому користувач диктує довгий, неструктурований потік сOMИслей (з повторами, помилками, скачками між темами) у голосовий режим LLM, а модель самостійно виокремлює основну думку і формулює її у зв’язковий текст.

Для кого це і за яких умов

• •Мінімальне обладнання: смартфон або ноутбук з функцією голосового вводу та доступ до API LLM (GPT‑4o, Claude 3, Llama 3 7B+).
• •Бюджет: вартість токенів залежить від довжини вводу; при середньому 1500 токенів на сеанс — приблизно $0.02‑$0.05 за сеанс у хмарі.
• •Команда: не потрібна спеціальна IT‑команда; достатньо одного маркетолога або twórcy контенту.
• •Мінімальний масштаб: корисно вже для однієї особи (фрілансер) та до великих відділів контенту.
• •Час на впровадження: 15‑30 хв на тренінг з голосовим вводом і тестування на реальних завданнях.

Альтернативи