Если вам нужна высокая скорость в генерации текста, то groq рулит. 250 токенов в секунду делает (это ~500 символов в сек). Фантастически быстро и при это качество на высоте. Для массовой генерации — must have. Наша ИИ даже близко к таким скоростям не приближается (кстати, включая и chatGTP).

p.s. обратите внимание, что ИИ llama 70b — не маленькая модель, текст про лягушку путешественницу очень связный 🙂 создала.

Русский ИТ бизнес (https://t.me/bezsmuzi)

Источник: https://vk.com/wall-223466481_163