У Groq на їх ютуб каналі є демо проекта iter на моделі mixtral-8x7b-32768 у терміналі на nix-shell. Я не тестував - його підхід усе друкувати й мати мінімум контролю над генерацією.
1:53 Зате є крута фішка команда reflextion - коли у модель зайде 6 запитів з інструкією подумати над проблемою.
Відео з 8 березня, а теперь ще є llama3-70b-8192 - але 8к проти 32к контекстне вікно.
Для VSCode у каталозі розширень я знайшов Groqopilot v0.0.81, але зараз він скоріш не працює ніж працює.