Новый ИИ-чип Groq предлагает увеличить скорость работы ChatGPT в 13 раз
22 февраля
2024
2024
Groq – компания, занимающаяся изготовлением чипов искусственного интеллекта, заявляет, что их использование позволит нейросетям работать значительно быстрее. Это поможет пересечь барьер искусственности в общении с чат-ботом, пишет Gizmodo.
И это недалеко от правды, чат-бот от Groq демонстрирует невероятную скорость, генерируя ответ пользователи за доли секунды, цитируя использованные источники. В одной из демонстраций ведущая CNN пообщалась с чат-ботом и осталась пораженной скоростью ответов.
Groq создает ИИ-чипы под названием Language Processing Units (LPU) и утверждает, что они быстрее графических процессоров NVIDIA (GPU). Графические процессоры NVIDIA считаются отраслевым стандартом для запуска ИИ-моделей, но первые результаты показывают, что LPU могут сдвинуть их с пьедестала.
Groq – это «двигатель выводов», а не чат-бот, как ChatGPT или Gemini. Он не работает сам по себе и не имеет цели заменить их. Он помогает этим чат-ботам работать быстрее. На сайте Groq вы можете лично протестировать новинку.
Groq производит 247 токенов в секунду по сравнению с 18 токенами в секунду у Microsoft, согласно результатам теста от Artificial Analysis, опубликованным на прошлой неделе. Это означает, что ChatGPT мог бы работать более чем в 13 раз быстрее, если бы он работал на чипах Groq.
По словам генерального директора компании Джонатана Росса, благодаря LPU Groq обходит два узких места LLM, с которыми возникают проблемы у графических или центральных процессоров: плотность вычислений и пропускная способность памяти.
Не исключено, что в ближайшее время мы можем услышать о судебных тяжбах в сторону компании от Илона Маска через чат-бот Grok, разработанного его компанией xAI.
Название Grok происходит от названия научно-фантастической книги Роберта Гайнлайна «Чужаков на чужой земле» 1961 года. Слово означает "понимать глубоко и интуитивно".
И это недалеко от правды, чат-бот от Groq демонстрирует невероятную скорость, генерируя ответ пользователи за доли секунды, цитируя использованные источники. В одной из демонстраций ведущая CNN пообщалась с чат-ботом и осталась пораженной скоростью ответов.
Groq создает ИИ-чипы под названием Language Processing Units (LPU) и утверждает, что они быстрее графических процессоров NVIDIA (GPU). Графические процессоры NVIDIA считаются отраслевым стандартом для запуска ИИ-моделей, но первые результаты показывают, что LPU могут сдвинуть их с пьедестала.
Groq – это «двигатель выводов», а не чат-бот, как ChatGPT или Gemini. Он не работает сам по себе и не имеет цели заменить их. Он помогает этим чат-ботам работать быстрее. На сайте Groq вы можете лично протестировать новинку.
Groq производит 247 токенов в секунду по сравнению с 18 токенами в секунду у Microsoft, согласно результатам теста от Artificial Analysis, опубликованным на прошлой неделе. Это означает, что ChatGPT мог бы работать более чем в 13 раз быстрее, если бы он работал на чипах Groq.
По словам генерального директора компании Джонатана Росса, благодаря LPU Groq обходит два узких места LLM, с которыми возникают проблемы у графических или центральных процессоров: плотность вычислений и пропускная способность памяти.
Не исключено, что в ближайшее время мы можем услышать о судебных тяжбах в сторону компании от Илона Маска через чат-бот Grok, разработанного его компанией xAI.
Название Grok происходит от названия научно-фантастической книги Роберта Гайнлайна «Чужаков на чужой земле» 1961 года. Слово означает "понимать глубоко и интуитивно".
