Groq是一家AI领域的创新公司,近期因其开发的超高速大模型而受到广泛关注。这个模型能够每秒输出近500个token,其速度远超同类产品,如ChatGPT-3.5的每秒40个token。Groq模型的速度优势主要得益于公司自主研发的LPU(语言处理单元)硬件。这种硬件在处理AI相关任务时,性能比英伟达的GPU快10倍。Groq的LPU使用了一种名为张量流处理器(TSP)的新型处理单元,并采用了时序指令集计算机(Temporal Instruction Set Computer)架构,这使得它在处理请求和响应方面具有极高的速度和效率 1 。
Groq目前提供两种模型供用户选择:Mixtral8x7B-32k和Llama 270B-4k。公司还提供了Groq API,这个API与OpenAI的API兼容,并且现在还未收费,但有速率限制。Groq的API允许用户调整一些参数,如Temperature(温度)和Top-p(顶部概率),以控制生成文本的多样性和新颖性 2 。
Groq的这些创新技术,特别是在大模型推理速度方面的突破,为AI领域带来了新的可能性,预示着AI技术在处理速度和效率方面的进一步提升。
字节跳动旗下基于云雀模型开发的AI