贸泽电子(Mouser Electronics)即日起供货BittWare的GroqCard加速器。该款双宽PCIe外形的ML加速器为PyTorch、TensorFlow和ONNX训练的深度学习模型提供了简单的部署路径。GroqCard加速器是一种多功能选择,可用於金融、政府、生成式AI、石油和天然气以及工业应用,为其加速AI、HPC和ML工作负载。
贸泽所供应的BittWare GroqCard加速器有9个RealScale晶片到晶片连接,可确保部署多个卡与一个卡一样高效。此加速器可提供近乎线性的多伺服器和多机架可扩展性,而无需外部交换机。纠错码(ECC)可防止资料损坏,进而改善正常运作时间和可靠性。BittWare GroqCard加速器采用完全确定性GroqChip处理器,有助改善可扩展性。GroqChip透过减少资料移动,保证可预测、无瓶颈、低延迟的效能。此独立晶片可弹性整合到运算密集型应用中,其简化的架构和以软体为重点的设计,使GroqChip处理器比GPU更容易编程。
GroqWare套件是一个完整且多功能的软体堆叠,由Groq编译器、Groq API和实用程式组成。此套件可简化整合与设定的程序,并与产业标准的AI和ML框架相容。GroqWare套件中包含的GroqFlow工具链支援使用单行的Pytorch或TensorFlow程式码来导入及转换现有模型。BittWare GroqCard加速器在900 MHz频率下为INT8和FP16作业提供达750 TOP和188 TFLOP的处理量。GroqCard加速器的每个晶片具有230MB SRAM和达80TB/s的片上记忆体频宽,可实现高速资料存取和处理能力。