Latent Space· Latent Space·· 18 天前AI 评分66
DeepSeek DeepInfer 开源推理框架，单集群 155T tokens/day 吞吐量，利润率 80%
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 在 PyTorch Conf 首次公开其开源推理框架 DeepInfer，声称单集群可达 155T tokens/day 的吞吐量，利润率超过 80%，并提供了对 V4.1 Flash 的生产级支持。
来源：Latent Space · latent.space