DeepSeek R1 671B 单机测试报告,250万的机器每秒3500Tokens

DeepSeek的官网太卡,必须找些平替,一般人用如果没有联网搜索功能(比如直接调用API)因为缺少24年后的新鲜数据,输出的效果会打折(除非所问的问题相关信息与时效无关),需要联网搜索则可以用几家平替的AI搜索:势不可挡,三大国产AI搜索均升级支持R1,羊毛蓐起来

一直好奇大家热衷接入DeepSeek R1满血版,自己搭建使用成本会多高,网上看到一份测试报告:

DeepSeek R1 671B 单机测试报告,250万的机器每秒3500Tokens

官方R1的输出是16元/M tokens,所以这台机器每小时产出12.6M tokes,即每小时收入极限是200元左右,这可是一机8卡的小时费,看上去要亏。

不少平台适配国产310B卡,据说只能是FP16的,而DeepSeek R1是FP8,上去显存就得白白扩一倍。

上面这个AMD新机,到极限时(并发压上去),每路每秒不到2 tokens,所以怪不得好多上了R1满血版的API,调用时感觉每秒就是跳出俩字,估计还是压力太大了。这个输出速度简直跟本机用cpu跑最小1.5B蒸馏版差不多了。

这个基于Electron做的桌面AI客户端Cherry Studio,特别适合大模型海王用来评估各家平台上的DeepSeek

DeepSeek R1 671B 单机测试报告,250万的机器每秒3500Tokens

免费试用期里的DeepSeek R1在这些平台上,大部分还是比较卡的,应该是并发的流控做得不够。

版权声明:charles 发表于 2025年2月16日 am10:43。
转载请注明:DeepSeek R1 671B 单机测试报告,250万的机器每秒3500Tokens | AI工具大全&导航

相关文章