下午跟销售同事和我们同行聊天,看起来大家还是有很多疑虑。主要原因是DGX Spark 性能好像有点儿不够,但说不出这个不够是基于什么场景下的对比,正好上周 Spark上市后确实市场上也有一些负面信息,说对比 5090,6000 Ada性能不够之类的。

我认为,我们不能再拿着做服务器、做GPU集群的思路和衡量标准来看Spark。

DGX Spark 是一个全新的产品形态,当然前提也是因为到今天 AI 的发展,已经到了个人用户开始使用 AI 作为辅助工作和生活的工具,所以DGX Spark 出现了。

它最大支持 200B(FP4),当然200B 大多数用户我觉得也用不上,在 30-120B 的范畴很适合个人开发者和终端用户用,又轻又小、能随身携带、功耗也很低,所有的产品特性都是围绕个人开发者、以及有私有化AI助手的终端用户来用。这和过去GPU集群的市场有非常大的区别。

对于个人开发者,这个产品当然不是唯一选择,市场上有各种便宜的X090、GPU 云资源、工作站、 PC 等等都可以作为开发者工具。DGX Spark只是提供了一个新的选择,萝卜白菜各有所爱,总有想要的那一款。

对于有私有化 AI 助手需求的个人用户市场来说,一定需要有很多的开发者,来开发各种AI助手,满足不同种类的 AI 需求。这个市场是否存在,以及是否在未来几年会是一个高速成长的市场我不知道,但AI 发展的趋势提供了这种可能性,而且是极大的可能性,

所以对于程序员、开发者们,是不是又一个机遇?那我们能不能和他们合作,把Spark接入更好的应用给到终端呢?

关于性能的说法,我想不能拿一个三四万块的产品,去跟十来万,甚至几十万的产品去对比性能,博流量而已。要买大卡 GPU 做训练做微调的用户,也许也会同时有一个Spark 的需求,但这中间不是替代关系,是共生关系。

价格上,3 万多在这个大经济环境下,特别对于个人开发者,也确实不便宜,但对于原生 CUDA 128GB 共享显存的产品,这好像已经几乎是最便宜的产品了。

关于市面上的测试数据,原生模型本来有一些不支持 FP4,所以测试的数据不一定准确,官方现在紧锣密鼓地在上线基于 FP4 优化后的推理工具,比如千问 30B、NVIDIA NIM,优化后会很不一样。

我在体系里做 NVIDIA 产品销售,如果算上 Gefore 游戏显卡,已经超过20年,企业级的 GPU 算下来现在也已经过了第 14 个年头。从过去的分销到这几年转型做行业,细分需求越来越重要。

客户如果是有比较多的并发需求,比如大于 5 个以上的并发,那我会建议考虑工作站或者服务器,同样 128GB 以上的显存,单台能提供 10-50 左右的并发量,成本可能也可以控制在 20 万以内。

对于个人AI市场,市场很新,大家都得摸索。但如果简单地从社交媒体或者非目标用户的口中来判断Spark的口碑,会让我们走很多弯路。不过这个情况恰恰反映了功课做得还不够,还需要再去做一些工作去丰富这个产品的方案。

(转自老鱼先生)

Logo

这里是“一人公司”的成长家园。我们提供从产品曝光、技术变现到法律财税的全栈内容,并连接云服务、办公空间等稀缺资源,助你专注创造,无忧运营。

更多推荐