其它·via @mubei
买最贵的 GPU,已经不再自动赢下推理局。 SemiAnalysis 的分析师 Dylan Patel 揭开了推理时代的…
买最贵的 GPU,已经不再自动赢下推理局。
SemiAnalysis 的分析师 Dylan Patel 揭开了推理时代的新逻辑。 现在的算力瓶颈,已经从单卡算力转移到了内存和存储。 一款算力稍弱、但内存和存储更好的芯片,能直接打败没有好内存的顶级芯片。 比如在某些场景下,内存更大的 AMD 显卡,跑得比英伟达还要好。
但英伟达的护城河崩了吗? 根本没有。 它现在的终极壁垒,是对系统供给和分发渠道的绝对统治。
英伟达手里,攥着 100 多家新兴云厂商。 怎么拿捏? 你不听话,我直接抽走你的算力配额。 你缺钱买卡,我亲自给你的贷款兜底。 这 100 多家云厂商帮它卖算力,同时也是替它向全世界喊话的传声筒。
别的硬件生态想进来分一杯羹? 太难了。 就算其他厂商(比如 SambaNova)造出了好芯片,如果没有这样一个庞大且忠诚的分发网络替你铺货,卡连机房都进不去。