使用约 42,000 美元的(一次性)预算,您可以配置一个 3 个代理的 Kafka 集群,其硬件能够实现 56 GB/s 的顺序写入(理论上)。 在 AWS 上,每年 4 万美元可以买到一个 15 MB/s 的 Kafka 集群。 🤯 这也是一项年度经常性费用。它也是自托管的。选择托管服务,费用将是这个数字的 2-4 倍。 规格如下: • 64 核 CPU • 512 GB 内存 • 快速联网 • 8x4TB SSD(每个容量为 7 GB/s) 即使是最坏的情况下的表现仍然比你所见过的任何表现都要高。 使用: • 随机写入(非连续) • 完整的 SSD 和长时间写入(以降低性能) 本文发现,每个 SSD 在 4 KB 页面大小下可以实现 135,000 IOPS。 🔥 Kafka 不进行随机写入,但即使我们考虑最坏的情况 - 该设置也可以维持大约 4.32 GB/s 的随机写入。 问题? 没有任何系统能够充分利用现代硬件的功能。 NVMe 存储已真正实现爆炸式增长,并已跃升至月球表面。 🚀 我建议你读一下这篇论文👇编程严选网 大数据 人工智能
使用约42,000美元的(一次性)预算,您可以配置一个3个代理的Kaf
JavaEdge聊AIss
2025-06-17 02:16:26
0
阅读:0