行路中.

目前在个人的理解中, 在存储高带宽需求场景下, RDMA的RoCEv2方案, 在节省CPU, 使CPU用在提供更高的IOPS的处理能力上, 是显著优势了. 在不超过40Gbps的场景下, TCP还是可以用的. 按之前收集的论文数据, 大概是RDMA下, 1%的CPU消耗对比, TCP时100%+的CPU消耗, 在100Gbps以上时, CPU消耗10多个核, 对于主流服务器CPU单C超线程完... 阅读全文…

最近除了chat类以外, 尝试性折腾了几个大模型的工具, 大概有了一些个人使用场景下的认识, 简单抛砖引玉一下. 目前主要用的, chat类, 主要利用的是其结合搜索引擎 一个常用的是 腾讯的元宝. 主要原因是这些kimi等串联了搜索引擎的gpt应用里, 腾讯这个对接了公众号, 一些高质量的文章比较多. 也有人有同样看法. 有三类内容，近乎是微信公众号独占的： ❶许多券商研究报告，通过公众... 阅读全文…

上游做出了破坏性变更 上游出现了一个尚未修复的 BUG 上游缺乏本项目需要的功能特性 更新 沟通 贡献 思路 目前主要推荐的方案还是将自己二次开发的代码, 这部分因为是比较熟悉的. 进行重构, 尽可能让他对上游相关文件的修改小, 然后拆分成patch形式, 这里的一个点是由于我们不太可能合并到上游, 因此后续对上游的更新是必然要合入的. 这里有一个最大的冲突, 从维护成本角度, 合入上游... 阅读全文…

背景 本文主要是针对压测工具fio的回放能力进行分析, 最终找到基于iolog来让fio产生用户指定的压力, 比如构造不同时刻不同的客户端iops压力, 亦或是产生存在显著数据命中热点的压力, 可用在诸如异常构造等问题上. 可以基于该iolog原理, 编写各自模型的iolog生成器 来满足 定制化需求. replay的iolog解读 有2种可供回放的格式 blkparse的bin文件, 支... 阅读全文…

背景 目前也算是在分布式存储领域折腾了有一些时间了, 虽然还是比较入门的程度. 偶然又看到在讨论分布式存储与 集中式存储 应用场景的文档, 回想起来, 做个草草的初步思考. 性能评估要注意延时 最早的时候, 我给领导汇报测试数据时, 总是拿着跑bench时只管把depth往上加的最终数据汇报, 只要能看到IOPS上涨, 就继续加. 当时理解为理解为集群的性能是以depth跑满, 比如把集群的... 阅读全文…

以下讨论都是基于存储系统上的, 主要描述的为对块存储进行快照. 根据目前理解, 应用一致性可以粗分为 基于时间点的快照 没有明确的一致性等级支持 支持崩溃一致性的快照(Crash-consistent backup) 应用一致性快照. (Application-consistent backup) (包含内存中pending IO) 包含内存(pending IO)的快照 (存在大... 阅读全文…

背景 主要是针对rbd->openstack相关, 所以cephfs/rgw/dashboard等其他的特性相关的几乎都跳过了. 仅整理了rbd及以下模块, 从luminous以后到pacific为止的. 性能相关 Pacific 16.2.0 RADOS Pacific introduces :ref:bluestore-rocksdb-sharding, which reduce... 阅读全文…

TODO: 找到对应的PR, 从而将口语化难以理解的内容转换为正确的描述. BlueStore V2 - an Evolutionary Step Forward - Adam Kupczyk, IBM & Mark Nelson, Clyso GmbH - YouTube 规划 filestore 在 Pacific 和 Quincy 中被弃用，在 Reef 中被完全移除 blu... 阅读全文…

Ceph Performance Tuning: From Bluestore to RBD - Mark Nelson, Clyso GmbH - YouTube Mark Nelson: Performance / CBT模块成员 推荐性能优化时使用工具 当前性能测试, 60个osd, 450W 随机4K读, 平均75K每个osd. 硬件性能如何很关键, 测试过程中升级驱动解决了nvm... 阅读全文…

背景及初步定位 背景是通过perf捕获ceph-osd的cpu消耗, 发现在下述环节极高. 123--10.64%--PG::_prepare_write_info --10.02%--interval_set<snapid_t, std::map<snapid_t, snapid_t, std::less<snapid_t>, std::allocator<s... 阅读全文…