Ceph 社区 2023 年第四季度总结报告

1. 本季度主要活动和重点议题

1.1 Ceph RGW 重构会议

  • 会议主题：探讨 IAM 未来方向、生命周期处理、SEF 日志记录等议题。
  • 重点议题：
    • IAM 未来方向：账户所有权、使用会计、统计数据、账户层次结构、配额管理。
    • 生命周期处理：多站点复制、删除操作记录、Rados QoS 控制。
    • SEF 日志记录：错误日志记录、日志级别、致命错误处理。

1.2 每周 RGW 会议

  • 会议主题：讨论 RGW 的优化和改进。
  • 重点议题：
    • 通知和 SNS 主题策略：IAM 和 S3 策略、服务控制策略、站点控制策略。
    • 持久通知性能：工作线程、性能瓶颈、Kafka 客户端统计信息。

1.3 Ceph 开发者月度会议

  • 会议主题：Ceph 的技术讨论和项目进展。
  • 重点议题：
    • PG Remapper 工具：解决回填并发问题、优化回填过程。
    • Ceph Dashboard 新功能：文件系统、卷组和子卷管理、快照管理等。

2. 技术发展和创新亮点

2.1 IAM 未来方向

  • 账户所有权：归属到根账户，而非用户。
  • 使用会计和配额：账户级别进行使用会计和配额管理。
  • 账户层次结构：通过组织单位（OU）管理账户和配额。

2.2 生命周期与复制

  • 生命周期处理：优化删除操作记录、控制生命周期处理速率、利用 Rados QoS 控制。

2.3 通知数据模型的更新

  • 多站点通知数据模型：从旧数据模型迁移到新数据模型，支持两种数据模型的代码路径。

2.4 动态重分片

  • 减少分片数量：在重分片队列中添加时间戳以延迟执行。

3. 重要的决策和里程碑

3.1 决策事项

  • IAM 未来方向：确定所有权归属、使用会计和配额管理策略、账户层次结构。
  • 生命周期与复制：决定不记录删除操作、利用 Rados QoS 控制、停止对非版本化桶的日志记录。
  • 通知数据模型的更新：在升级完成后进行迁移、使用新的区域组特性、全局启用新格式。

3.2 里程碑

  • 通知数据模型的更新：完成迁移、发布测试工具和结果。
  • 生命周期与复制：完成生命周期处理问题的解决方案、实现 Rados QoS 控制。
  • 动态重分片：完成方案讨论、进行测试并评估线程增加的影响。

4. 社区贡献和合作情况

4.1 社区贡献

  • Coverity 项目：解决多个高、中影响问题，提高 rgw 代码质量。
  • librdkafka 库问题：添加到子模块、静态链接解决动态链接问题。
  • 数据日志推送异步处理：实现批处理机制、将单个条目转换为异步处理。

4.2 合作情况

  • 与 AWS 合作：改进 AWS SNS 主题管理权限、多站点环境下的通知复制问题。
  • 与 CentOS 和 Ubuntu 合作：提交 bug 报告，请求更新 librdkafka 版本。

5. 下一季度展望和计划

5.1 主要目标

  • 完成通知数据模型的更新和迁移。
  • 继续优化生命周期与复制功能。
  • 推进动态重分片方案的实施。
  • 评估和解决 librdkafka 库问题。
  • 加强与社区的沟通与合作。

5.2 行动计划

  • 继续推进各个项目的开发和测试。
  • 定期召开社区会议，分享技术进展和讨论问题。
  • 积极参与和推动开源项目的发展。
  • 持续关注和解决社区成员提出的问题。