会议主题: 数据迁移平台研发 V1.2 版本需求评审与方案确认
会议时间: 2024年5月22日 14:00-15:30
会议地点: 公司三楼302会议室
主持人: 张明(项目经理)
参会人员: 王芳(产品)、李磊(后端开发)、赵静(前端开发)、刘强(测试)、孙伟(运维)、陈东(DBA)
缺席人员: 无
记录人: 周敏
一、会议议程
1. V1.2版本需求背景与目标说明
2. 新增“实时增量迁移”模块技术方案讨论
3. 数据校验功能优化方案评审
4. 开发排期与风险点预估
5. 下一阶段工作安排
二、会议内容及决议
1. 需求背景与目标
产品经理王芳介绍:当前客户对数据迁移的时效性要求提高,需在V1.1全量迁移基础上,增加对实时增量数据同步的支持,目标是将数据延迟从小时级降低到秒级。
决议:全员确认V1.2版本以“实现核心业务表的实时增量迁移”为核心目标,一期优先支持MySQL到Kafka的数据同步。
2. 技术方案讨论
后端李磊提出两套方案:
方案A:基于Binlog日志解析(使用C*组件),开发周期约4周,稳定性高,但对数据库有压力。
方案B:采用时间戳增量轮询,开发周期2周,但对源表结构有要求(需有更新时间字段)。
讨论结果:经DBA陈东评估,优先采用方案A,避免对业务表结构造成侵入。运维孙伟补充需提前准备Binlog读取权限及监控告警策略。
3. 数据校验功能优化
测试刘强指出当前全量校验耗时过长(超6小时),建议优化抽样算法。
决议:由李磊、刘强在会后三天内提供抽样校验方案,目标将校验耗时压缩至1小时内,前端赵静配合增加校验进度可视化界面。
4. 排期与风险
开发排期:方案A开发4周 + 联调测试2周,预计7月10日前发布测试版。
主要风险点:
Binlog解析可能导致源数据库负载升高(由孙伟牵头做压测评估)。
实时同步可能因网络抖动产生数据积压(需增加流量控制与重试机制)。
决议:6月5日前完成技术原型验证,同步启动风险应对方案设计。
三、待办事项
| 责任人 | 任务 | 截止时间 |
|--|
| 李磊 | 提交实时增量迁移详细设计文档 | 5月29日 |
| 刘强 | 输出数据校验优化测试用例 | 6月3日 |
| 孙伟 | 完成Binlog读取性能压测报告 | 6月5日 |
| 赵静 | 原型界面设计评审 | 5月27日 |
四、下次会议安排
时间:5月29日 14:00
议题:详细设计文档评审与排期终确认
会议结束时间: 15:28
纪要发送对象: 全体参会人员、技术部总监