如何设计大型项目技术运营服务架构
文章目录一、背景二、总体运行流程三、总体技术架构四、系统巡检服务一资产管理服务1、资源信息动态梳理2、应用信息采集和更新3、资源生命周期管理4、资产信息统计分析二每日巡检服务1、系统巡检2、接口拨测3、业务巡检4、资源监控5、日志分析6、数据备份情况三日常版本更新服务1、新版本上线及维护2、新版本健康状态检查与分析四应急事件报警1、稳定性故障报警2、信息安全事件报警四、稳定性保障服务一故障预防服务1、部署架构设计评估2、容量规划3、服务治理4、故障模拟二故障发现服务1、全局监控2、事件告警3、日志分析4、链路跟踪三故障处置服务1、应急处置2、根因定位四故障改进服务1、故障复盘2、全链路压测3、性能分析及优化五、数据库管理服务一数据库版本升级服务1、日常技术支持2、数据库版本升级二数据库配置管理服务1、数据库集群管理三数据库安全管理服务1、权限分配2、漏洞修复3、访问安全4、日志审计5、数据销毁四数据库容灾管理服务1、数据备份五数据库性能管理服务1、定期数据库性能分析2、数据库性能分析及优化报告3、数据库使用培训六容量管理服务1、数据库服务器清理七数据模型评估1、数据架构设计评估2、逻辑和物理模型设计八系统健康检查服务1、全面体检六、信息安全管理一安全生产管理服务1、安全需求评审2、代码安全审计3、漏洞扫描4、安全基线测试5、渗透测试二风险评估和自查1、定期安全检测2、安全评估报告编制三安全加固服务1、安全问题修复四信息安全事件管理1、威胁情报管理2、漏洞台账管理3、应急响应服务七、网络云架构管理一架构评估服务1、网络架构评估2、环境评估二配置管理服务1、网络策略申请及维护三网络安全监测服务1、定期访问策略梳理2、定期流量日志审计3、定期安全服务日志审计四网络性能管理1、网络性能测试2、网络性能分析及优化五网络性能管理1、网络带宽成本核算和控制八、成果和交付物清单一、背景技术运营是“建设运营一体化模式”大型项目必不可少的保障机制其包括系统巡检、稳定性保障、数据库管理、信息安全管理以及网络云架构管理等内容。需要成立运行维护机构建立规范化、标准化、制度化的运行维护体系制定和监督执行系统运行制度和标准。相关维护遵循信息技术服务标准ITSS从项目人员培训及考核、运营工具等资源和技术的利用、安全及时间过程管理等方面制定相应的制度支持大型项目系统的安全、稳定、高效、持续运行。二、总体运行流程大型项目运营服务工作主要围绕平台本身、建设单位及平台用户以业务运营服务人员为主要服务工作主要轴心响应建设单位及平台用户发起的需求及问题并通过迭代需求及工单分发与功能迭代服务人员及技术运营服务人员进行联动针对重大活动及重要时期保障服务业务运营服务人员提供相应业务保障技术运营服务人员提供相应技术保障完成各次重保服务专项保障工作。三、总体技术架构其中提供的服务场景主要包括稳定性保障场景帮助项目建立容灾能力当灾难发生时在保证生产环境的数据尽量少丢失的情况下保证生产系统的业务不间断运行促进故障逃逸能力的提升。根据项目的业务需求从资产和应用架构的角度进行巡检主动发现潜在风险提供优化方案建议。根据项目的业务需求使用容量评估帮助项目找到系统的最大压力点并进行降级、限流保护帮助项目达到系统容量和资源成本的最佳平衡点。安全威胁检测场景技术运营团队对安全事件进行识别对可能存在威胁的告警信息进行核查、处理在未造成信息泄露等重大损失之前及时对潜在威胁进行处理对服务安全进行升级加固从而保护项目系统安全、保障服务稳定运行。业务高峰护航服务技术运营团队为项目提供量身定制的护航服务帮助项目平稳度过业务高峰。四、系统巡检服务一资产管理服务1、资源信息动态梳理满足日常基础资源管理场景提供包含不限于框架结构、虚机、IP公网、内网、应用组件、中间件、数据库、安全服务等基础资源信息维护等工作合并输出“资产清单“。2、应用信息采集和更新满足日常应用配置管理场景实现定期采集主机账号、监听端口、运行进程信息、数据库账号信息、业务系统接口调用信息等资产合并输出“资产清单“。3、资源生命周期管理提供资源生命周期管理包括申请、下发、测试、上线、运行中、闲置等状态管理。4、资产信息统计分析满足日常资产统计分析场景提供资产分类统计、资产状态分类统计、资产总量统计等能力按季度输出“资产分析报告”。二每日巡检服务1、系统巡检提供 7*24 小时的系统巡检服务包含针对平台的服务运行状态、操作系统运行情况、云服务器续费情况检查保障系统安全、稳定运行每小时合并输出“巡检播报每日合并输出“系统运行日报”。2、接口拨测提供7*24小时的接口拨测服务包含针对平台的核心业务接口拨测保障系统安全、稳定运行每小时合并输出“巡检播报每日合并输出“系统运行日报”。3、业务巡检提供 7*24 小时的业务巡检服务包含针对平台的核心服务、站点、QPS监控、数据等巡检保障系统安全、稳定运行每小时合并输出“巡检播报每日合并输出“系统运行日报”。4、资源监控提供 7*24 小时的业务巡检服务包含针对平台生产环境的所有主机CPU资源、内存使用、磁盘使用、网络端口流量、IO读写情况、系统负载等方面保障系统安全、稳定运行每小时合并输出“巡检播报每日合并输出“系统运行日报”。5、日志分析提供 7*24 小时的业务巡检服务包含针对平台生产环境的核心链路日志、站点应用日志、数据共享应用日志等内容保障系统安全、稳定运行每小时合并输出“巡检播报每日合并输出“系统运行日报”。6、数据备份情况每日提供的数据备份情况检查服务包含针对平台实时库、缓存库、搜索库、历史库等方面保障系统安全、稳定运行每日合并输出“系统运行日报”。三日常版本更新服务1、新版本上线及维护满足平台日常版本迭代功能开发场景提供对系统新版本上线及维护等服务包括不限于系统维护和修改、配置文件维护、应用版本备份、程序更新等操作及时反馈“上线工单”。2、新版本健康状态检查与分析满足平台新版本上线场景提供核心业务功能巡检、核心接口回归测试、数据共享功能验证、资源水位监测等工作保障系统安全稳定运行输出“新版本上线巡检报告“。四应急事件报警1、稳定性故障报警满足平台全年可用性99% 的目标提供7*24小时稳定性故障响应和跟踪巡检发现问题的实时反馈并跟踪处理输出“故障报警单”。2、信息安全事件报警满足平台全年常态化安全的目标提供7*24小时信息安全事件响应和跟踪巡检发现问题的实时反馈并跟踪处理输出“安全事件报警单”。四、稳定性保障服务一故障预防服务1、部署架构设计评估满足平台全年可用性99% 的目标单次故障时间不超过 6 小时保证平台持续7*24小时不间断工作在平台扩缩容场景下做好部署架构设计评估重点考查高性能、高可用、安全设计降低故障发生率输出“架构评估报告”。2、容量规划满足平台针对云上架构资源精准评估场景从稳定性、成本的维度评测达到系统容量和云上资源成本的最佳平衡点通过容量测试来决定单位容量的负载能力同时确定实际业务增长需求并且获取项目的运营预算然后集成其他的考虑因素包括时间、地域、灾难恢复等做出合理的规划和决策根据决策结果进行容量规划每半年输出“容量规划报告”。3、服务治理满足平台整体容灾能力针对平台分布式服务架构常见的故障模式提供可靠运行的系统保障措施包括不限于服务限流、负载均衡管理、重试等内容保证生产系统的业务不间断运行输出“服务治理方案”。4、故障模拟满足平台整体容灾能力针对平台分布式服务架构常见的故障模式引入混沌工程故障模拟机制每季度组织故障演练做到故障预防降低故障发生率促进故障逃逸能力的提升输出“故障模拟方案”。二故障发现服务1、全局监控满足平台主动发现潜在风险能力通过全局监控系统实时监测本系统所有云主机、操作系统、应用、中间件等运行情况全面获取生产环境中各层面技术系统的运行指标数据及时发现异常并为技术运营决策提供数据依据。2、事件告警满足平台主动发现潜在风险能力通过重要监控指标设置报警规则并在监控数据满足报警规则时发送告警通知在第一时间得知指标异常并迅速处理故障做出对故障的精准的响应。3、日志分析全面获取应用和系统的各类日志数据提供便捷的日志访问渠道提高问题分析效率。4、链路跟踪完善核心链路跟踪能力提升平台业务链路的可观测性提高故障处理效率。三故障处置服务1、应急处置应对平台故障突发且高压的场景对外负责对接业务部门同步信息同时屏蔽各方对技术团队和告警处理人员的干扰有效组织技术团队的集中和协作确定告警影响面及等级、组织应急小组、信息通报等。2、根因定位按季度根据历史经验是对系统架构的梳理对问题的梳理对查找和解决故障过程进行梳理对分析问题思路的进行梳理对不同时间序列问题数据的做相关性分析理解各个指标的关系同时进行证据链查找根据数据的变化来推断得出各种结论输出“常见故障分析决策树”。四故障改进服务1、故障复盘满足平台稳定性建设需求针对平台线上故障及模拟故障进行定期故障复盘回顾故障历程、解读故障始末识别问题分析故障根因制定改进措施和计划提高系统可用性每季度输出“故障复盘总结报告”。2、全链路压测针对平台每半年组织基于实际的生产业务场景和系统环境模拟海量的用户请求和数据对整个业务链路进行各种场景的全链路压测验证持续发现性能瓶颈输出“全链路压测报告”。3、性能分析及优化针对平台定期全链路压测找到的性能瓶颈做好性能优化和可用性改进压实落地改进措施提高系统可用性每半年输出“性能及优化报告”。五、数据库管理服务一数据库版本升级服务1、日常技术支持满足数据库日常运营场景针对平台的关系库、缓存库、分析库、历史库等提供日常技术支持和故障处理工作及时反馈“支持工单”。2、数据库版本升级满足数据库常态化安全需求针对平台的关系库、缓存库、分析库、历史库等提供新版本及补丁升级工作输出“数据库版本升级方案”。二数据库配置管理服务1、数据库集群管理满足数据库服务器日常运营场景针对平台的关系库、缓存库、分析库、历史库等集群及服务提供数据库集群的配置管理工作。三数据库安全管理服务1、权限分配满足数据库常态化安全合规要求针对平台的关系数据库、缓存库、分析库、历史库等集群做到权限最小化分配保证数据的安全性确保不会出现因不安全、不规范或恶意操作导致数据丢失或损坏。2、漏洞修复满足数据库常态化安全合规要求针对平台的关系数据库、缓存库、分析库、历史库等集群做到及时修复中高危漏洞保证数据的安全性确保不会出现因漏洞被利用导致数据泄露。3、访问安全满足数据库常态化安全合规要求针对平台的关系数据库、缓存库、分析库、历史库等集群定期对访问连接进行梳理保证数据的安全性确保不会出现因不安全、不规范或恶意连接导致数据丢失或损坏。4、日志审计满足数据库常态化安全合规要求针对平台的关系数据库、缓存库、分析库、历史库等集群定期对数据库日志审计、对数据库审计服务进行核查保证数据的安全性确保不会出现因不安全、不规范或恶意操作导致数据丢失或损坏。5、数据销毁满足数据库常态化安全合规要求针对平台的关系数据库、缓存库、分析库、历史库等集群定期做过期数据安全删除保证数据的安全性确保不会出现因不安全、不规范或恶意操作导致数据泄露输出“数据销毁报告”。四数据库容灾管理服务1、数据备份需提供完善健全的数据存储和容灾机制提供数据全备及增量备份方案定期对备份文件进行完整性和准确性校验确保数据不丢失、不损坏输出“数据备份方案”。五数据库性能管理服务1、定期数据库性能分析保障数据库高效、稳定运行按季度组织针对平台的关系数据库、缓存库、分析库、历史库等集群分析SQL行为、数据库参数分析、资源使用分析、数据库对象分析等工作。2、数据库性能分析及优化报告保障数据库高效、稳定运行按季度针对平台的关系数据库、缓存库、分析库、历史库等集群输出“数据库性能优化报告”。3、数据库使用培训赋能数据库技术使用按季度组织培训数据库性能优化的概念输出“数据库培训材料”。六容量管理服务1、数据库服务器清理数据库的存储设计应保证业务在可预见的运行时间里有足够的存储空间即使因客观因素导致不能做到存储空间的一步到位也要确保有数据清理策略保证业务不会因为数据存储瓶颈出故障输出完整“数据库服务器清理方案”。七数据模型评估1、数据架构设计评估满足日常功能迭代开发场景数据库的开发工作尤为重要定期提供数据架构设计评估重点考查数据标准、数据质量、数据管理等方面输出“数据架构评估报告”。2、逻辑和物理模型设计满足日常数据运营和功能迭代开发场景提供表、索引、分布式数据库架构设计等技术支持工作。八系统健康检查服务1、全面体检满足数据库常态健康运行按季度定期组织对数据库系统全面体检工作降低系统潜在的风险包括数据丢失、安全漏洞、系统崩溃、性能降低及资源紧张等方面输出“数据库全面体检报告”。六、信息安全管理一安全生产管理服务1、安全需求评审满足平台日常迭代开发场景提供安全合规的环境针对系统研发安全需求进行评审输出“安全需求评审意见”。2、代码安全审计满足平台日常迭代开发场景提供安全合规的环境针对系统研发代码进行审计输出“代码扫描报告”。3、漏洞扫描满足平台日常迭代开发场景提供安全合规的环境应对系统新版本上线进行漏洞扫描输出“漏洞扫描报告”。4、安全基线测试满足平台日常迭代开发场景提供安全合规的环境应对系统新版本上线进行安全基线测试输出“安全基线测试报告”。5、渗透测试满足平台日常迭代开发场景提供安全合规的环境应对系统新版本上线进行渗透测试输出“渗透测试报告”。二风险评估和自查1、定期安全检测满足等保合规常态化安全场景按季组织进行安全检测自查提供对平台进行人工安全巡检、安全扫描、日志分析、代码安全审计、安全基线检测、数据安全审计等工作。2、安全评估报告编制按季组织进行安全检测自查明确平台安全现状输出“安全检查评估报告”。三安全加固服务1、安全问题修复根据定期安全检测发现有关安全问题开展安全问题修复工作。四信息安全事件管理1、威胁情报管理建立有效的安全情报网通过各渠道收集情报包括不限于同行业、厂商、国家漏洞库等收集情报形成情报甄别情报利用机制高效快速抵御攻击输出“安全情报清单”。2、漏洞台账管理满足日常漏洞管理场景定期评估与归档漏洞修复工作建立“漏洞台账”促进漏洞修复知识共享让漏洞修复有规可循从漏洞发现到确认修复做到漏洞全生命周期闭环管理。3、应急响应服务满足安全事件应急支撑最短时间内采取技术手段遏制攻击、防止蔓延事件处置应合网络、数据库、主机、应急和安全等多个岗位人员协同处置输出“应急响应记录”。七、网络云架构管理一架构评估服务1、网络架构评估在平台出现扩缩容的时候提供网络架构评估服务重点考查高性能、高可用、安全设计输出“网络架构评估报告”。2、环境评估满足日常迭代开发场景提供生产、测试环境等网络环境使用情况评估输出“环境评估报告”。二配置管理服务1、网络策略申请及维护满足平台日常网络保障场景提供日常技术支持包括不限于云网络策略配置、网络资产维护、网络故障处理等工作输出“网络策略申请单”维护“资产清单”并反馈“故障工单”。三网络安全监测服务1、定期访问策略梳理满足常态化网络安全需求按月组织对网络访问策略梳理降低网络安全风险合并输出“网络策略清单”。2、定期流量日志审计满足常态化网络安全需求按月组织对流量日志审计降低网络安全风险合并输出“网络行为分析报告”。3、定期安全服务日志审计满足常态化网络安全需求按月组织对安全服务日志审计降低网络安全风险合并输出“网络行为分析报告”。四网络性能管理1、网络性能测试满足网络高质量需求按季度组织对混合云网络进行性能基准测试找到网络瓶颈最大程度减少云网络故障隐患输出“网络性能测试报告”。2、网络性能分析及优化满足网络高质量需求按季度针对发现网络瓶颈机进行分析及优化最大程度减少云网络故障隐患更高效的进行云网络管理提高网络的运行性能和质量输出“网络性能分析及优化报告”。五网络性能管理1、网络带宽成本核算和控制提供网络容量管理服务支撑公有云网络带宽成本核算和控制降低运营成本。八、成果和交付物清单