Kafka 工作流程和存储机制
|
数据安全形势 据IBM《2019年全球数据泄露成本报告》显示，恶意数据泄露平均给调研中的受访企业带来 445 万美元的损失。CNCERT 在2019年全年累计发现我国重要数据泄露风险与事件 3000 余起。数据泄漏对企业来说不仅是经济损失，还有国家层面的巨额罚款;比如Facebook的8700万用户数据的不当泄漏被罚款50亿美金，英国航空公司的50万乘客数据的不当泄漏被罚款2.3亿美元;国内大量企业都号称自己有百万、千万甚至过亿的用户量，但你们是否有相应的数据安全能力来保证用户数据不外泄，或者你们是否有能力应对合规层面的巨额罚款。 数据安全标准 国际层面，各国出台了如GDPR、CCPA、COPPA、LGPD等。 国内层面，近期相继出台了《网络安全法》、《儿童个人信息网络保护规定》、《APP违法违规收集使用个人信息行为认定方法》、 《数据安全管理办法》(征求意见稿)、《网络数据安全标准体系建设指南》(征求意见稿)和《中华人民共和国数据安全法(草案)》等。 数据安全相关定义 (1) 数据的定义： 任何以电子或者非电子形式对信息的记录。 (2) 理解数据的类型： a. 按照数据性质区分
比如，CRM系统调用getCustomer API接口。 当获取到这次实例数据的时候，我们将其推送到第一个缓存集合，如果该接口本身也是ERP系统提供的接口，那么我们会同时将该数据推送一份到ERP系统缓存集合。 对于缓存数据集，我们每10秒就做一次汇总处理。并将汇总完成的结果数据形成一条记录推送到对应的滑动时间窗口区。在推送完成后将该数据集数据全部清空或进行资源释放。 基于滑动窗口数据的二次数据处理 对于滑动窗口中的二次数据处理，我们可以在每次数据推送完成后就计算一次滑动窗口数据，比如5分钟规则，我们就获取窗口中最近5分钟的数据进行二次汇总，并判断二次汇总后的数据是否满足了相应的触发条件。 如果满足条件，就进行限流熔断处理。 限流熔断实现逻辑和API网关能力的解耦最后谈下限流熔断实现和整个API网关能力的解耦。 简单来说，限流熔断本身也是一个独立的拦截器，对服务请求进行拦截，并判断当前限流熔断规则是否处于生效状态，如果处于生效状态就触发限流熔断操作，比如对访问请求进行拒绝。如果不生效状态，那么就放行服务请求。
那么整个限流熔断和API网关的集成关系，我们需要重新梳理如下： （编辑：莆田站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
