一些常用的爬虫技巧总结

总结

未来，云上的资源会越来越丰富，在基础设施之上，云平台提供了更多的PaaS能力，就像是操作系统在提供了进程这些能力之上，还有很多的SDK。但是，这些能力目前在使用上还非常低效和不标准，使用过程也比较麻烦。今天我们在以类似汇编的形式使用云，云原生则在重新定义应用程序与云平台之间的契约，并围绕这个契约来构建更高级的编程语言和工具。这就是云原生时代背景下，应用架构演进非常重要的一个方向。
 

• 自动弹性
• 自动腾挪
• 自动重启(自愈)

协议(Contract)=API+Configuration

统筹来看，协议就是API+配置。对于API而言，如果大家使用缓存，那么基本会将开源的协议当做API，这样的协议通常会比闭源的协议更加友好。对于RPC协议，开源的GRPC和DUBBO会优于私有的HSF。此外还有对于基础设施的协议，比如Terraform、Pulumi这些其实是在定义一种开源的配置语言，这些配置语言能够帮助声明所需要的基础设施，比如容器、磁盘、网络、存储等，虽然现在的配置语言种类比较多，但是未来最终会形成1到2种语言，就像是Java的SDK一样，未来使用云资源必然会呈现出一套SDK来，这个SDK必然是根据一套配置代码化语言来构建的。进一步的，GitOps等将发布流程、发布策略也定义成了一套语言，而这在未来将会应用程序与云之间的标准协议。

Docker (& OCI) 是标准的软件交付 API。

• 作为 RPC 协议，开源的 GRPC/DUBBO 优于私有的 HSF。
• 作为缓存协议，开源的 Redis 优于私有的 Tair。
• 微软的 Dapr 尝试基于 sidecar 架构将 API 标准化到 HTTP/GRPC 层，以去 SDK，并支持多语言。
• Terraform，Pulumi 等 IaC 产品，通过配置语言声明基础设施。
• GitOps 进一步的使用代码声明环境、发布流程、发布策略内容。

研发关注点的转变

原来的时候，应用程序所需要关心的东西太多，比如各种SDK、各种运维事件，但是这些东西实际上都可以被抽象成一种模型，并且使用一种新的语言来定义，这也是整个云产业所关心的事情。
 

• 资源隔离
• 独立升级

例子3：业务提供探针，让平台实现生命周期管理

生命周期管理对于应用架构的要求就是原来的应用程序启动之后是健康的还是不健康的，都是应用程序的运维或者研发需要负责和关心的。而在云原生时代，希望将这种协议固定住，通过业务提供探针，来判断应用程序是健康的还是不健康的，这就需要在应用内部通过HTTP协议或者Shell来提供健康信息，这样才能够应用生命周期管理落到平台中去。
 

• 服务注册 & 发现
• 流量路由
• 流量回放
• 发布过程中流量控制

例子2：轻量化容器把日志采集从业务中剥离

以前在做日志采集的时候，需要在各个虚拟机中开启一个日志采集进程，并将采集到的日志传输到日志采集平台，并通过可视化界面进行分析。而今天，在云原生时代，更好的做法是让容器服务从stdout来抓取日志，也可以通过配置的方式去特定日志目录获取日志数据。但是采集这个事情需要搬到Sidecar里面去实现Agent的升级。所以轻量化容器把日志采集从业务中剥离也是一个架构演进的例子。

（编辑：莆田站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!