BIP 4: byzer release automated test project

Status: DISCUSSION

Author: @hellozepp

Contributor: @hellozepp

Date: 2022.04.24

Issue：https://github.com/byzer-org/task-management/issues/16

Pull Requests: N/A

好处

• 提升发版效率

• 发现多个集成插件和外部jar后出现的问题

容器和CLI测试

github action 支持Linux、macOS、Windows多平台的托管运行器，且内置docker容器，我们可以利用这一点，新建一个工程，建立多个工作流分别对多个脚本进行自动化测试。测试逻辑可以参考byzer中的streamingpro-it中的分布式环境测试，为实现上述需求，且能够跟集成测试有个清晰的边界，对此工程定义如下：

• 仅用于发版测试，需要有多平台的自动化测试并行工作流

• 支持容器（sandbox、muti-image）自动化测试，docker是跨平台的，我们只需要测试linux环境的容器即可

• 支持 all-in-one tar包在Linux、macOS、Windows多个托管环境的CLI自动化测试，注意CLI依赖jdk环境，可以在初始化github工作流时设置，版本为jdk8

• 发版测试应该为专门编写的测试脚本，不能复用集成测试中的脚本

• 由于测试流程较长，执行是成功或失败，应该飞书通知到群组结果，飞书使用的秘钥需要进行加密

vscode测试

vscode需要人为参与安装和启动byzer engine，暂时不需要自动化方式

k8s镜像测试

暂不支持