使用 Bitbucket 部署 ImageLabeller

先决条件

如果您尚未为 Bitbucket 帐户配置 SSH，请按照这些说明进行操作。

使用 ImageLabeller 代码的面向公众的 GitHub 存储库

https://github.com/AtlassianOpenDevOpsGuides

Bitbucket 管道演示视频

观看视频

为 AWS S3 基础架构创建存储库

标准的开发人员循环通常是让开发人员从 Jira 中接取任务，将其移至正在进行的工作中，然后完成开发工作。Jira 事务 ID 是将开发工作与 Jira 事务联系起来的关键。它是两个系统之间的核心集成组件。

从 Jira 中，创建一个新事务，将 AWS S3 基础架构存储库添加到 Bitbucket。记下事务 ID。本例中为 IM-5。

转到“Bitbucket > 创建 > 存储库”。

选择相应“工作区”和“项目”。将“默认分支名称”设置为主线。单击“创建存储库”以继续。

在您的终端中，转到您的 s3_infra 存储库并运行以下命令，将您的 AWS CloudFormation template.yml 文件推送到 Bitbucket。

1git add --all
2git commit -m "IM-5 add s3_infra repository to Bitbucket"
3git remote add origin git@bitbucket.org:pmmquickstartguides01/s3_infra.git
4git branch -m mainline
5git push -u origin mainline

启用 Bitbucket Pipelines

转到“存储库设置 > 设置 > 启用管道”。

添加 AWS 访问密钥存储库变量

转到“存储库变量”，输入您的 AWS 访问密钥 ID，并单击“添加”。然后输入您的 AWS 秘密访问密钥并单击“添加”。

设置部署环境

单击“部署”。

单击“添加环境”以添加新环境。在本示例中，US-WEST-1 中有一个测试环境，US-EAST-2 中有一个暂存环境，US-WEST-2、US-EAST-1 和 CA-CENTRAL-1 中有三个生产环境。

用于部署到 AWS 的 bitbucket-pipelines.yml

在您的终端中转到 s3_infra 存储库，创建一个以您的 Jira 事务 ID 命名的分支。

1git checkout -b IM-5

使用以下 yaml 创建一个 bitbucket-pipelines.yml 文件。这为您的测试、暂存和生产环境定义了部署工作流程。

1definitions:
2  steps:
3    - step: &deploy-test-usw1
4        name: Deploy Test us-west-1
5        script:
6        - pipe: atlassian/aws-cloudformation-deploy:0.10.0
7          variables:
8            AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
9            AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
10            AWS_DEFAULT_REGION: 'us-west-1'
11            STACK_NAME: 'OpenDevOpsS3Infra'
12            CAPABILITIES: ['CAPABILITY_IAM', 'CAPABILITY_AUTO_EXPAND']
13            WAIT: 'true'
14            TEMPLATE: 'template.yml'
15    - step: &deploy-staging-use2
16        name: Deploy Staging us-east-2
17        script:
18        - pipe: atlassian/aws-cloudformation-deploy:0.10.0
19          variables:
20            AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
21            AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
22            AWS_DEFAULT_REGION: 'us-east-2'
23            STACK_NAME: 'OpenDevOpsS3Infra'
24            CAPABILITIES: ['CAPABILITY_IAM', 'CAPABILITY_AUTO_EXPAND']
25            WAIT: 'true'
26            TEMPLATE: 'template.yml'
27    - step: &deploy-production-usw2
28        name: Deploy Production us-west-2
29        script:
30        - pipe: atlassian/aws-cloudformation-deploy:0.10.0
31          variables:
32            AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
33            AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
34            AWS_DEFAULT_REGION: 'us-west-2'
35            STACK_NAME: 'OpenDevOpsS3Infra'
36            CAPABILITIES: ['CAPABILITY_IAM', 'CAPABILITY_AUTO_EXPAND']
37            WAIT: 'true'
38            TEMPLATE: 'template.yml'
39    - step: &deploy-production-use1
40        name: Deploy Production us-east-1
41        script:
42        - pipe: atlassian/aws-cloudformation-deploy:0.10.0
43          variables:
44            AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
45            AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
46            AWS_DEFAULT_REGION: 'us-east-1'
47            STACK_NAME: 'OpenDevOpsS3Infra'
48            CAPABILITIES: ['CAPABILITY_IAM', 'CAPABILITY_AUTO_EXPAND']
49            WAIT: 'true'
50            TEMPLATE: 'template.yml'
51    - step: &deploy-production-cac1
52        name: Deploy Production ca-central-1
53        script:
54        - pipe: atlassian/aws-cloudformation-deploy:0.10.0
55          variables:
56            AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
57            AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
58            AWS_DEFAULT_REGION: 'ca-central-1'
59            STACK_NAME: 'OpenDevOpsS3Infra'
60            CAPABILITIES: ['CAPABILITY_IAM', 'CAPABILITY_AUTO_EXPAND']
61            WAIT: 'true'
62            TEMPLATE: 'template.yml'
63pipelines:
64  default:
65    - step:
66        <<: *deploy-test-usw1
67        deployment: Test us-west-1
68    - step:
69        <<: *deploy-staging-use2
70        deployment: Staging us-east-2
71  branches:
72    mainline:
73      - step:
74          <<: *deploy-production-usw2
75          deployment: Production us-west-2
76      - step:
77          <<: *deploy-production-use1
78          deployment: Production us-east-1
79      - step:
80          <<: *deploy-production-cac1
81          deployment: Production ca-central-1

了解 bitbucket-pipelines.yml 文件

定义和步骤

在定义部分中定义一组步骤。每个步骤都有一个在 bitbucket-pipelines.yml 文件中引用的别别名（显示在 Bitbucket 部署屏幕中的名称）和一个脚本。脚本是一个或多个命令的集合。

1definitions:
2  steps:
3    - step: &deploy-test-usw1
4        name: Deploy Test us-west-1
5        script:
6        - pipe: atlassian/aws-cloudformation-deploy:0.10.0
7          variables:
8            AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
9            AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
10            AWS_DEFAULT_REGION: 'us-west-1'
11            STACK_NAME: 'OpenDevOpsS3Infra'
12            CAPABILITIES: ['CAPABILITY_IAM', 'CAPABILITY_AUTO_EXPAND']
13            WAIT: 'true'
14            TEMPLATE: 'template.yml'

Pipes

此步骤使用 atlassian/aws-cloudformation-deploy管道来部署 s3_infra template.yml 文件中定义的 AWS S3 存储桶。

1- pipe: atlassian/aws-cloudformation-deploy:0.10.0

可用的管道集可在此处找到。atlassian/aws-cloudformation-deploy 管道的文档可在此处找到。

Pipelines

管道运行一组步骤。默认管道是针对管道下未明确命名的分支运行的一组步骤。此默认管道运行部署到测试和暂存环境的步骤。

1pipelines:
2  default:
3    - step:
4        <<: *deploy-test-usw1
5        deployment: Test us-west-1
6    - step:
7        <<: *deploy-staging-use2
8        deployment: Staging us-east-2

部署可实现 Jira 和 Bitbucket 之间的集成。

1deployment: Test us-west-1

您可以定义一组针对分支下的特定命名分支运行的步骤。以下代码段为主线分支定义了一组步骤。

1branches:
2    mainline:
3      - step:
4          <<: *deploy-production-usw2
5          deployment: Production us-west-2
6      - step:
7          <<: *deploy-production-use1
8          deployment: Production us-east-1
9      - step:
10          <<: *deploy-production-cac1
11          deployment: Production ca-central-1

阅读此参考文章，了解有关该主题的更多信息。

推送到功能分支

从命令行运行以下命令，将您的变更推送到 s3_infra 存储库的 IM-5 分支。在提交消息中包含 Jira 事务 ID 和分支名称，以使 Jira Bitbucket 集成能够跟踪您的项目中正在发生的情况。

1git add --all
2git commit -m "IM-5 add bitbucket-pipelines.yml"
3git push -u origin IM-5

单击“管道”，然后单击“IM-5”以查看正在运行的管道。

单击管道本身以查看执行的详细信息。管道运行了相应步骤，将 screenshot_s 部署到 us-west-1 中的测试环境和 us-east-2 中的暂存环境。

创建拉取请求

如需创建拉取请求，请单击“拉取请求”，然后单击“创建拉取请求”。

选择您的功能分支作为源分支，勾选“关闭分支”复选框，然后单击“创建拉取请求”。

审查代码变更，然后“批准”并“合并”拉取请求。

单击“合并”打开合并拉取请求屏幕。勾选“转换事务”复选框，并单击“合并”。

单击“管道”以监控主线管道。

IM-5 分支消失。留下了主线分支，并且管道正在运行。单击管道。

该管道运行了部署到 us-west-2、us-east-1 和 ca-central-1 中的生产环境的步骤。如果管道失败，可以单击“重新运行”按钮来重新运行管道。

回滚错误的部署

如需回滚部署，请单击“部署”。

单击要回滚的环境以获取历史部署列表，选择要回滚到的版本，然后单击“重新部署”。

验证变更是否正确，并单击“重新部署”。

仅重新部署所选的环境。

为 SubmitImage AWS Lambda 创建存储库

转到 Jira 并创建一个 Jira 事务，将 SubmitImage 存储库添加到 Bitbucket。记下 Jira 事务 ID。本例中为 IM-6。

转到 Bitbucket，并单击“创建”，然后单击“存储库”。

选择相应“工作区”和“项目”。将“默认分支名称”设置为主线。单击“创建存储库”以继续。

在您的终端中转到您的 SubmitImage 存储库，并运行以下命令以将您的 AWS Lambda 代码推送到 Bitbucket。在提交消息中包含 Jira 事务 ID 和分支名称，以使 Jira Bitbucket 集成能够跟踪您的项目中正在发生的情况。

1git add --all
2git commit -m "IM-6 add SubmitImage to Bitbucket"
3git remote add origin git@bitbucket.org:pmmquickstartguides01/submitimage.git
4git branch -m mainline
5git push -u origin mainline

启用管道

转到“存储库设置”，单击“设置”，然后单击“启用管道”。

添加存储库变量

单击“存储库变量”，以添加您的 AWS 访问密钥 ID、AWS 秘密访问密钥和 AWS 帐户 ID。向与 AWS 访问密钥关联的 IAM 用户授予管理员访问权限。您可以通过选择个别 AWS 访问策略来选择使用更精细的访问控制。

添加部署环境

单击“部署”，然后单击“添加环境”以添加新环境。在本示例中，us-west-1 中有一个测试环境，us-east-2 中有一个暂存环境，us-west-2、us-east-1 和 ca-central-1 中有三个生产环境。

创建 SSH 密钥

转到 Bitbucket 中的 SubmitImage 存储库，单击“存储库设置”，再单击“SSH 密钥”，然后单击“生成密钥”。

在创建 SystemTests 存储库时，您将需要此 SSH 密钥。

用于部署到 AWS 的 bitbucket-pipelines.yml

在您的终端中转到 SubmitImage 存储库，创建一个以您的 Jira 事务 ID 命名的分支。

1git checkout -b IM-6

使用以下 yaml 创建一个 bitbucket-pipelines.yml 文件。这为您的测试、暂存和生产环境定义 Bitbucket pipeline。您必须更新 git clone 行才能让 SystemTests 成为您的 SystemTests 存储库。

1definitions:
2  steps:
3    -step: &rununittests
4        name: run unit tests
5        image: golang:buster
6        script:
7          - cd submitImage
8          - go test ./opendevopslambda/...
9    -step: &deploy-test-usw1
10        name: Deploy Test us-west-1
11        image: amazon/aws-sam-cli-build-image-provided
12        script:
13          - curl https://dl.google.com/go/go1.16.3.linux-amd64.tar.gz -o go1.16.3.tar.gz
14          - rm -rf /usr/local/go
15          - tar -C /usr/local -xzf go1.16.3.tar.gz
16          - export PATH=$PATH:/usr/local/go/bin
17          - go version
18          - make
19          - ls -lah /opt/atlassian/pipelines/agent/build/build/
20          - pipe: atlassian/aws-sam-deploy:1.2.0
21            variables:
22              AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
23              AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
24              AWS_DEFAULT_REGION: 'us-west-1'
25              STACK_NAME: 'OpenDevOpsSubmitImage'
26              CAPABILITIES: [ 'CAPABILITY_IAM', 'CAPABILITY_NAMED_IAM', 'CAPABILITY_AUTO_EXPAND' ]
27              TEMPLATE: 'https://s3.amazonaws.com/open-devops-code-us-west-1-${AWS_ACCOUNT_ID}/submit-image-packaged.yml'
28              WAIT: 'true'
29              DEBUG: 'true'
30              S3_BUCKET: 'open-devops-code-us-west-1-${AWS_ACCOUNT_ID}'
31              SAM_TEMPLATE: 'build/template.yaml'
32    -step: &integration-test-usw1
33      name: Integration test usw1
34      image: golang:buster
35      script:
36        - git clone git@bitbucket.org:pmmquickstartguides01/systemtests.git
37        - cd systemtests
38        - go test -v ./... -aws_region=us-west-1
39    -step: &deploy-staging-use2
40        name: Deploy Staging us-east-2
41        image: amazon/aws-sam-cli-build-image-provided
42        script:
43          - curl https://dl.google.com/go/go1.16.3.linux-amd64.tar.gz -o go1.16.3.tar.gz
44          - rm -rf /usr/local/go
45          - tar -C /usr/local -xzf go1.16.3.tar.gz
46          - export PATH=$PATH:/usr/local/go/bin
47          - go version
48          - make
49          - ls -lah /opt/atlassian/pipelines/agent/build/build/
50          - BITBUCKET_PIPE_SHARED_STORAGE_DIR="/opt/atlassian/pipelines/agent/build/.bitbucket/pipelines/generated/pipeline/pipes"
51          - chmod -R o+rw $BITBUCKET_PIPE_SHARED_STORAGE_DIR
52          - pipe: atlassian/aws-sam-deploy:1.2.0
53            variables:
54              AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
55              AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
56              AWS_DEFAULT_REGION: 'us-east-2'
57              STACK_NAME: 'OpenDevOpsSubmitImage'
58              CAPABILITIES: [ 'CAPABILITY_IAM', 'CAPABILITY_NAMED_IAM', 'CAPABILITY_AUTO_EXPAND' ]
59              TEMPLATE: 'https://s3.amazonaws.com/open-devops-code-us-east-2-${AWS_ACCOUNT_ID}/submit-image-packaged.yml'
60              WAIT: 'true'
61              DEBUG: 'true'
62              S3_BUCKET: 'open-devops-code-us-east-2-${AWS_ACCOUNT_ID}'
63              SAM_TEMPLATE: 'build/template.yaml'
64    -step: &integration-test-use2
65      name: Integration test use2
66      image: golang:buster
67      script:
68        - git clone git@bitbucket.org:pmmquickstartguides01/systemtests.git
69        - cd systemtests
70        - go test -v ./... -aws_region=us-east-2
71    -step: &deploy-production-usw2
72        name: Deploy Production us-west-2
73        image: amazon/aws-sam-cli-build-image-provided
74        script:
75          - curl https://dl.google.com/go/go1.16.3.linux-amd64.tar.gz -o go1.16.3.tar.gz
76          - rm -rf /usr/local/go
77          - tar -C /usr/local -xzf go1.16.3.tar.gz
78          - export PATH=$PATH:/usr/local/go/bin
79          - go version
80          - make
81          - ls -lah /opt/atlassian/pipelines/agent/build/build/
82          - pipe: atlassian/aws-sam-deploy:1.2.0
83            variables:
84              AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
85              AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
86              AWS_DEFAULT_REGION: 'us-west-2'
87              STACK_NAME: 'OpenDevOpsSubmitImage'
88              CAPABILITIES: [ 'CAPABILITY_IAM', 'CAPABILITY_NAMED_IAM', 'CAPABILITY_AUTO_EXPAND' ]
89              TEMPLATE: 'https://s3.amazonaws.com/open-devops-code-us-west-2-${AWS_ACCOUNT_ID}/submit-image-packaged.yml'
90              WAIT: 'true'
91              DEBUG: 'true'
92              S3_BUCKET: 'open-devops-code-us-west-2-${AWS_ACCOUNT_ID}'
93              SAM_TEMPLATE: 'build/template.yaml'
94    -step: &integration-test-usw2
95      name: Integration test usw2
96      image: golang:buster
97      script:
98        - git clone git@bitbucket.org:pmmquickstartguides01/systemtests.git
99        - cd systemtests
100        - go test -v ./... -aws_region=us-west-2
101    -step: &deploy-production-use1
102        name: Deploy Production us-east-1
103        image: amazon/aws-sam-cli-build-image-provided
104        script:
105          - curl https://dl.google.com/go/go1.16.3.linux-amd64.tar.gz -o go1.16.3.tar.gz
106          - rm -rf /usr/local/go
107          - tar -C /usr/local -xzf go1.16.3.tar.gz
108          - export PATH=$PATH:/usr/local/go/bin
109          - go version
110          - make
111          - ls -lah /opt/atlassian/pipelines/agent/build/build/
112          - BITBUCKET_PIPE_SHARED_STORAGE_DIR="/opt/atlassian/pipelines/agent/build/.bitbucket/pipelines/generated/pipeline/pipes"
113          - chmod -R o+rw $BITBUCKET_PIPE_SHARED_STORAGE_DIR
114          - pipe: atlassian/aws-sam-deploy:1.2.0
115            variables:
116              AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
117              AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
118              AWS_DEFAULT_REGION: 'us-east-1'
119              STACK_NAME: 'OpenDevOpsSubmitImage'
120              CAPABILITIES: [ 'CAPABILITY_IAM', 'CAPABILITY_NAMED_IAM', 'CAPABILITY_AUTO_EXPAND' ]
121              TEMPLATE: 'https://s3.amazonaws.com/open-devops-code-us-east-1-${AWS_ACCOUNT_ID}/submit-image-packaged.yml'
122              WAIT: 'true'
123              DEBUG: 'true'
124              S3_BUCKET: 'open-devops-code-us-east-1-${AWS_ACCOUNT_ID}'
125              SAM_TEMPLATE: 'build/template.yaml'
126    -step: &integration-test-use1
127      name: Integration test use1
128      image: golang:buster
129      script:
130        - git clone git@bitbucket.org:pmmquickstartguides01/systemtests.git
131        - cd systemtests
132        - go test -v ./... -aws_region=us-east-1
133    -step: &deploy-production-cac1
134        name: Deploy Production ca-central-1
135        image: amazon/aws-sam-cli-build-image-provided
136        script:
137          - curl https://dl.google.com/go/go1.16.3.linux-amd64.tar.gz -o go1.16.3.tar.gz
138          - rm -rf /usr/local/go
139          - tar -C /usr/local -xzf go1.16.3.tar.gz
140          - export PATH=$PATH:/usr/local/go/bin
141          - go version
142          - make
143          - ls -lah /opt/atlassian/pipelines/agent/build/build/
144          - BITBUCKET_PIPE_SHARED_STORAGE_DIR="/opt/atlassian/pipelines/agent/build/.bitbucket/pipelines/generated/pipeline/pipes"
145          - chmod -R o+rw $BITBUCKET_PIPE_SHARED_STORAGE_DIR
146          - pipe: atlassian/aws-sam-deploy:1.2.0
147            variables:
148              AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
149              AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
150              AWS_DEFAULT_REGION: 'ca-central-1'
151              STACK_NAME: 'OpenDevOpsSubmitImage'
152              CAPABILITIES: [ 'CAPABILITY_IAM', 'CAPABILITY_NAMED_IAM', 'CAPABILITY_AUTO_EXPAND' ]
153              TEMPLATE: 'https://s3.amazonaws.com/open-devops-code-ca-central-1-${AWS_ACCOUNT_ID}/submit-image-packaged.yml'
154              WAIT: 'true'
155              DEBUG: 'true'
156              S3_BUCKET: 'open-devops-code-ca-central-1-${AWS_ACCOUNT_ID}'
157              SAM_TEMPLATE: 'build/template.yaml'
158    -step: &integration-test-cac1
159      name: Integration test cac1
160      image: golang:buster
161      script:
162        - git clone git@bitbucket.org:pmmquickstartguides01/systemtests.git
163        - cd systemtests
164        - go test -v ./... -aws_region=ca-central-1
165pipelines:
166  default:
167    - step: *rununittests
168    - step:
169        <<: *deploy-test-usw1
170        deployment: Test us-west-1
171#    - step: *integration-test-usw1
172    - step:
173        <<: *deploy-staging-use2
174        deployment: Staging us-east-2
175#    - step: *integration-test-use2
176  branches:
177    mainline:
178      - step:
179          <<: *deploy-production-usw2
180          deployment: Production us-west-2
181#      - step: *integration-test-usw2
182      - step:
183          <<: *deploy-production-use1
184          deployment: Production us-east-1
185#      - step: *integration-test-use1
186      - step:
187          <<: *deploy-production-cac1
188          deployment: Production ca-central-1
189#      - step: *integration-test-cac1

了解 bitbucket-pipelines.yml 文件

此步骤从 SubmitImage 代码库运行单元测试。

1-step: &rununittests
2        name: run unit tests
3        image: golang:buster
4        script:
5          - cd submitImage
6          - go test ./opendevopslambda/...

此步骤使用 AWS SAM 将您的 SubmitImage AWS Lambda 部署到 us-west-2。这个 pipe 的文档可以在此处找到。

1-step: &deploy-usw2-prod
2    name: deploy us-west-2 prod
3    image: amazon/aws-sam-cli-build-image-provided
4    script:
5      - curl https://dl.google.com/go/go1.16.3.linux-amd64.tar.gz -o go1.16.3.tar.gz
6      - rm -rf /usr/local/go
7      - tar -C /usr/local -xzf go1.16.3.tar.gz
8      - export PATH=$PATH:/usr/local/go/bin
9      - go version
10      - make
11      - pipe: atlassian/aws-sam-deploy:1.2.0
12        variables:
13          AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
14          AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
15          AWS_DEFAULT_REGION: 'us-west-2'
16          STACK_NAME: 'OpenDevOpsSubmitImage'
17          CAPABILITIES: [ 'CAPABILITY_IAM', 'CAPABILITY_NAMED_IAM', 'CAPABILITY_AUTO_EXPAND' ]
18          TEMPLATE: 'https://s3.amazonaws.com/open-devops-code-us-west-2-${AWS_ACCOUNT_ID}/submit-image-packaged.yml'
19          WAIT: 'true'
20          DEBUG: 'true'
21          S3_BUCKET: 'open-devops-code-us-west-2-${AWS_ACCOUNT_ID}'
22          SAM_TEMPLATE: 'build/template.yaml'

此步骤克隆 SystemTests 存储库，并在 us-west-2 中运行集成测试。您必须更新 git clone 行才能让 SystemTests 成为您的 SystemTests 存储库。

1-step: &integration-test-usw2
2      name: Integration test usw2
3      image: golang:buster
4      script:
5        - git clone git@bitbucket.org:pmmquickstartguides01/systemtests.git
6        - cd systemtests
7        - go test -v ./... -aws_region=us-west-2

推送到功能分支

从命令行运行以下命令，将变更推送到您的 SubmitImage 存储库的 IM-8 分支。

1git add --all
2git commit -m "IM-6 add bitbucket-pipelines.yml to SubmitImage"
3git push -u origin IM-6

单击“管道”，然后单击“IM-6”以查看正在运行的管道。

创建拉取请求

如需创建拉取请求，请单击“拉取请求”，然后单击“创建拉取请求”。完成拉取请求，并单击“管道”以查看生产部署。

为 InvokeLabeller AWS Lambda 创建存储库

转到 Jira 并创建一个 Jira 事务，将 InvokeLabeller 存储库添加到 Bitbucket。记下 Jira 事务 ID。本例中为 IM-10。

转到 Bitbucket，并单击“创建”，然后单击“存储库”。 选择相应“工作区”和“项目”。将“默认分支名称”设置为主线。单击“创建存储库”以继续。

在您的终端中转到您的 InvokeLabeller 存储库，并运行以下命令以将您的 AWS Lambda 代码推送到 Bitbucket。在提交消息中包含 Jira 事务 ID 和分支名称，以使 Jira Bitbucket 集成能够跟踪您的项目中正在发生的情况。

1git add --all
2git commit -m "IM-10 add InvokeLabeller to Bitbucket"
3git remote add origin git@bitbucket.org:pmmquickstartguides01/invokelabeller.git
4git branch -m mainline
5git push -u origin mainline

启用管道

转到“存储库设置”，单击“设置”，然后单击“启用管道”。

添加存储库变量

单击“存储库变量”，以添加您的 AWS 访问密钥 ID、AWS 秘密访问密钥和 AWS 帐户 ID。向与 AWS 访问密钥关联的 IAM 用户授予管理员访问权限。您可以通过选择个别 AWS 访问策略来选择使用更精细的访问控制，但详情留给读者。

添加部署环境

单击“部署”，然后单击“添加环境”以添加新环境。在本示例中，us-west-1 中有一个测试环境，us-east-2 中有一个暂存环境，us-west-2、us-east-1 和 ca-central-1 中有三个生产环境。

创建 SSH 密钥

转至 Bitbucket 中的 SubmitImage 存储库，点击存储库设置，再点击SSH 密钥，然后点击生成密钥。

用于部署到 AWS 的 bitbucket-pipelines.yml

在您的终端中转到 InvokeLabeller 存储库，创建一个以您的 Jira 事务 ID 命名的分支。

1git checkout -b IM-10

使用以下 yaml 创建一个 bitbucket-pipelines.yml 文件。这为您的测试、暂存和生产环境定义 Bitbucket pipeline。您必须更新 git clone 行才能让 SystemTests 成为您的 SystemTests 存储库。

1definitions:
2  steps:
3    -step: &rununittests
4        name: run unit tests
5        image: python:rc-buster
6        script:
7          - pip3 install pytest
8          - pip3 install moto
9          - pip3 install -r tst/requirements.txt --user
10          - python3 -m pytest -v tst/unit --junitxml=test-reports/report.xml
11    -step: &deploy-usw1-test
12        name: deploy us-west-1 test
13        image: amazon/aws-sam-cli-build-image-python3.8
14        script:
15          - pipe: atlassian/aws-sam-deploy:1.2.0
16            variables:
17              AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
18              AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
19              AWS_DEFAULT_REGION: 'us-west-1'
20              STACK_NAME: 'OpenDevOpsImageLabeller'
21              CAPABILITIES: [ 'CAPABILITY_IAM', 'CAPABILITY_NAMED_IAM', 'CAPABILITY_AUTO_EXPAND' ]
22              TEMPLATE: 'https://s3.amazonaws.com/open-devops-code-us-west-1-${AWS_ACCOUNT_ID}/image-labeller-packaged.yml'
23              WAIT: 'true'
24              DEBUG: 'true'
25              S3_BUCKET: 'open-devops-code-us-west-1-${AWS_ACCOUNT_ID}'
26              SAM_TEMPLATE: 'template.yml'
27    -step: &integration-test-usw1
28      name: integration test usw1
29      image: golang:buster
30      script:
31        - git clone git@bitbucket.org:pmmquickstartguides01/systemtests.git
32        - cd systemtests
33        - go test -v ./... -aws_region=us-west-1
34    -step: &deploy-use2-staging
35        name: deploy us-east-2 staging
36        image: amazon/aws-sam-cli-build-image-python3.8
37        script:
38          - BITBUCKET_PIPE_SHARED_STORAGE_DIR="/opt/atlassian/pipelines/agent/build/.bitbucket/pipelines/generated/pipeline/pipes"
39          - chmod -R o+rw $BITBUCKET_PIPE_SHARED_STORAGE_DIR
40          - pipe: atlassian/aws-sam-deploy:1.2.0
41            variables:
42              AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
43              AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
44              AWS_DEFAULT_REGION: 'us-east-2'
45              STACK_NAME: 'OpenDevOpsImageLabeller'
46              CAPABILITIES: [ 'CAPABILITY_IAM', 'CAPABILITY_NAMED_IAM', 'CAPABILITY_AUTO_EXPAND' ]
47              TEMPLATE: 'https://s3.amazonaws.com/open-devops-code-us-east-2-${AWS_ACCOUNT_ID}/image-labeller-packaged.yml'
48              WAIT: 'true'
49              DEBUG: 'true'
50              S3_BUCKET: 'open-devops-code-us-east-2-${AWS_ACCOUNT_ID}'
51              SAM_TEMPLATE: 'template.yml'
52    -step: &integration-test-use2
53      name: integration test use2
54      image: golang:buster
55      script:
56        - git clone git@bitbucket.org:pmmquickstartguides01/systemtests.git
57        - cd systemtests
58        - go test -v ./... -aws_region=us-east-2
59    -step: &deploy-usw2-prod
60        name: deploy us-west-2 prod
61        image: amazon/aws-sam-cli-build-image-python3.8
62        script:
63          - pipe: atlassian/aws-sam-deploy:1.2.0
64            variables:
65              AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
66              AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
67              AWS_DEFAULT_REGION: 'us-west-2'
68              STACK_NAME: 'OpenDevOpsImageLabeller'
69              CAPABILITIES: [ 'CAPABILITY_IAM', 'CAPABILITY_NAMED_IAM', 'CAPABILITY_AUTO_EXPAND' ]
70              TEMPLATE: 'https://s3.amazonaws.com/open-devops-code-us-west-2-${AWS_ACCOUNT_ID}/image-labeller-packaged.yml'
71              WAIT: 'true'
72              DEBUG: 'true'
73              S3_BUCKET: 'open-devops-code-us-west-2-${AWS_ACCOUNT_ID}'
74              SAM_TEMPLATE: 'template.yml'
75    -step: &integration-test-usw2
76      name: integration test usw2
77      image: golang:buster
78      script:
79        - git clone git@bitbucket.org:pmmquickstartguides01/systemtests.git
80        - cd systemtests
81        - go test -v ./... -aws_region=us-west-2
82    -step: &deploy-use1-prod
83        name: deploy us-east-1 prod
84        image: amazon/aws-sam-cli-build-image-python3.8
85        script:
86          - BITBUCKET_PIPE_SHARED_STORAGE_DIR="/opt/atlassian/pipelines/agent/build/.bitbucket/pipelines/generated/pipeline/pipes"
87          - chmod -R o+rw $BITBUCKET_PIPE_SHARED_STORAGE_DIR
88          - pipe: atlassian/aws-sam-deploy:1.2.0
89            variables:
90              AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
91              AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
92              AWS_DEFAULT_REGION: 'us-east-1'
93              STACK_NAME: 'OpenDevOpsImageLabeller'
94              CAPABILITIES: [ 'CAPABILITY_IAM', 'CAPABILITY_NAMED_IAM', 'CAPABILITY_AUTO_EXPAND' ]
95              TEMPLATE: 'https://s3.amazonaws.com/open-devops-code-us-east-1-${AWS_ACCOUNT_ID}/image-labeller-packaged.yml'
96              WAIT: 'true'
97              DEBUG: 'true'
98              S3_BUCKET: 'open-devops-code-us-east-1-${AWS_ACCOUNT_ID}'
99              SAM_TEMPLATE: 'template.yml'
100    -step: &integration-test-use1
101      name: integration test use1
102      image: golang:buster
103      script:
104        - git clone git@bitbucket.org:pmmquickstartguides01/systemtests.git
105        - cd systemtests
106        - go test -v ./... -aws_region=us-east-1
107    -step: &deploy-cac1-prod
108        name: deply ca-central-1 prod
109        image: amazon/aws-sam-cli-build-image-python3.8
110        script:
111          - BITBUCKET_PIPE_SHARED_STORAGE_DIR="/opt/atlassian/pipelines/agent/build/.bitbucket/pipelines/generated/pipeline/pipes"
112          - chmod -R o+rw $BITBUCKET_PIPE_SHARED_STORAGE_DIR
113          - pipe: atlassian/aws-sam-deploy:1.2.0
114            variables:
115              AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
116              AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
117              AWS_DEFAULT_REGION: 'ca-central-1'
118              STACK_NAME: 'OpenDevOpsImageLabeller'
119              CAPABILITIES: [ 'CAPABILITY_IAM', 'CAPABILITY_NAMED_IAM', 'CAPABILITY_AUTO_EXPAND' ]
120              TEMPLATE: 'https://s3.amazonaws.com/open-devops-code-ca-central-1-${AWS_ACCOUNT_ID}/image-labeller-packaged.yml'
121              WAIT: 'true'
122              DEBUG: 'true'
123              S3_BUCKET: 'open-devops-code-ca-central-1-${AWS_ACCOUNT_ID}'
124              SAM_TEMPLATE: 'template.yml'
125    -step: &integration-test-cac1
126      name: integration test cac1
127      image: golang:buster
128      script:
129        - git clone git@bitbucket.org:pmmquickstartguides01/systemtests.git
130        - cd systemtests
131        - go test -v ./... -aws_region=ca-central-1
132pipelines:
133  default:
134    - step: *rununittests
135    - step:
136        <<: *deploy-usw1-test
137        deployment: us-west-1 Test
138#    - step: *integration-test-usw1
139    - step:
140        <<: *deploy-use2-staging
141        deployment: us-east-2 Staging
142#    - step: *integration-test-use2
143  branches:
144    mainline:
145      - step:
146          <<: *deploy-usw2-prod
147          deployment: us-west-2 Prod
148#      - step: *integration-test-usw2
149      - step:
150          <<: *deploy-use1-prod
151          deployment: us-east-1 Prod
152#      - step: *integration-test-use1
153      - step:
154          <<: *deploy-cac1-prod
155          deployment: ca-central-1 Prod
156#      - step: *integration-test-cac1

集成测试的执行目前已被注释掉。只有在部署整个应用时，系统测试才会通过。取消对存储库中的集成测试步骤的注释，并在部署 ImageLabeller 的所有组件后再次推送以运行部署管道。您必须更新 git clone 行才能让 SystemTests 成为您的 SystemTests 存储库。

了解 bitbucket-pipelines.yml 文件

此步骤从 InvokeLabeller 代码库运行单元测试。

1-step: &rununittests
2        name: run unit tests
3        image: golang:buster
4        script:
5          - cd submitImage
6          - go test ./opendevopslambda/...

使用 AWS SageMaker 端点更新 src/app.py

打开 InvokeLabeller 的 src/app.py 文件，并查找 query_endpoint。变更 endpoint_name 和客户端 region_name 以匹配您的 AWS SageMaker 记事本。

1def query_endpoint(img):
2  endpoint_name = 'jumpstart-dft-image-labeller-endpoint'
3  client = boto3.client(service_name='runtime.sagemaker', region_name='us-west-1')
4  response = client.invoke_endpoint(EndpointName=endpoint_name, ContentType='application/x-image', Body=img)
5  model_predictions = json.loads(response['Body'].read())['predictions'][0]
6  return model_predictions

推送到功能分支

从命令行运行以下命令，将您的变更推送到您的 InvokeLabeller 存储库的 IM-10 分支。

1git add --all
2git commit -m "IM-10 add bitbucket-pipelines.yml to InvokeLabeller"
3git push -u origin IM-10

单击“管道”，然后单击“IM-10”以查看正在运行的管道。

创建拉取请求

如需创建拉取请求，请单击“拉取请求”，然后单击“创建拉取请求”。完成拉取请求，并单击“管道”以查看生产部署。

为系统测试创建存储库

转到 Jira，并创建一个新的 Jira 事务，将 SystemTests 存储库添加到 Bitbucket。记下事务 ID。本例中为 IM-7。

转到 Bitbucket，并单击“创建”，然后单击“存储库”。

选择相应“工作区”和“项目”。将“默认分支名称”设置为主线。单击“创建存储库”以继续。

在您的终端中转到您的 SystemTests 存储库，并运行以下命令以将您的代码推送到 Bitbucket。

1git add --all
2git commit -m "IM-7 add SystemTests repository to Bitbucket"
3git remote add origin git@bitbucket.org:pmmquickstartguides01/systemtests.git
4git branch -M mainline
5git push -u origin mainline

systemTests 存储库不需要 bitbucket-pipelines.yml 文件。它没有自己的管道，因为它为其他管道提供测试使其运行。记下您的 SystemTest 的远程 URL。SubmitImage、GetImageLabel 和 InvokeLabeller CI/CD 管道将在测试步骤中克隆 SystemTests 存储库。您需要使用正确的 URL 更新后续存储库的 bitbucket-pipelines.yml。

从 SubmitImage、GetImageLabel 和 InvokeLabeller 添加 SSH 密钥

单击“存储库设置”，然后单击“访问密钥”。

单击“添加密钥”，粘贴从 SubmitImage、GetImageLabel 或 InvokeLabeller 复制的 SSH 密钥，然后单击“添加 SSH 密钥”。