亚马逊正在推广boto3用于未来的开发,但没有为新的boto3提供足够的文档。
有没有人有任何使用SWF和boto3的示例代码,他们愿意分享?
答案 0 :(得分:15)
这是我到目前为止找到的唯一例子:
https://github.com/jhludwig/aws-swf-boto3
因此,流程概述如下所示(请注意,这是直接从上面的链接中提取的,但添加了一些额外的注释,更多的是流程)。
应该注意的是,SWF根据事物的名称进行操作。由您的代码决定是否赋予这些名称执行意义。例如,您的Decider
将轮询并使用任务名称决定下一步。
我不确定的一些事情。 TASKLIST
引用我认为是一种命名空间。它不是真正的一系列事物,它更多的是按名称隔离事物。现在我可能完全错了,从我的基本理解,这就是我认为它的说法。
您可以从任何地方运行您的决策者和工人。由于它们可以触及AWS,因此如果您的防火墙允许0.0.0.0/0出口,您将可以访问。
AWS Docs还提到你可以运行lambda,但我还没有找到如何触发它。
import boto3
from botocore.exceptions import ClientError
swf = boto3.client('swf')
try:
swf.register_domain(
name=<DOMAIN>,
description="Test SWF domain",
workflowExecutionRetentionPeriodInDays="10" # keep history for this long
)
except ClientError as e:
print "Domain already exists: ", e.response.get("Error", {}).get("Code")
创建域后,我们现在注册工作流程:
try:
swf.register_workflow_type(
domain=DOMAIN, # string
name=WORKFLOW, # string
version=VERSION, # string
description="Test workflow",
defaultExecutionStartToCloseTimeout="250",
defaultTaskStartToCloseTimeout="NONE",
defaultChildPolicy="TERMINATE",
defaultTaskList={"name": TASKLIST } # TASKLIST is a string
)
print "Test workflow created!"
except ClientError as e:
print "Workflow already exists: ", e.response.get("Error", {}).get("Code")
通过注册我们的工作流程,我们现在可以开始分配任务。
您可以指定 N 任务。请记住,这些主要是字符串,您的代码将赋予它们执行意义。
try:
swf.register_activity_type(
domain=DOMAIN,
name="DoSomething",
version=VERSION, # string
description="This is a worker that does something",
defaultTaskStartToCloseTimeout="NONE",
defaultTaskList={"name": TASKLIST } # TASKLIST is a string
)
print "Worker created!"
except ClientError as e:
print "Activity already exists: ", e.response.get("Error", {}).get("Code")
创建了我们的域,工作流和任务后,我们现在可以开始工作流程了。
import boto3
swf = boto3.client('swf')
response = swf.start_workflow_execution(
domain=DOMAIN # string,
workflowId='test-1001',
workflowType={
"name": WORKFLOW,# string
"version": VERSION # string
},
taskList={
'name': TASKLIST
},
input=''
)
print "Workflow requested: ", response
请注意workflowId
,这是一个自定义标识符,例如str(uuid.uuid4())
。来自文档:
与工作流程执行相关联的用户定义标识符。您可以使用此选项将自定义标识符与工作流程执行相关联。如果工作流程执行在逻辑上重新启动上一次执行,则可以指定相同的标识符。您不能同时使用相同的workflowId进行两次打开的工作流程执行。
此时,由于我们没有Decider
正在运行,也没有任何Workers
,因此不会发生任何事情。让我们看看它们的样子。
我们的决策者将进行民意调查,以便做出决定任务:
import boto3
from botocore.client import Config
import uuid
botoConfig = Config(connect_timeout=50, read_timeout=70)
swf = boto3.client('swf', config=botoConfig)
请注意上面的超时设置。您可以参考此PR以查看其背后的基本原理:
https://github.com/boto/botocore/pull/634
来自Boto3 SWF文档:
工作人员应将其客户端套接字超时设置为至少70秒(比服务保留轮询请求的最长时间高10秒)。
PR是使boto3能够执行该功能的原因。
http://boto3.readthedocs.org/en/latest/reference/services/swf.html#SWF.Client.poll_for_decision_task
print "Listening for Decision Tasks"
while True:
newTask = swf.poll_for_decision_task(
domain=DOMAIN ,
taskList={'name': TASKLIST }, # TASKLIST is a string
identity='decider-1', # any identity you would like to provide, it's recorded in the history
reverseOrder=False)
if 'taskToken' not in newTask:
print "Poll timed out, no new task. Repoll"
elif 'events' in newTask:
eventHistory = [evt for evt in newTask['events'] if not evt['eventType'].startswith('Decision')]
lastEvent = eventHistory[-1]
if lastEvent['eventType'] == 'WorkflowExecutionStarted':
print "Dispatching task to worker", newTask['workflowExecution'], newTask['workflowType']
swf.respond_decision_task_completed(
taskToken=newTask['taskToken'],
decisions=[
{
'decisionType': 'ScheduleActivityTask',
'scheduleActivityTaskDecisionAttributes': {
'activityType':{
'name': TASKNAME, # string
'version': VERSION # string
},
'activityId': 'activityid-' + str(uuid.uuid4()),
'input': '',
'scheduleToCloseTimeout': 'NONE',
'scheduleToStartTimeout': 'NONE',
'startToCloseTimeout': 'NONE',
'heartbeatTimeout': 'NONE',
'taskList': {'name': TASKLIST}, # TASKLIST is a string
}
}
]
)
print "Task Dispatched:", newTask['taskToken']
elif lastEvent['eventType'] == 'ActivityTaskCompleted':
swf.respond_decision_task_completed(
taskToken=newTask['taskToken'],
decisions=[
{
'decisionType': 'CompleteWorkflowExecution',
'completeWorkflowExecutionDecisionAttributes': {
'result': 'success'
}
}
]
)
print "Task Completed!"
请注意,在此代码段的末尾,我们会检查是否有ActivityTaskCompleted
,我们会回复CompleteWorkflowExecution
决定让SWF知道我们已完成。
那是决策者,工人的样子是什么样的?
http://boto3.readthedocs.org/en/latest/reference/services/swf.html#SWF.Client.poll_for_activity_task
再次注意,我们设置了read_timeout
import boto3
from botocore.client import Config
botoConfig = Config(connect_timeout=50, read_timeout=70)
swf = boto3.client('swf', config=botoConfig)
现在我们开始我们的工人民意调查:
print "Listening for Worker Tasks"
while True:
task = swf.poll_for_activity_task(
domain=DOMAIN,# string
taskList={'name': TASKLIST}, # TASKLIST is a string
identity='worker-1') # identity is for our history
if 'taskToken' not in task:
print "Poll timed out, no new task. Repoll"
else:
print "New task arrived"
swf.respond_activity_task_completed(
taskToken=task['taskToken'],
result='success'
)
print "Task Done"
我们再次向SWF表示我们已完成工作。
答案 1 :(得分:1)
到官方文档的链接是[here] [1]。
在链接或[this] [2]后面有很多代码示例。在可用服务部分下,它列出了boto3现在支持的所有服务以及详细示例。
其中一些示例是: boto3并获取SWF的执行计数
import boto3
import datetime
import time
import dateutil.tz
def lambda_handler(event,context):
swfClient = boto3.client('swf')
currentTimeZone = dateutil.tz.gettz('Australia/Brisbane')
latestDate = datetime.datetime.now(tz=currentTimeZone)
oldestDate = latestDate - datetime.timedelta(1)
fullTextPreloadResponse = swfClient.count_open_workflow_executions(
domain=domainName,
startTimeFilter={
'oldestDate': oldestDate,
'latestDate': latestDate
},
typeFilter={
'name': 'NAME_OF_YOUR_SWF_WORKFLOW_NAME',
'version': 'VERSION_NUMBER'
}
)
print("the count is " + str(fullTextResponse['count']))
print(fullTextResponse)
这就是我用来获取正在运行的SWF工作流类型的数量的方法。我使用的格式在上面提到的文档中有很好的定义。
要简单地同时使用boto3和SWF,首先要在python lambda函数中导入boto3。然后添加python DateTime。然后,一个boto3.client从我们可以使用|的地方设置客户端。与SWF交互。
其他示例为:
history = swf.get_workflow_execution_history(
domain= domainName,
execution={
'workflowId': workflowId,
'runId': runId
},
)
希望这对您有帮助! [1]:https://boto3.amazonaws.com/v1/documentation/api/latest/index.html [2]:https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/index.html