Shell节点支持标准Shell语法,不支持交互性语法。
使用限制
-
Shell节点支持标准Shell语法,不支持交互性语法。
-
Shell节点仅支持使用 新增和使用独享调度资源组 执行。
-
独享调度资源组上运行Shell节点时,如果您需要访问的目标端有白名单限制,请 添加独享调度资源组对应IP 至目标端应用。
-
请勿在Shell里启动大量子进程,由于目前Shell节点没有资源限制,该操作可能会影响运行在该调度资源组上的其它任务运行。
前提条件
已创建业务流程。数据开发(DataStudio)基于业务流程执行具体开发操作,因此创建节点前需先新建业务流程,详情请参见 创建业务流程 。
创建通用Shell节点
-
进入数据开发页面。
登录 DataWorks控制台 ,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击 进入数据开发 。
-
鼠标悬停至 图标,单击
,在 新建节点 对话框输入节点名称及路径。 -
单击 确认 ,完成节点的创建。
Shell节点使用资源
在DataWorks节点使用资源时,需要先将资源上传至DataWorks,并通过节点引用资源的方式,将资源加载入节点运行环境后,才可以在节点中使用资源。具体操作如下。
创建资源
DataWorks支持通过新建资源或上传已有资源两种方式,生成DataWorks中需使用的资源,使用哪种方式请以各类型资源的实际创建界面为准。
目前可在DataWorks创建MaxCompute及EMR(E-MapReduce)资源,详情请参见 创建并使用MaxCompute资源 、 创建和使用EMR资源 。
资源需要提交后才可被节点引用。若生产任务需使用该资源,还需将该资源发布至生产环境。详情请参见 发布任务 。
节点中引用资源
您可通过引用资源的方式在节点内使用资源时,节点成功引用资源后在节点代码最上方会显示
@resource_reference{"资源名称"}
注释代码。
引用步骤如下:
-
打开新建的Shell节点,进入节点编辑页面。
-
在数据开发左侧目录树下找到已上传的资源。
-
右键单击该资源,选择 引用资源 ,则该资源将被引用至当前节点中。
您可在节点编辑页面,通过编写代码运行该资源。
Shell节点使用调度参数
通用Shell节点中的变量不允许自定义命名,只能以$1、$2、$3...命名(参数序号由小到大,依次递增),当参数的数量大于10时,请使用${10}的方式声明变量。配置及使用调度参数,详情请参见 配置并使用调度参数 ,更多调度参数的赋值方式,请参见 调度参数概述 。
如上图,在参数赋值区域为参数赋值,再进入代码调用区域定义内置参数$1,自定义参数$2、$3。参数赋值示例如下:
-
内置参数$1赋值取业务时间: $bizdate 。
-
自定义参数$2赋值取业务时间: ${yyyymmdd} 。
-
自定义参数$3赋值取业务时间: $[yyyymmdd] 。
通用Shell节点仅支持使用表达式的方式为参数赋值。参数间使用一个空格隔开,并且参数取值与定义参数时的顺序对应。例如,Shell节点定义的第一个参数为$1,则参数赋值区域序号第一的赋值内容 $bizdate 即为$1的参数取值。
如何判断Shell自定义脚本任务是否执行成功
脚本运行成功或者失败是根据如下进程退出码来进行判断的:
-
退出码0:表示成功。
-
退出码-1:表示进程被终止。
-
退出码2:需要平台自动重跑一次任务。
-
其它退出码:表示失败。
一个Shell任务,如果第一条命令是无效命令,那么最终结果肯定是异常的,这时后面一条输入一条能有效运行的命令,结果会是成功的,具体示例如下:
#!/bin/bash
curl http://xxxxx/asdasd
echo "nihao"
这个任务在平台上最终成功运行,因为该脚本是正常退出的。
这时,把上述命令做一个修改,最终示例如下:
#!/bin/bash
curl http://xxxxx/asdasd
if [[ $? == 0 ]];then
echo "curl success"
echo "failed"
exit 1
echo "nihao"
这样最终这个脚本会运行失败。
通过Shell脚本里面访问OSSUtils
OSSUtils使用路径、全路径,默认有安装。
-
/home/admin/usertools/tools/ossutil64 。
-
OSSUtils常用命令可参考: 常用命令 。
配置用户名密码config可自行配置,比如将config基于运维助手将配置文件上传配置到该目录下: /home/admin/usertools/tools/myconfig 。
[Credentials]
language = CH
endpoint = oss.aliyuncs.com
accessKeyID = your_accesskey_id
accessKeySecret = your_accesskey_secret
stsToken = your_sts_token
outputDir = your_output_dir
ramRoleArn = your_ram_role_arn
命令格式如下:
#!/bin/bash
/home/admin/usertools/tools/ossutil64 --config-file /home/admin/usertools/tools/myconfig cp oss://bucket/object object
if [[ $? == 0 ]];then
echo "access oss success"
echo "failed"
exit 1
echo "finished"
后续操作
若Shell节点需要周期性调度,您需要定义节点的调度属性,并通过任务发布流程将任务发布至生产环境。配置节点调度属性,详情请参见 配置节点调度属性 ,发布任务至生产环境,详情请参见 发布任务 。