Thanks. About ssh connections pool, 1. If the connection is not enough, Can it be solved by modifying the number of server ssh connections. 2. I think we have to look at whether a server's parallel ssh tasks will reach the bottleneck of server connections.
I think it is better to use the encapsulated ssh connection to get clear exception information. -------------------- DolphinScheduler(Incubator) Commtter Hemin Wen 温合民 [email protected] -------------------- 裴龙武 <[email protected]> 于2020年5月20日周三 下午11:29写道： > Thanks for your advise and suggestions. It may has some exceptions if I > implement SSH Task as you said. Now, let me explain my ideas. > > > e.g > > > My workflow DAG has 100 or more task, it's all ssh task. I have two > questions. > > > 1、We must limit SSH connection and reuse the SSH connections, otherwise > the remote server will be refused. > > > 2、If we config all of these task, we have a lot of repeat work to do. > > > By the way, the way I'm currently verifying is I use local params to > config the remote server's host,user,password > > > ------------------ 原始邮件 ------------------ > 发件人: "lidong dai"<[email protected]>; > 发送时间: 2020年5月20日(星期三) 晚上10:56 > 收件人: "dev"<[email protected]>; > > 主题: Re: [Feature] Support SSH Task > > > > hi, I see you will Jsch, does his license compitable with apache v2 > license, I see the following words " > JSch 0.0.* was released under the GNU LGPL license. Later, we have switched > over to a BSD-style license. > " on https://github.com/is/jsch/blob/master/LICENSE.txt . you know, LGPL > license not compitable with apache license. but BSD is ok , so the version > of Jsch is key point > > second, Connection Pool is heavy resource, Please use carefully > > and I'm a little confused, why there must be add a new Table, other > task > types also no seperate table, could you consider task_type and > task_json > in t_ds_task_instance ? > > > > Best Regards > --------------- > DolphinScheduler(Incubator) PPMC > Lidong Dai 代立冬 > [email protected] > --------------- > > > 裴龙武 <[email protected]> 于2020年5月20日周三 下午9:57写道： > > > I want to describe my idea. > > > > > > First, we must design a host table that's named t_ds_ssh_host, e.g > > > > > > - id > > - name > > - ip / host > > - user > > - password > > - max_connection > > - create_time > > - update_time > > - user_id > > > > > > Second, Shell can execute in worker server or remote host. We can > choose a > > host in host's list. > > > > > > Third, when workflow running, we must maintain the remote host's > > connection pool. > > > > > > Finally, when workflow finish, we must release the connection pool. > > > > > > Why do we have to maintain a connection pool. Because it is very easy > to > > get exceptions when it's has many SSH task. > > > > > > > > > > ------------------&nbsp;原始邮件&nbsp;------------------ > > 发件人:&nbsp;"lidong dai"<[email protected]&gt;; > > 发送时间:&nbsp;2020年5月20日(星期三) 晚上7:12 > > 收件人:&nbsp;"dev"<[email protected]&gt;; > > > > 主题:&nbsp;Re: [Feature] Support SSH Task > > > > > > > > glad to hear that you will implement this feature > > > > > > > > Best Regards > > --------------- > > DolphinScheduler(Incubator) PPMC > > Lidong Dai 代立冬 > > [email protected] > > --------------- > > > > > > 裴龙武 <[email protected]&gt; 于2020年5月20日周三 下午3:47写道： > > > > &gt; My code is not perfect yet. I will write a detailed design > document. > > Then > > &gt; I will realize this feature about our discussion result. > > &gt; > > &gt; > > &gt; > ------------------&amp;nbsp;原始邮件&amp;nbsp;------------------ > > &gt; 发件人:&amp;nbsp;"wenhemin"<[email protected]&amp;gt;; > > &gt; 发送时间:&amp;nbsp;2020年5月18日(星期一) 晚上7:50 > > &gt; 收件人:&amp;nbsp;"裴龙武"<[email protected]&amp;gt;;"dev"< > > [email protected] > > &gt; &amp;gt;; > > &gt; > > &gt; 主题:&amp;nbsp;Re: [Feature] Support SSH Task and Support > dummy task > > like airflow > > &gt; > > &gt; > > &gt; > > &gt; Thanks for writing detailed documentation. I think this is > also a > > missing > > &gt; feature of DS. > > &gt; About the extension point: > > &gt; 1.Can ssh tasks be merged into shell tasks. Essentially, > they all > > execute > > &gt; shell commands. > > &gt; 2.About dummy task, DS has the function of disable nodes, I > do n’t > > know if > > &gt; this requirement is met. > > &gt; > > &gt; The script from AirFlow to Dolphin is great. > > &gt; > > &gt; &amp;gt; 在 2020年5月18日，09:28，裴龙武 > <[email protected]&amp;gt; > 写道： > > &gt; &amp;gt; > > &gt; &amp;gt; > > &gt; &amp;gt; OK, 3Q! > > &gt; &amp;gt; > > &gt; &amp;gt; First, I will ensure that open source can use. > > &gt; &amp;gt; > > &gt; &amp;gt; Second, I think we must discuss deeply. I write > a more > > detailed > > &gt; document. You can check the attachment. I also send the > document to > > &gt; DaiLidong. > > &gt; &amp;gt; > > &gt; &amp;gt; Third,&amp;nbsp; I'll give you the error of > not using SSH > > connection pool. > > &gt; &amp;gt; > > &gt; &amp;gt; > > &gt; &amp;gt; > > &gt; &amp;gt; > > &gt; &amp;gt; ------------------ 原始邮件 ------------------ > > &gt; &amp;gt; 发件人: "wenhemin"<[email protected]&amp;gt;; > > &gt; &amp;gt; 发送时间: 2020年5月14日(星期四) 晚上7:26 > > &gt; &amp;gt; 收件人: "裴龙武"<[email protected]&amp;gt;; > > &gt; &amp;gt; 主题: Re: [Feature] Support SSH Task and Support > dummy task > > like airflow > > &gt; &amp;gt; > > &gt; &amp;gt; Great! > > &gt; &amp;gt; I think, Can ssh tasks be merged into shell > tasks,&amp;nbsp; > > execute > > &gt; script locally or remotely, Configure on the front end. > > &gt; &amp;gt; About ssh connect pool, I did not find it > necessary to use > > the > > &gt; connection pool. > > &gt; &amp;gt; > > &gt; &amp;gt; BTW, Look at the code to introduce additional > jar packages, > > You also > > &gt; need to ensure that open source can use the license of this > jar > > package. > > &gt; &amp;gt; > > &gt; &amp;gt;&amp;gt; 在 2020年5月14日，16:20，裴龙武 < > [email protected] <mailto: > > [email protected]&amp;gt;&amp;gt; > > &gt; 写道： > > &gt; &amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt; 1. The priority between these tasks > is also depended > > on the > > &gt; dolphin DAG define. When the front task is not finished, it > not > > execute > > &gt; next task. > > &gt; &amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt; 2. I extend ssh task. I also use > local params to > > config ssh host, > > &gt; user and password. > > &gt; &amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt; E.g: > > &gt; &amp;gt;&amp;gt; public static AbstractTask > > newTask(TaskExecutionContext > > &gt; taskExecutionContext, Logger logger) > > &gt; > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > throws > > IllegalArgumentException { > > &gt; &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp; Boolean > enable = > > &gt; > > > JSONUtils.parseObject(taskExecutionContext.getTaskParams()).getBoolean("enable"); > > &gt; &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp; if > (enable != null > > &amp;amp;&amp;amp; enable == false ) { > > &gt; > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > return new > > &gt; DummyTask(taskExecutionContext, logger); > > &gt; &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp; } > > &gt; &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp; switch > > &gt; > > > (EnumUtils.getEnum(TaskType.class,taskExecutionContext.getTaskType())) { > > &gt; > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > case SHELL: > > &gt; > > > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > return new > > &gt; ShellTask(taskExecutionContext, logger); > > &gt; > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > case > > PROCEDURE: > > &gt; > > > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > return new > > &gt; ProcedureTask(taskExecutionContext, logger); > > &gt; > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > case SQL: > > &gt; > > > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > return new > > &gt; SqlTask(taskExecutionContext, logger); > > &gt; > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > case MR: > > &gt; > > > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > return new > > &gt; MapReduceTask(taskExecutionContext, logger); > > &gt; > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > case SPARK: > > &gt; > > > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > return new > > &gt; SparkTask(taskExecutionContext, logger); > > &gt; > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > case FLINK: > > &gt; > > > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > return new > > &gt; FlinkTask(taskExecutionContext, logger); > > &gt; > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > case PYTHON: > > &gt; > > > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > return new > > &gt; PythonTask(taskExecutionContext, logger); > > &gt; > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > case HTTP: > > &gt; > > > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > return new > > &gt; HttpTask(taskExecutionContext, logger); > > &gt; > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > case DATAX: > > &gt; > > > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > return new > > &gt; DataxTask(taskExecutionContext, logger); > > &gt; > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > case SQOOP: > > &gt; > > > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > return new > > &gt; SqoopTask(taskExecutionContext, logger); > > &gt; > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > case SSH: > > &gt; > > > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > return new > > &gt; SSHTask(taskExecutionContext, logger); > > &gt; > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > default: > > &gt; > > > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > logger.error("unsupport task > > &gt; type: {}", taskExecutionContext.getTaskType()); > > &gt; > > > &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > throw new > > &gt; IllegalArgumentException("not support task type"); > > &gt; &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp; } > > &gt; &amp;gt;&amp;gt; } > > &gt; &amp;gt;&amp;gt; 3. I am not sure that it supports > window or not. > > &gt; &amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt; ------------------ 原始邮件 > ------------------ > > &gt; &amp;gt;&amp;gt; 发件人: "wenhemin"<[email protected] > <mailto: > > [email protected]&amp;gt;&amp;gt;; > > &gt; &amp;gt;&amp;gt; 发送时间: 2020年5月14日(星期四) 下午3:46 > > &gt; &amp;gt;&amp;gt; 收件人: "裴龙武"<[email protected] > <mailto:[email protected] > > &amp;gt;&amp;gt;; > > &gt; &amp;gt;&amp;gt; 主题: Re: [Feature] Support SSH Task > and Support dummy > > task like > > &gt; airflow > > &gt; &amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt; Sorry, My previous description is > not very clear. > > &gt; &amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt; I want to ask some questions: > > &gt; &amp;gt;&amp;gt; 1.How to control the priority > between ssh tasks? > > There may be > > &gt; some ssh tasks that have been waiting for execution. > > &gt; &amp;gt;&amp;gt; 2.I understand what you want to > solve is the problem > > of executing > > &gt; remote ssh scripts in batches. > > &gt; &amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp; So, not > sure how to use this > > function. > > &gt; &amp;gt;&amp;gt; 3.I don't know if this supports > windows system. > > &gt; &amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt; 在 2020年5月13日，20:56，裴龙武 < > [email protected] > > <mailto: > > &gt; [email protected]&amp;gt;&amp;gt; 写道： > > &gt; &amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt; I use spin lock. Here > is my code. Of course > > , it's not > > &gt; perfect. I just do a test. To my surprise, it is the result > of the > > &gt; execution is the same as the AirFlow > > &gt; &amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt; > > 我通过模拟自选锁方式实现，附件中是我的代码，当然，这并不完善。我拿这个做了测试。令我惊喜的是，我得到了和 AirFlow > > &gt; 相同的结果。 > > &gt; &amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt; ------------------ 原始邮件 > ------------------ > > &gt; &amp;gt;&amp;gt;&amp;gt; 发件人: "whm_777"< > [email protected] <mailto: > > [email protected] > > &gt; &amp;gt;&amp;gt;; > > &gt; &amp;gt;&amp;gt;&amp;gt; 发送时间: 2020年5月13日(星期三) > 晚上7:21 > > &gt; &amp;gt;&amp;gt;&amp;gt; 收件人: "裴龙武"< > [email protected] <mailto: > > [email protected]&amp;gt;&amp;gt;; > > &gt; &amp;gt;&amp;gt;&amp;gt; 主题: Re: [Feature] > Support SSH Task and > > Support dummy task > > &gt; like airflow > > &gt; &amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt; You can modify the > maximum number of linux > > ssh connections. > > &gt; &amp;gt;&amp;gt;&amp;gt; If use ssh connection > pool, How to control > > the priority of > > &gt; ssh? > > &gt; &amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; 在 > 2020年5月13日，18:01，裴龙武 < > > [email protected] <mailto: > > &gt; [email protected]&amp;gt;&amp;gt; 写道： > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; First 3Q， > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > I&amp;nbsp; use more than 100 task > > node. But SSH connections > > &gt; are limited. > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; > > > 我是使用了100多个任务节点，但服务器SSH连接是有限制的，超过后，就会报错了。下面是我扩展SSH任务节点后的一张截图，另外这个DAG是我从AirFlow转换过来的。 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > <[email protected] > > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > ------------------ 原始邮件 > > ------------------ > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; 发件人: > "whm_777"<[email protected] > > <mailto:[email protected] > > &gt; &amp;gt;&amp;gt;; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; 发送时间: > 2020年5月13日(星期三) 下午5:50 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; 收件人: "裴龙武"< > [email protected] <mailto: > > [email protected] > > &gt; &amp;gt;&amp;gt;; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; 主题: Re: > [Feature] Support SSH Task > > and Support dummy task > > &gt; like airflow > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; E.g. > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > rtn_code=`ssh -o > > ServerAliveInterval=60 -p xxxx > > &gt; [email protected] <mailto:[email protected]&amp;gt; > ‘shell > > &gt; command&amp;nbsp; &amp;gt;/dev/null > 2&amp;gt;&amp;amp;1; echo $?'` > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; if [ > "$rtn_code" -eq 0 ]; then > > &gt; > > > &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > echo "成功" > > &gt; > > > &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > exit 0 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; else > > &gt; > > > &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > echo "失败" > > &gt; > > > &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; > > exit 1 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; fi > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; Batch shell > command is not supported. > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; Multiple > servers can be split into > > multiple task nodes. > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > 在 2020年5月13日，17:40，裴龙武 < > > [email protected] <mailto: > > &gt; [email protected]&amp;gt;&amp;gt; 写道： > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > Could you give me a > > example，3Q. 能否给我一个例子，谢谢！ > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > By the way, I have more than > > 100 tasks in one DAG. > > &gt; These tasks connect two other server to execute. So SSH > tasks must > > have > > &gt; pool to manager. Now I use JSch and realize a simple pool. > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > 顺带说一下，在我的实际场景中，我有100多个 SSH > > 任务，这些任务连接两台任务服务器进行任务执行。所以 > > &gt; SSH 任务进行连接时，必须使用连接池进行管理。当前我使用 JSch，并实现了一个简单的连接池。 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > ------------------ 原始邮件 > > ------------------ > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > 发件人: "wenhemin"< > > [email protected] <mailto: > > &gt; [email protected]&amp;gt;&amp;gt;; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > 发送时间: 2020年5月13日(星期三) 下午5:24 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > 收件人: "dev"< > > [email protected] <mailto: > > &gt; [email protected]&amp;gt;&amp;gt;; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > 主题: Re: [Feature] Support > > SSH Task and Support dummy > > &gt; task like airflow > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > The shell node is supports > > remote calling, and get > > &gt; the remote command result code. > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; 在 > > 2020年5月13日，15:16，裴龙武 <[email protected] > > &gt; <mailto:[email protected]&amp;gt;&amp;gt; 写道： > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; Dear ALL： > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; Support Linux SSH > > Task 支持 Linux SSH 任务 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > 场景描述：当前项目中，工作流的任务的目标是执行不同服务器 Shell 脚本，Shell > > &gt; 脚本是保存在业务服务器的固定目录。当 Worker 调度执行时，需要通过固定用户登录这些服务器，然后执行 Shell > > &gt; 脚本并获取这些任务执行的状态，其中服务器地址、用户名、密码可配置。 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; For example, in my > > project, the workflow's tasks > > &gt; want to execute shell scripts where are in different server's > > different > > &gt; directory. When worker execute these shell scripts, it must > use the > > same > > &gt; user to login these server. Also, the worker can get the > executing > > state of > > &gt; these server. We can config these server 's host,user and > password. > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; SSH Task is very > > useful for most user SSH > > &gt; 任务对大多数用户是非常有用的 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; 分布式调度任务所执行的 Shell > > &gt; 脚本是处于不同的业务服务器，都有其固定的业务，这些业务服务器不是 Worker，只是需要 Worker > > &gt; 调度执行，我们只需要传递不同的参数，让服务器执行任务脚本即可。 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; In > > dolphinscheduler, the most executing tasks > > &gt; are in different servers who are not workers. These servers > also have > > their > > &gt; different fixed services. We just have to pass different > parameters to > > &gt; schedule these shell scripts to execute. > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; Python has a module > > to execute ssh script Python > > &gt; 有固定的工具包，可执行这些SSH Shell 脚本 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; Python > > 有一个可执行远程服务器SSH Shell脚本的模块，其名字为：paramiko。 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; Python has a module > > that can execute SSH Shell > > &gt; script. It's paramiko. > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; Others 其他内容 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > 我发现之前的改进功能中也有关于这个的描述，不过相对简单。功能更新地址 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; I found this > > described in previous feature, but > > &gt; it was relatively simple. > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; Feature URL > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; 另外，我通过 Shell Task > > &gt; 方式去执行远程任务会非常不便，下面是我的脚本，不知道是否有更好的方式。 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; In addition, it is > > very inconvenient for me to > > &gt; perform remote tasks through Shell Task. Here is my script. > I don't > > know if > > &gt; there's a better way. > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; sshpass -p > > 'password' ssh user@host echo 'ssh > > &gt; success' echo 'Hello World' -&amp;amp;gt; > > /home/dolphinscheduler/test/hello.txt > > &gt; echo 'end' > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; Support dummy task > > like airflow 支持像 Airflow > > &gt; 中的虚拟任务 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; 场景描述：项目中，有已经产品化的 > > DAG 文件，DAG > > &gt; > 文件中包括不同的模块，这些模块之间的有些点是相互依赖的，有些不是，在用户购买不同模块时，需要把未购买模块且其他已购模块未依赖的点设置为 > > Dummy > > &gt; > > > Task，这样实际这些任务就不会执行，这样设置的好处是产品统一性和图的完整性，在AirFlow中，这些是通过DummyOperator完成的。 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; For example, in my > > project, it has a productized > > &gt; DAG file. The file contains different modules, some of which > are > > &gt; interdependent and some of which are not. When customers > purchase > > different > > &gt; modules, we need to set some tasks as dummy tasks, which > some modules > > are > > &gt; not purchased and the purchased module is not dependent. > Because of > > this > > &gt; setting, these dummy tasks are actually not executed. The > benefits of > > this > > &gt; setup are product unity and diagram integrity. In airflow, > these task > > &gt; execute by dummy operator. > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; ** Realize 实现方式** > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; Dummy Task > > 本身实现很简单，只是需要与其他任务配合使用，但任务执行方式设置为 > > &gt; dummy 时，实际的任务不执行，执行 Dummy Task。 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; Dummy Task is easy > > to realize, but it need to > > &gt; use with other different tasks. When the task's executed > type is set > > to > > &gt; dummy type, the task are executed as a dummy task and the > real task > > is not > > &gt; executed. > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; 顺带说一下，因为项目着急测试使用，我Fork了开发版本，实现两种任务类型。在后续的版本中是否能够支持。 > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > &amp;gt; By the way，I > > already realize these two&amp;amp;nbsp; > > &gt; features in my fork branch.&amp;amp;nbsp;Whether the > follow-up > > release can be > > &gt; supported > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt; > > &gt; &amp;gt;&amp;gt;&amp;gt; > > > <SSHClient.java&amp;gt;<SSHPool.java&amp;gt;<SSHTask.java&amp;gt; > > &gt; &amp;gt;&amp;gt; > > &gt; &amp;gt; > > &gt; &amp;gt; <项目场景中关于Dolphin的一些扩展点.pdf&amp;gt;
