`

【记录】使用python并行执行shell

 
阅读更多

#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys
import subprocess
import os 


'''
argv[1]  日期
argv[2]  本地rsync路径【暂时没用】
argv[3]  远程rsync ip
argv[4]  任务列表地址

'''
class RsyncTask:
        def __init__ (self,date,localpath,ip,taskpath) :
                self.date = date;
                self.localpath = localpath;
                self.ip = ip;
                self.taskpath = taskpath;

        def run(self):
        #       file_log=open("/data1/result/baby/log","a+");
                file = open(self.taskpath,'r');
                while 1:
                        file_lines = file.readlines(100000);
                        if not file_lines:
                                break
                        for lines in file_lines:
                                line=lines.split("\t");
                                if line[0]!="taskId":
                                        taskId=line[0];
                                        userId=line[1];
                                        emails=line[2];
                                        taskName=line[3];
                                        task_type=line[4];
                                        userPath=line[5];
                                        flag=line[6];
                                        a1=line[7];
                                        a2=line[8];
                                        a3=line[9];
                                        a4=line[10];
                                        cmd="sh /usr/home/baby/shell/usertool/deal_tblog_user_rsync.sh  " + self.date +"  " + taskId + " " + userId + " " +  emails + " " + taskName + " " + task_type + " " + userPath + " " + self.ip + " " + flag + " " + a1 + " " + a2 + " " + a3 + " " + a4;
                                        p=subprocess.Popen(cmd,shell=True);

                file.close();
if __name__ == '__main__':
        r=RsyncTask(sys.argv[1],sys.argv[2],sys.argv[3],sys.argv[4]);
        r.run();

分享到:
评论

相关推荐

    Go-rush--并行执行shell命令

    rush -- 并行执行shell命令。 Go中类似于GNU parallel 的工具,它支持Linux/OS X/Windows!

    在python 中实现运行多条shell命令

    使用py时可能需要连续运行多条shell 命令 1. # coding: UTF-8 import sys reload(sys) sys.setdefaultencoding('utf8') import subprocess import os import commands #os.system('cmd1 && cmd2') cmd1 = ...

    Python Cookbook

    9.5 以多组参数并行执行函数 349 9.6 用简单的消息传递协调线程 351 9.7 储存线程信息 353 9.8 无线程的多任务协作 357 9.9 在Windows中探测另一个脚本实例的运行 359 9.10 使用MsgWaitForMultipleObjects处理...

    Python-3.8.0a3.tgz

    POSIX和Windows上的shell使用它来正确终止交互式会话中的脚本。 改进的模块 现在的_asdict()方法collections.namedtuple()返回一个dict而不是一个collections.OrderedDict。这是有效的,因为自Python 3.7以来,常规...

    Python-3.8.0b2.tgz

    POSIX和Windows上的shell使用它来正确终止交互式会话中的脚本。 改进的模块 现在的_asdict()方法collections.namedtuple()返回一个dict而不是一个collections.OrderedDict。这是有效的,因为自Python 3.7以来,常规...

    python-3.8.0a4.exe

    POSIX和Windows上的shell使用它来正确终止交互式会话中的脚本。 改进的模块 现在的_asdict()方法collections.namedtuple()返回一个dict而不是一个collections.OrderedDict。这是有效的,因为自Python 3.7以来,常规...

    ipython和python区别详解

    IPython 是一个 python 的交互式 shell,比默认的python shell 好用得多,支持变量自动补全,自动缩进,支持 bash shell命令,内置了许多很有用的功能和函数。 IPython 是基于BSD 开源的。 IPython 为交互式计算...

    python-3.8.0b2-amd64.exe

    POSIX和Windows上的shell使用它来正确终止交互式会话中的脚本。 改进的模块 现在的_asdict()方法collections.namedtuple()返回一个dict而不是一个collections.OrderedDict。这是有效的,因为自Python 3.7以来,常规...

    python cookbook(第3版)

    13.13 记录程序执行的时间 13.14 限制内存和CPU的使用量 13.15 启动一个WEB浏览器 第十四章:测试、调试和异常 14.1 测试输出到标准输出上 14.2 在单元测试中给对象打补丁 14.3 在单元测试中测试异常情况 ...

    Python概述(1).pdf

    Python 概述 Python 用途: Python 对操作系统服务的内置接口,使其成为编写可移植的维护操作系统的管理工具 和部件(有时也被称为 Shell 工具)的理想工具。Python 程序可以搜索文件和目录树,可 以运行其他程序,...

    python可以用来做什么.docx

    系统编程 Python 对操作系统服务的内置接口,使其成为编写可移植的维护操作系统的管理工具和部件(有时也被称为Shell 工具)的理想工具。Python 程序可以搜索文件和目录树,可以运行其他程序,用进程或线程进行并行...

    clustershell:可扩展的群集管理Python框架—在群集节点上并行管理节点集,节点组和执行命令

    它将处理HPC群集上遇到的常见问题,例如在节点组上进行操作,使用优化的执行算法运行分布式命令,收集结果并合并相同的输出或检索返回码。 ClusterShell利用了已安装在系统上的现有远程Shell设施,例如SSH。 ...

    Web接口开发与自动化测试 基于Python语言+源代码+文档说明

    Python 3.5 (64-bit): 该选项会直接在 window 名称提示符下进入 Python Shell 模式。   Python 3.5 Manuals(64-bit) : -------- 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才...

    Python概述.doc

    Python 对操作系统服务的内置接口,使其成为编写可移植的维护操作系统的管理工具和部件(有时也被称为Shell 工具)的理想工具。Python 程序可以搜索文件和目录树,可以运行其他程序,用进程或线程进行并行处理等等。

    py-sphviewer:Py-SPHViewer是一个使用平滑粒子流体动力学方案在Python中渲染宇宙模拟的框架

    但是,该软件包可以在Python shell, 或交互使用。安装Py-SPHViewer的最新稳定版本通常可在Python软件包索引(或简称Pypi)中找到。 这是使Py-SPHViewer在您的系统中运行的最简单方法,我们鼓励用户遵循它: pip ...

    signout:MSKCC房屋员工登出经理

    Bash> 4来执行脚本建议使用 ,但对于json文件管理不是必需的发展 Shell脚本黑Python皮棉埃斯林特更漂亮GNU并行Python模块python3是必需的部署-使用requirements.txt开发-使用requirements.dev.txt其他需求SSL证书...

    OpenWorker:开放式工作框架可并行处理数据

    入门教程及参考:1、并行处理框架:Celery:执行任务的分发和调度,使用消息总线进行通讯。2、Web管理控制台:Flower:在远程通过Web界面监视和管理任务执行情况。3、任务进度通知:Jobtastic:为长时间运行的任务提供...

    C++/CUDA 包,用于使用 PRISM 和多层算法并行模拟扫描透射电子显微镜 (STEM) 中的图像形成_代码_下载

    C++ 64.6% Cuda 18.6% Makefile 11.4% Python 2.6% CMake 1.5% Shell 0.8%

    针对目前GNSS数据下载步骤繁琐、下载速度慢等问题,开发了一套较为完备的融合多源数据下载终端软件-FAST(Python)

    针对目前GNSS数据下载步骤繁琐、...灵活:在带参数运行模式下,用户可灵活指定下载类型、下载位置、下载时间、是否解压、线程数等,可根据自我需求编写bat、shell、python等脚本运行; 轻便:windows程序包仅有18.9 MB

    Python利用IPython提高开发效率

    IPython 发展到现在,它不仅仅只是一个加强版的 Python shell 了, 它集成了 GUI 控制台,这可以让你直接进行绘图操作;它还有一个基于 Web 的交互式笔记本和一个轻量级的快速并行的计算引擎。 二、编写代码 在 ...

Global site tag (gtag.js) - Google Analytics