平时工作临时需求查询比较多,领导让做一个自助查询工具,这样可以给工程师省下很可观的时间,也减少了各部门扯皮的碰撞。
客户端 php + mysql server1
服务器端 shell,python,hive,hadoop server2 若干执行shell的server
需求:
用户在前台填写task信息,比如:任务名称,执行服务器,上传uidlist文件【查询关于user的有关信息,所以要上传uid列表】,任务类型【1.用户基本信息 2用户其他信息 3.用户影响力指数等】,然后等待邮件通知,下载执行结果。
说明:
1.task信息存放到task表中 【taskId,userId,taskName,taskType,uidPath,ip,flag】
2.uidlist存放在rsync的指定模块下
思路:
1.server2上crontab定时每2个小时执行一次,使用shell连接mysql,取出task状态为create的tasklist输出到文件A
2.使用python分析文件A,并行将ip下uidpath文件通过rsync存放到server2上,目录命名为:taskId_userId_mmid(mmid为时间戳)
3.改变task表中的任务状态为running
4.将uidlist文件put到hdfs目录,新建临时用户表,分区使用 taskId_userId_mmid
5.根据taskType调用不同的业务shell【并行执行】
6.执行完毕后,返回结果路径,调用结果处理shell,主要分为3部:
6-1 扫描结果目录,大小不为0时,使用rsync将结果推送到服务器A上【taskId_userId_mmid】
6-2 根据结果目录大小和taskId改变task表中task的状态为 error或succ
6-2 使用发邮件模块给userId发邮件,通知下载结果或者重新提交任务
分享到:
相关推荐
将IC卡放到自助服务机上可以查询卡内金额、租车和还车记录等功能 5.后台管理系统 网点开通、运营等管理,车辆租还信息、费用信息的统计,以及有关报表的生成等 6.运营商根据车辆租还信息和信用积分定期的清理...
但随着业务分析需求的增加,很多公司都希望为业务用户提供自助分析服务,将分析工作落实到业务人员手中。但同时,分析工具毕竟作为一个系统架设在企业数据分析平台的前端,需要适应企业的复杂业态,于是自助式BI成了...
我们从泛互联网行业客户的需求痛点出发,写下了这份「观远数据泛互联网行业数据自助分析白皮书」,力求以“轻灵快易”的产品使用特性,无缝贴合泛互联网企业客户真实应用场景,实现快速深度的数据化赋能。...
目前的自助式BI工具,已经将维度的选择集成到控件组件的拖选操作,自动建模技术避免了手动建立数据模型。这样一来,数据分析工作能很好地落地到业务分析员手中,一方面能更快速地响应业务的需求,另一方面业务与数据...
自助式BI工具,可以帮助业务人员充分了解和利用企业数据,通过可视化操作,拖拖拽拽来新建分析,生成可视化的报表,帮助企业决策。但近几年的调查研究发现,拥有强大分析策略和模型的产品,比如Tableau、qlikview、...
针对一般食堂管理信息系统的需求,通过对食堂管理工作过程的内容和数据流程分析,设计如下所示的数据项和数据结构: 数据结构名称:职工用餐卡信息 含义说明:这里指的是职工用来使用付款的工具卡的一系列信息,...
3.2性能需求分析 6 第四章系统设计 8 4.1功能结构 8 4.2数据库设计 8 4.2.1 数据库E/R图 8 4.2.2数据库表 9 第五章系统功能实现 18 5.1前台功能模块 18 5.2后台功能模块 21 5.2.1 管理员功能 22 5.2.2商家功能 25 第...
3 系统的需求分析 3.1可行性分析 3.1.1技术性可行性 3.1.2经济性可行性 3.1.3操作性可行性 3.2需求分析 3.2.1系统总体概述 3.2.2功能性需求 3.3其他性能分析 3.3.1系统安全性 3.3.2数据完整性 3.5非功能性需求 4 ...
课程目标4:具有进行数据库应用系统的需求分析和设计的能力。 课程目标5:能够利用所学数据库知识解决实际问题的能力。 课程目标6:能够用口头和书面方式表述设计原理及相关概念与原理,包括陈述发言、清晰表达和...
四、需求分析说明 4.1 任务概述 4.2 需求分析 4.3 运行规定 五、 系统设计说明 5.1 系统的结构 5.2 数据库设计 5.3 流程图设计 六、 程序说明 6.1 主要窗体名称及简要说明 6.2 主要全局变量及函数 6.3 主要程序 七...
(工业)IoT的自助数据分析StreamPipes是一种自助式(工业)IoT工具箱,使非技术用户可以连接,分析和浏览IoT数据流。目录关于Apache StreamPipes Apache StreamPipes(正在孵化)通过在现有流处理框架之上提供图形...
事件追踪法 案例 :访问路 径优化与引导 归因分析法 案例 :渠道资源效率评估 分析⼯工具 EXCEL函数及图表 案例 :⼴广告主智能分析 SQL常⽤用语句 及函数 案例 :⽤用户分级运营 PYTHON基础应⽤用(待定) 案例 :...
在整个开发过程中,遵循软件开发的最佳实践,如需求分析、设计、编码、测试和部署等。也将使用版本控制器来管理代码,以便更好地协作和维护代码。还将使用一些开源的工具来提高开发效率,如Sublime Text编辑器和Git...
3.1 需求分析 3.1.1 功能分析 ATM机个人用户的信息的显示和删除,个人用户信息主要包括:账号,密码,存款的多少。 存款信息的显示,更改,操作,存款的存储,提取,转账,金额。 个人用户密码的
经过需求分析, 在数据库方面, 本项目使用 SQL SEVER 2000 数据库管理系统;在 应用程序开发方面,使用微软公司的 VS.NET 的 C#开发工具,利用其提供的各种面向 对象的开发工具,其中最主要的是 ADO.NET;在网络...
经过需求分析,在数据库方面,本项目使用SQL SEVER 2000数据库管理系统;在应用程序开发方面,使用微软公司的VS.NET的C#开发工具,利用其提供的各种面向对象的开发工具,其中最主要的是ADO.NET;在网络查询方面,...
访问统计系统 - 网页访问统计分析 投票调查系统 - 设置投票组,任意插入模版 友情链接系统 - 支持文本和图片链接 模版插件设置 - 通过后台设置模版插件的显示参数 管理权限设置 - 可设多个管理员,自由分配...
虽然从Power BI和Excel 2013开始大数据涵盖Hadoop和NoSQL数据库等重要工具,但它认识到大多数中小型企业没有Netflix、Target或Facebook的大数据处理需求。相反,它显示了如何导入数据并使用Power BI中Excel中提供的...