猜您喜欢:
PiFlow是一个扩展性强，性能优越，简单易用的大数据流水线系统，提供了100+的数据处理组件，包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等，欢迎下载使用！
可视化配置流水线
监控流水线
查看流水线日志
检查点功能
支持自定义开发数据处理组件
基于分布式计算引擎Spark开发
集成了微生物领域的相关算法
解压piflow-server-v0.9.tar.gz:
tar -zxvf piflow-server-v0.9.tar.gz
编辑配置文件config.properties
运行、停止、重启PiFlow Server
start.sh、stop.sh、 restart.sh、 status.sh
测试 PiFlow Server
设置环境变量 PIFLOW_HOME
vim /etc/profile
export PIFLOW_HOME=/yourPiflowPath/bin
export PATH=PATH:PIFLOW_HOME/bin
运行如下命令
piflow flow start example/mockDataFlow.json
piflow flow stop appID
piflow flow info appID
piflow flow log appID
piflow flowGroup start example/mockDataGroup.json
piflow flowGroup stop groupId
piflow flowGroup info groupId
如何配置
config.properties
#spark and yarn config
spark.master=yarn
spark.deploy.mode=cluster
#hdfs default file system
fs.defaultFS=hdfs://10.0.86.191:9000
#yarn resourcemanager.hostname
yarn.resourcemanager.hostname=10.0.86.191
#if you want to use hive, set hive metastore uris
#hive.metastore.uris=thrift://10.0.88.71:9083
#show data in log, set 0 if you do not want to show data in logs
data.show=10
#server port
server.port=8002
#h2db port
h2.port=50002
以上就是非凡软件站小编今日为大家带来的PiFlow(大数据流水线系统)，更多软件下载尽在非凡软件站。
数据分析软件大全 企业采用优秀的数据分析软件开展业务可以获得巨大的竞争优势，尤其是当这些数据工具更多地使用增强分析时，数据分析软件能够挖掘跟踪从当前销售到历史库存的各种业务活动的数据，并根据数据科学家的建议进行处理。接下来非凡软件站小编就给大家带来数据分析软件大全下载，感兴趣的小伙伴们速来看看吧~~
Discovery Studiov2025 Discovery Studio可以帮助用户在数据海洋中发现...详情>>
清华山维EPS2016v4.4 清华山维EPS2016广泛应用于工程测量、土地规划、建筑设计...详情>>
想第一时间体验ios26的全新功能吗？那就快来看看这份超详细的描述文件安装教程吧！准备工作在开始安装之前，有几个关键步骤需要你提前做好准备。首先，确保你的设备运行的是支持ios26描述文件安装的系统版本。一般来说，较新的系统版本兼容性更好。其次，准备好稳定且良
在日常使用电脑的过程中，截图是一项非常实用的操作。无论是记录重要信息、保存精彩画面还是与他人分享内容，掌握电脑截图快捷键都能让你事半功倍。今天，就来为大家详细介绍电脑截图快捷键大全，让你轻松成为截图高手！一、常见操作系统截图快捷键1.windows系统-pri
如果你的苹果手机不幸丢失了，不要慌张！借助苹果自带的icloud服务，你可以轻松定位你的设备。这篇文章将为你详细介绍如何通过icloud定位丢失的苹果手机。第一步：登录icloud账户首先，你需要访问apple官网上的icloud页面。打开浏览器并输入网址ic
在全民k歌中尽情展现歌喉后，很多人都希望能将自己的精彩作品保存至本地，以便随时欣赏或分享给更多朋友。下面就为大家详细介绍全民k歌保存至本地的方法。一、开通会员获得特权首先，如果你是全民k歌的普通用户，保存本地的功能可能会受到限制。开通全民k歌会员能解锁更多实用
在茅台市场，真伪问题一直备受关注。而随着科技的发展，i茅台为消费者提供了便捷的真伪验证途径。一、扫码验证购买茅台产品后，首先可通过扫描产品包装上的二维码进行初步验证。打开i茅台app，点击首页的“真伪验证”功能，然后使用手机摄像头对准产品二维码。扫描成功后，a
剧本创作一个好的剧本是短剧成功的基础。首先要构思一个吸引人的故事，情节紧凑、跌宕起伏，能迅速抓住观众眼球。比如设置一些意想不到的转折和冲突。同时，人物塑造要鲜明，有独特的性格特点和目标追求。语言风格要简洁明了、生动有趣，符合抖音短剧的快节奏风格，避免冗长复杂的
本站所有资源（含游戏）均是软件作者、开发商投稿，任何涉及商业盈利目的均不得使用，否则产生的一切后果将由您自己承担！本站将不对任何资源负法律责任，所有资源请在下载后24小时内删除。
如侵犯了您的版权、商标等，请立刻联系我们并具体说明情况后，本站将尽快处理删除，联系
（版权说明注意事项）。若有关在线投稿、无法下载等问题，请与本站客服人员联系
！
用户可自行按线路选择相应的下载点，可以直接点击下载/另存为，若直接点击下载速度太慢，请尝试使用高速下载器。为确保下载的文件能正常使用，请使用WinRAR最新版本解压本站软件。
建议大家谨慎对待所下载的文件，大家在安装的时候务必留意每一步！关于360安全卫士或QQ电脑管家的有关提示，请自行注意选择操作。
