PiFlow下载

PiFlow是一款简易易用且功能全面的互联网大数据流水线系统软件，专为复合型科学研究设计。它集成了丰富的CPU组件，提供了Shell、DSL、Web配置页面、线程同步、任务监控等多种功能。

软件亮点

简易易用：数据可视化配置，流水线监管，流水线查询，流水线日志控制点等功能，操作简便，易于上手。

扩展性强：支持自定义开发数据处理组件，满足不同需求。

使用性能

基于分布式计算模块Spark开发：提供高性能的处理能力。

功能齐全：内置100余种数据处理组件，包括Hadoop、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等，集成化微生物菌种行业的相关优化算法。

安装与配置

以下是PiFlow的安装和配置步骤：

解压安装包：

tar -zxvf piflow-server-v0.9.tar.gz

编写环境变量config.properties：

#spark and yarn config
spark.master=yarn
spark.deploy.mode=cluster

#hdfs default file system
fs.defaultFS=hdfs://10.0.86.191:9000

#yarn resourcemanager.hostname
yarn.resourcemanager.hostname=10.0.86.191

#if you want to use hive, set hive metastore uris
#hive.metastore.uris=thrift://10.0.88.71:9083

#show data in log, set 0 if you do not want to show data in logs
data.show=10

#server port
server.port=8002

#h2db port
h2.port=50002

检测PiFlow Server设置系统变量：

vim /etc/profile
export PIFLOW_HOME=/yourPiflowPath/bin
export PATH=PATH:PIFLOW_HOME/bin

运行PiFlow Server：

启动：

piflow flow start example/mockDataFlow.json

停止：

piflow flow stop appID

信息：

piflow flow info appID

日志：

piflow flow log appID

启动数据组：

piflow flowGroup start example/mockDataGroup.json

停止数据组：

piflow flowGroup stop groupId

查看数据组信息：

piflow flowGroup info groupId