开源大数据流水线系统PiFlow V1.5 发布

大数据流水线系统PiFlow V1.5版本正式发布，该版本新增多语言组件扩展功能：基于容器技术，通过将领域模型算法内置于容器内部，打通上下游数据通路，实现不同语言（Python/R等）组件扩展。

一、Python组件开发指南

1. 导入data_connect.py中的依赖函数DataConnect；

2. 自定义输入端口，用于数据读取（如有多个输入源，可多次调用）；

3. 自定义输出端口，用于数据输出（如有多个输出源，可多次调用）；

4. 自定义算法属性。如果模型算法需要参数输入，则需要自定义算法属性；

5. 将python组件打包成zip包（zip包中必须包含模型算法及其需要的依赖（requirements.txt））。

示例文档可详见https://github.com/cas-bigdatalab/piflow/blob/master/doc/V1.5/python。

示例代码：

 # -*- coding: utf-8 -*-import osfrom data_connect import DATAConncetfrom sys import argvimport pandas as pdimport numpy as npif __name__ == '__main__':    # Define the inputPort and outputPort    input_port = "input_path_port"    output_port = "output_path_port"    # Get dataConnect    dataConnect = DATAConncet()    # Get upstream delivery data (path)    input_file  = dataConnect.dataInputStream(input_port).iloc[0, 0]    # Get the custom properties    result_tif_path = argv[1]    # Core codes of the component    # ...    dataConnect.downloadFileFromHdfs(input_file, input_file, False)    dataConnect.putFileToHdfs(result_tif_path,input_file)     df = pd.DataFrame({'out_path': [result_tif_path]})     # Pass the data downstream    dataConnect.dataOutputStream(df ,output_port)