模型上线和pmml简介

张开慧

目前存在的几种模型上线的方式

1、R+pmml+spark+airflow调度
其他团队用R语言训练模型并转为pmml文件,然后我们使用spark将这个pmml文件封装为jar,使用airflow提交到yarn。 val is: InputStream = fs.open(path)
val pmml: PMML = PMMLUtil.unmarshal(is)
modelEvaluator = ModelEvaluatorFactory.newInstance.newModelEvaluator(pmml)

2、python+sklearn+airflow调度
其他团队使用python训练好sklearn模型,并joblib.dumps()保存,然后我们在python文件中joblib.load()加载改文件,使用airflow离线调度。

3、xgboost+spark+xgb4j
我们使用的是分布式的spark版的xgboost,训练好的模型直接保存为二进制文件model.booster.saveModel(hdfsOutStream),然后xgboost4j加载该文件XGBoost.loadModel(is)实现线上实时预测。

4、tensorflow+tensorflow的java库
ft模型先转为protobuf协议的模型,
frozen_graph = freeze_session(get_session(), output_names=["output"])
tf.train.write_graph(frozen_graph, "./", "model.pb", as_text=False)
然后使用tf的java库加载改pb模型,在线预测 try (Graph graph = new Graph()) {
graph.importGraphDef(Files.readAllBytes(Paths.get("xxx/model.pb"))); try (Session sess = new Session(graph)) { float[][] input = xxx; try (Tensor x = Tensor.create(input); Tensor y = sess.runner().feed("input", x).fetch("output").run().get(0)) { float[][] result = new float[1][y.shape[1]]; y.copyTo(result); System.out.println(Arrays.toString(y.shape())); System.out.println(Arrays.toString(result[0])); } } } ...

5、keras+Flask
python环境先将keras模型保存为hdf5文件model.save(model.h5),然后在轻量级的web框架flask中加载实现线上预测。

总结分类为

1、离线预测+不跨语言
这种最简单,就是用什么语言训练的就用什么语言预测,而且不用考虑多并发和响应时间等问题,例如方式2。

2、离线预测+跨语言
用一种语言训练,另一种语言预测,但是不用考虑多并发和响应时间等问题,例如方式1。

3、在线预测+不跨语言
用同一种语言训练和预测,同时要考虑多并发和响应时间等问题,例如方式3、4、5。像scala和java这种都是跑在jvm上的,以及tf自己实现了java库的,我们这里认为是同一种语言,

4、在线预测+跨语言
用不同的语言训练和预测,同时要考虑多并发和响应时间等问题,我们目前还没有这种。但是类型2和3变一下就是在线+跨语言。

不跨平台的,即当训练和预测使用同一种开发语言的时候,PMML 就没有必要使用了,因为任何中间格式都会牺牲掉独有的优化。 而其他跨平台的模型要转为java能使用的类(因为我们的业务大部分是java实现的),这个工具就是jpmml-evaluator。

jpmml-evaluator

Java Evaluator API for Predictive Model Markup Language (PMML).
它可以加载以下模型:

什么是PMML

PMML:Predictive Model Markup Language预测模型标记语言。
data mining group推出的,有十多年的历史了。是一种可以呈现预测分析模型的事实标准语言。标准东西的好处就是,各种开发语言都可以使用相应的包,把模型文件转成这种中间格式,而另外一种开发语言,可以使用相应的包导入该文件做线上预测。

PMML 是基于 XML 的,看个例子

一般的结构是

pmml支持的model有

怎么操作?

1、生成pmml文件
sklearn:
pipeline = PMMLPipeline([
('mapper', mapper), ("classifier", linear_model.LinearRegression()) ]) pipeline.fit(heart_data[heart_data.columns.difference(["chd"])], heart_data["chd"])
sklearn2pmml(pipeline, "lrHeart.xml", with_repr = True)
R: 类似 使用r2pmml
Spark MLlib: 这个库有一些模型已经自带了保存PMML模型的方法,可惜不全

2、jpmml加载pmml文件
先添加maven依赖,

<dependency> <groupId>org.jpmml</groupId> <artifactId>pmml-evaluator</artifactId> <version>1.4.2</version> </dependency>
<dependency>
<groupId>org.jpmml</groupId> <artifactId>pmml-evaluator-extension</artifactId> <version>1.4.2</version> </dependency>
然后加载pmml模型和调用

PMML pmml; try(InputStream is = ...){
pmml = org.jpmml.model.PMMLUtil.unmarshal(is); }

pmml缺点

1、PMML为了满足跨平台,牺牲了很多平台独有的优化。所以很多时候我们用算法库自己的api保存得到的模型文件要比转为PMML的模型文件小很多。同时PMML模型文件加载也要比算法自己独有的格式文件慢很多。
2、用PMML模型文件预测的结果跟算法自身预测的结果会有一点点偏差,尽管不大。
3、对于复杂的模型如xgboost、tensorflow等,生成的PMML模型文件会很大,加载和预测会慢很多。

参考

https://github.com/jpmml/jpmml-evaluator
http://dmg.org/pmml/v4-3/GeneralStructure.html
https://zhuanlan.zhihu.com/p/23382412
https://www.jianshu.com/p/0016a34c82c8
https://blog.csdn.net/fansy1990/article/details/53293024