大连微信网站免费注册网页网址
“特征提取决定模型上限，模型的选择就是不断接近这个上限。”
在特征已经提取好的情况下，也选择好了机器学习模型算法，如何进一步提高模型的表现呢？
Stacking方法就是一个可以帮助模型进一步提高的算法。
1、（大白话）概念
类似于深度学习NNs，Stacking一般有两层机器学习模型，第一层机器学习模型群可以被看成NNs中的神经元，对原始的（处理好的）数据集进行训练，输出新的特征，给下一层的机器学习模型使用；第二层机器学习模型的学习‘材料’就是上一层的输出，第二层的输出是最后的预测结果。
多个模型的集合，相当于NNs中的深层次的特征提取，因此，Stacking往往能够进一步提高预测结果的准确性。
2、实现过程
主要过程是下图：
图中分两层：第一层的输入是原始的Train data和Test data，输出经过五折交叉验证输出的Predictors的纵向叠加（叠加成和Train data相同的行数），以及对Test data的预测结果取平均的值。第二层的输入是 经过五折交叉验证输出的Predictors作为训练集，而对Test data的预测结果取平均的值作为测试集，输出的是最后的预测结果。
图中有些许问题，正确的图应该是下面：
（电脑上用鼠标画的，很抽象，别骂了哈哈哈）
与上图的 区别就是，第一层1st只表示了一个model1，上面还有别的模型M2，M3，说明第一层的五折交叉验证其实是一个模型中的内容，而不是分别的五个模型。第二层2nd中使用Mnext来表示。
假设Model1 输出 PTrain1和PTest1。那么其余的Model2（这里的Model2不是图中第二层的Model2，还是属于第一层的模型）、Model3会输出PTrain2和PTest2、PTrain3和PTest3。
那么，给下一层Mnext的训练集就为：Train = PTrain1 + PTrain2 + PTrain3；测试集为： Test = PTest1 + PTest2 + PTest3。（横向拼接，作为不同的特征，DataFrame很常见的形式）
用矩阵来表示就是：
以防有人还是看不懂，这里还有一个图，结合前文，应该能轻松读懂。Stacking可以由下图清晰表示出来：
3、Python代码实现
def get_oof(clf, x_train, y_train, x_test):oof_train = np.zeros((ntrain,)) oof_test = np.zeros((ntest,))oof_test_skf = np.empty((NFOLDS, ntest)) #NFOLDS行，ntest列的二维arrayfor i, (train_index, test_index) in enumerate(kf): #循环NFOLDS次x_tr = x_train[train_index]y_tr = y_train[train_index]x_te = x_train[test_index]clf.fit(x_tr, y_tr)oof_train[test_index] = clf.predict(x_te)oof_test_skf[i, :] = clf.predict(x_test) #固定行填充，循环一次，填充一行oof_test[:] = oof_test_skf.mean(axis=0) #axis=0,按列求平均，最后保留一行return oof_train.reshape(-1, 1), oof_test.reshape(-1, 1) #转置，从一行变为一列4、理论以及注意事项
1. 为什么Stacking可以提高性能呢？
结合NNs，我们可以理解为：“因为第一层模型提取了更深层，和结果更有相关性的特征”，所以第二层的输出会更好。
2. 为什么要用交叉验证？
k折交叉验证是为了防止过拟合。我们知道，如果不断地对原始训练集进行特征提取和训练，那么就比较容易造成过拟合，特别是两层机器学习的情况下。其实结合NNs中的dropout机制就更能理解其内涵了。
3. Stacking的注意事项
3.1 模型有强有弱，第一层应该选用强模型，第二层选用弱模型（线性模型LR）（进一步避免过拟合）；
3.2 第一层的模型应该尽量选用不同类型的模型，以实现多方面的特征提取。第一层的基模型必须准而不同"
欢迎留言和讨论！