KDD Cup 2009的三分类器集成：扩展线性模型、异构提升和选择朴素贝叶斯

Lo Hung-Yi，Chang Kai-Wei，Chen Shang-Tse，Chiang Tsung-Hsien，Ferng Chun-Sung，Hsieh Cho-Jui，Ko Yi-Kuang，Kuo Tsung-Ting，Lai Hung-Che，Lin Ken-Yi，Wang Chia-Hsuan，Yu Hsiang-Fu，Lin Chih-Jen，Lin Hsuan-Tien，Lin Shou-de
KDD-Cup 2009竞赛论文集，PMLR 7:57-64，2009。

摘要

本文描述了我们为KDD Cup 2009挑战赛设计的三个分类器的集成。首先，我们将三个二元分类任务转化为一个联合多类别分类问题，并在LIBLINEAR框架下求解l1正则化的最大熵模型。其次，我们提出了一种异构基学习器，该学习器能够处理不同类型特征和缺失值，并使用AdaBoost来改进基学习器。最后，我们采用了一种选择性朴素贝叶斯分类器，它可以自动分组类别特征并离散化数值特征。参数使用交叉验证结果进行调整，而不是竞赛网站上的10%测试结果。基于对三个正标签互斥的观察，我们使用线性SVM进行后处理步骤，以联合调整每个分类器在三个任务上的预测分数。然后，我们对这些预测分数进行仔细的验证后取平均值，得到最终输出。我们在整个测试集上的最终平均AUC为0.8461，在KDD Cup 2009的慢速赛道中排名第三。

引用本文

BibTeX
@InProceedings{pmlr-v7-lo09, title = {KDD Cup 2009的三分类器集成：扩展线性模型、异构提升和选择朴素贝叶斯}, author = {Lo, Hung-Yi and Chang, Kai-Wei and Chen, Shang-Tse and Chiang, Tsung-Hsien and Ferng, Chun- Sung and Hsieh, Cho-Jui and Ko, Yi-Kuang and Kuo, Tsung-Ting and Lai, Hung-Che and Lin, Ken-Yi and Wang, Chia-Hsuan and Yu, Hsiang-Fu and Lin, Chih-Jen and Lin, Hsuan-Tien and Lin, Shou-de}, booktitle = {KDD-Cup 2009竞赛论文集}, pages = {57--64}, year = {2009}, editor = {Dror, Gideon and Boullé, Mar and Guyon, Isabelle and Lemaire, Vincent and Vogel, David}, volume = {7}, series = {机器学习研究论文集}, address = {美国纽约州纽约市}, month = {28 Jun}, publisher = {PMLR}, pdf = {https://pmlr.com.cn/v7/lo09/lo09.pdf}, url = {https://pmlr.com.cn/v7/lo09.html}, abstract = {本文描述了我们为KDD Cup 2009挑战赛设计的三个分类器的集成。首先，我们将三个二元分类任务转化为一个联合多类别分类问题，并在LIBLINEAR框架下求解l1正则化的最大熵模型。其次，我们提出了一种异构基学习器，该学习器能够处理不同类型特征和缺失值，并使用AdaBoost来改进基学习器。最后，我们采用了一种选择性朴素贝叶斯分类器，它可以自动分组类别特征并离散化数值特征。参数使用交叉验证结果进行调整，而不是竞赛网站上的10%测试结果。基于对三个正标签互斥的观察，我们使用线性SVM进行后处理步骤，以联合调整每个分类器在三个任务上的预测分数。然后，我们对这些预测分数进行仔细的验证后取平均值，得到最终输出。我们在整个测试集上的最终平均AUC为0.8461，在KDD Cup 2009的慢速赛道中排名第三。} }
Endnote
%0 会议论文 %T KDD Cup 2009的三分类器集成：扩展线性模型、异构提升和选择朴素贝叶斯 %A Hung-Yi Lo %A Kai-Wei Chang %A Shang-Tse Chen %A Tsung-Hsien Chiang %A Chun- Sung Ferng %A Cho-Jui Hsieh %A Yi-Kuang Ko %A Tsung-Ting Kuo %A Hung-Che Lai %A Ken-Yi Lin %A Chia-Hsuan Wang %A Hsiang-Fu Yu %A Chih-Jen Lin %A Hsuan-Tien Lin %A Shou-de Lin %B KDD-Cup 2009竞赛论文集 %C 机器学习研究论文集 %D 2009 %E Gideon Dror %E Mar Boullé %E Isabelle Guyon %E Vincent Lemaire %E David Vogel %F pmlr-v7-lo09 %I PMLR %P 57--64 %U https://pmlr.com.cn/v7/lo09.html %V 7 %X 本文描述了我们为KDD Cup 2009挑战赛设计的三个分类器的集成。首先，我们将三个二元分类任务转化为一个联合多类别分类问题，并在LIBLINEAR框架下求解l1正则化的最大熵模型。其次，我们提出了一种异构基学习器，该学习器能够处理不同类型特征和缺失值，并使用AdaBoost来改进基学习器。最后，我们采用了一种选择性朴素贝叶斯分类器，它可以自动分组类别特征并离散化数值特征。参数使用交叉验证结果进行调整，而不是竞赛网站上的10%测试结果。基于对三个正标签互斥的观察，我们使用线性SVM进行后处理步骤，以联合调整每个分类器在三个任务上的预测分数。然后，我们对这些预测分数进行仔细的验证后取平均值，得到最终输出。我们在整个测试集上的最终平均AUC为0.8461，在KDD Cup 2009的慢速赛道中排名第三。
RIS
TY - CPAPER TI - KDD Cup 2009的三分类器集成：扩展线性模型、异构提升和选择朴素贝叶斯 AU - Hung-Yi Lo AU - Kai-Wei Chang AU - Shang-Tse Chen AU - Tsung-Hsien Chiang AU - Chun- Sung Ferng AU - Cho-Jui Hsieh AU - Yi-Kuang Ko AU - Tsung-Ting Kuo AU - Hung-Che Lai AU - Ken-Yi Lin AU - Chia-Hsuan Wang AU - Hsiang-Fu Yu AU - Chih-Jen Lin AU - Hsuan-Tien Lin AU - Shou-de Lin BT - KDD-Cup 2009竞赛论文集 DA - 2009/12/04 ED - Gideon Dror ED - Mar Boullé ED - Isabelle Guyon ED - Vincent Lemaire ED - David Vogel ID - pmlr-v7-lo09 PB - PMLR DP - 机器学习研究论文集 VL - 7 SP - 57 EP - 64 L1 - https://pmlr.com.cn/v7/lo09/lo09.pdf UR - https://pmlr.com.cn/v7/lo09.html AB - 本文描述了我们为KDD Cup 2009挑战赛设计的三个分类器的集成。首先，我们将三个二元分类任务转化为一个联合多类别分类问题，并在LIBLINEAR框架下求解l1正则化的最大熵模型。其次，我们提出了一种异构基学习器，该学习器能够处理不同类型特征和缺失值，并使用AdaBoost来改进基学习器。最后，我们采用了一种选择性朴素贝叶斯分类器，它可以自动分组类别特征并离散化数值特征。参数使用交叉验证结果进行调整，而不是竞赛网站上的10%测试结果。基于对三个正标签互斥的观察，我们使用线性SVM进行后处理步骤，以联合调整每个分类器在三个任务上的预测分数。然后，我们对这些预测分数进行仔细的验证后取平均值，得到最终输出。我们在整个测试集上的最终平均AUC为0.8461，在KDD Cup 2009的慢速赛道中排名第三。 ER -
APA
Lo, H., Chang, K., Chen, S., Chiang, T., Ferng, C.S., Hsieh, C., Ko, Y., Kuo, T., Lai, H., Lin, K., Wang, C., Yu, H., Lin, C., Lin, H. & Lin, S.. (2009). KDD Cup 2009的三分类器集成：扩展线性模型、异构提升和选择朴素贝叶斯. KDD-Cup 2009竞赛论文集, in 机器学习研究论文集 7:57-64 可从 https://pmlr.com.cn/v7/lo09.html 获取。

相关材料