2.793

2018影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于指数损失和0-1损失的在线Boosting算法

侯杰 茅耀斌 孙金生

侯杰, 茅耀斌, 孙金生. 基于指数损失和0-1损失的在线Boosting算法. 自动化学报, 2014, 40(4): 635-642. doi: 10.3724/SP.J.1004.2014.00635
引用本文: 侯杰, 茅耀斌, 孙金生. 基于指数损失和0-1损失的在线Boosting算法. 自动化学报, 2014, 40(4): 635-642. doi: 10.3724/SP.J.1004.2014.00635
HOU Jie, MAO Yao-Bin, SUN Jin-Sheng. Online Boosting Algorithms Based on Exponential and 0-1 Loss. ACTA AUTOMATICA SINICA, 2014, 40(4): 635-642. doi: 10.3724/SP.J.1004.2014.00635
Citation: HOU Jie, MAO Yao-Bin, SUN Jin-Sheng. Online Boosting Algorithms Based on Exponential and 0-1 Loss. ACTA AUTOMATICA SINICA, 2014, 40(4): 635-642. doi: 10.3724/SP.J.1004.2014.00635

基于指数损失和0-1损失的在线Boosting算法


DOI: 10.3724/SP.J.1004.2014.00635
详细信息
    作者简介:

    侯杰 南京理工大学自动化学院博士研究生.主要研究方向为视觉目标检测与跟踪,模式识别与机器学习.E-mail:reiase@gmail.com

  • 基金项目:

    国家自然科学基金(60974129)资助

Online Boosting Algorithms Based on Exponential and 0-1 Loss

More Information
  • Fund Project:

    Supported by National Natural Science Foundation of China (60974129)

  • 摘要: 推导了使用指数损失函数和0-1损失函数的Boosting 算法的严格在线形式,证明这两种在线Boosting算法最大化样本间隔期望、最小化样本间隔方差.通过增量估计样本间隔的期望和方差,Boosting算法可应用于在线学习问题而不损失分类准确性. UCI数据集上的实验表明,指数损失在线Boosting算法的分类准确性与批量自适应 Boosting (AdaBoost)算法接近,远优于传统的在线Boosting;0-1损失在线Boosting算法分别最小化正负样本误差,适用于不平衡数据问题,并且在噪声数据上分类性能更为稳定.
  • [1] Freund Y, Schapire R E, Abe N. A short introduction to Boosting. Journal-Japanese Society for Artificial Intelligence, 1999, 14(5): 771-780
    [2] Freund Y, Schapire R E. A desicion-theoretic generalization of on-line learning and an application to Boosting. Journal of Computer and System Sciences, 1997, 55(1): 119-139
    [3] Cao Ying, Miao Qi-Guang, Liu Jia-Chen, Gao Lin. Advance and prospects of Adaboost algorithm. Acta Automatica Sinica, 2013, 39(6): 745-758(曹莹, 苗启广, 刘家辰, 高琳. Adaboost算法研究进展与展望. 自动化学报, 2013, 39(6): 745-758)
    [4] Viola P, Jones M J. Robust real-time face detection. International Journal of Computer Vision, 2004, 57(2): 137-154
    [5] Zhang C, Zhang Z Y. A Survey of Recent Advances in Face Detection, Technical Report MSR-TR-2010-66, Microsoft Research, Redmond, WA, 2010
    [6] Wu J X, Rehg J M, Mullin M D. Learning a rare event detection cascade by direct feature selection. [Online], available: http: //papers.nips.cc/paper/2353-learning-a-rare-event-detection-cascade-by-direct-feature-selection.pdf, October 25, 2012
    [7] Bartlett P, Freund Y, Lee W S, Schapire R E. Boosting the margin: a new explanation for the effectiveness of voting methods. The Annals of Statistics, 1998, 26(5): 1651-1686
    [8] Grabner H, Grabner M, Bischof H. Real-time tracking via on-line Boosting. In: Proceedings of the 2006 British Machine Vision Conference. Edinburgh, British, 2006, 1: 4756
    [9] Kuo C H, Nevatia R. How does person identity recognition help multi-person tracking? In: Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Providence, RI: IEEE, 2011. 1217-1224
    [10] Yang B, Nevatia R. Multi-target tracking by online learning of non-linear motion patterns and robust appearance models. In: Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Providence, RI: IEEE, 2012. 1918-1925
    [11] Grabner H, Bischof H. On-line Boosting and vision. In: Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York, NY: IEEE, 2006, 1: 260-267
    [12] Liu X M, Yu T. Gradient feature selection for online Boosting. In: Proceedings of the 11th IEEE International Conference on Computer Vision (ICCV). Rio de Janeiro: IEEE, 2007. 1-8
    [13] Oza N C. Online Ensemble Learning [Ph.D. dissertation], The University of California, Berkeley, 2001
    [14] Grabner H, Leistner C, Bischof H. Semi-supervised on-line Boosting for robust tracking. Computer Vision-ECCV 2008. Berlin Heidelberg: Springer, 2008: 234-247
    [15] Babenko B, Yang M H, Belongie S. Robust object tracking with online multiple instance learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1619-1632
    [16] Shen C H, Li H X. On the dual formulation of Boosting algorithms. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(12): 2216-2231
    [17] Friedman J H. Greedy function approximation: a gradient Boosting machine. Annals of Statistics, 2001, 29(5): 11891232
    [18] Vapnik V. The Nature of Statistical Learning Theory. New York: Springer, 2000
    [19] Wu J, Brubaker S C, Mullin M D, Rehg J M. Fast asymmetric learning for cascade face detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(3): 369-382
    [20] Ge Jun-Feng, Luo Yu-Pin. A comprehensive study for asymmetric Adaboost and its application in object detection. Acta Automatica Sinica, 2009, 35(11): 1403-1409 (葛俊锋, 罗予频. 非对称AdaBoost算法及其在目标检测中的应用. 自动化学报, 2009, 35(11): 1403-1409)
    [21] He H B, Garcia E A. Learning from imbalanced data. Transactions on Knowledge and Data Engineering, 2009, 21(9): 1263-1284
    [22] Li Qiu-Jie, Mao Yao-Bin, Wang Zhi-Quan. Research on Boosting-based imbalanced data classification. Computer Science, 2011, 38(12): 224-228 (李秋洁, 茅耀斌, 王执铨. 基于Boosting的不平衡数据分类算法研究. 计算机科学, 2011, 38(12): 224-228)
    [23] Li Qiu-Jie, Mao Yao-Bin. AUC optimization Boosting based on data rebalance. Acta Automatica Sinica, 2013, 39(9): 1467-1475 (李秋洁, 茅耀斌. 基于数据重平衡的AUC 优化Boosting算法. 自动化学报, 2013, 39(9): 1467-1475)
    [24] Sun Y M, Kamel M S, Wong A K C, Wang Y. Cost-sensitive Boosting for classification of imbalanced data. Pattern Recognition, 2007, 40(12): 3358-3378
  • [1] 徐德. 单目视觉伺服研究综述[J]. 自动化学报, 2018, 44(10): 1729-1746. doi: 10.16383/j.aas.2018.c170715
    [2] 孙广路, 宋智超, 刘金来, 朱素霞, 何勇军. 基于最大信息系数和近似马尔科夫毯的特征选择方法[J]. 自动化学报, 2017, 43(5): 795-805. doi: 10.16383/j.aas.2017.c150851
    [3] 陈龙, 刘全利, 王霖青, 赵珺, 王伟. 基于数据的流程工业生产过程指标预测方法综述[J]. 自动化学报, 2017, 43(6): 944-954. doi: 10.16383/j.aas.2017.c170136
    [4] 顾晓清, 蒋亦樟, 王士同. 用于不平衡数据分类的0阶TSK型模糊系统[J]. 自动化学报, 2017, 43(10): 1773-1788. doi: 10.16383/j.aas.2017.c160200
    [5] 管皓, 薛向阳, 安志勇. 深度学习在视频目标跟踪中的应用进展与展望[J]. 自动化学报, 2016, 42(6): 834-847. doi: 10.16383/j.aas.2016.c150705
    [6] 吴信东, 何进, 陆汝钤, 郑南宁. 从大数据到大知识:HACE+BigKE[J]. 自动化学报, 2016, 42(7): 965-982. doi: 10.16383/j.aas.2016.c160239
    [7] 冯定成, 陈峰, 徐文立. 一种基于局部流形结构的无监督特征学习方法[J]. 自动化学报, 2014, 40(10): 2253-2261. doi: 10.3724/SP.J.1004.2014.02253
    [8] 曹莹, 苗启广, 刘家辰, 高琳. AdaBoost算法研究进展与展望[J]. 自动化学报, 2013, 39(6): 745-758. doi: 10.3724/SP.J.1004.2013.00745
    [9] 种衍文, 匡湖林, 李清泉. 一种基于多特征和机器学习的分级行人检测方法[J]. 自动化学报, 2012, 38(3): 375-381. doi: 10.3724/SP.J.1004.2012.00375
    [10] 徐丹蕾, 杜兰, 刘宏伟, 洪灵, 李彦兵. 一种基于变分相关向量机的特征选择和分类结合方法[J]. 自动化学报, 2011, 37(8): 932-943. doi: 10.3724/SP.J.1004.2011.00932
    [11] 刘峤, 秦志光, 陈伟, 张凤荔. 基于零范数特征选择的支持向量机模型[J]. 自动化学报, 2011, 37(2): 252-256. doi: 10.3724/SP.J.1004.2011.00252
    [12] 殷慧, 曹永锋, 孙洪. 基于多维金字塔表达和AdaBoost的高分辨率SAR图像城区场景分类算法[J]. 自动化学报, 2010, 36(8): 1099-1106. doi: 10.3724/SP.J.1004.2010.01099
    [13] 崔潇潇, 王贵锦, 林行刚. 基于Adaboost权值更新以及K-L距离的特征选择算法[J]. 自动化学报, 2009, 35(5): 462-468. doi: 10.3724/SP.J.1004.2009.00462
    [14] 程豪, 黄磊, 刘昌平, 谭怒涛. 基于笔画和Adaboost的两层视频文字定位算法[J]. 自动化学报, 2008, 34(10): 1312-1318. doi: 10.3724/SP.J.1004.2008.01312
    [15] 褚一平, 张引, 叶修梓, 张三元. 基于隐条件随机场的自适应视频分割算法[J]. 自动化学报, 2007, 33(12): 1252-1258. doi: 10.1360/aas-007-1252
    [16] 曹媛媛, 杨波, 徐光祐. 基于分形纹理特征和小波变换的网状纹理检测方法[J]. 自动化学报, 2007, 33(7): 688-692. doi: 10.1360/aas-007-0688
    [17] 张鸿宾, 孙广煜. Tabu搜索在特征选择中的应用[J]. 自动化学报, 1999, 25(4): 457-466.
    [18] 章新华. 一种特征选择的动态规划方法[J]. 自动化学报, 1998, 24(5): 675-680.
    [19] 韦巍. 一种回归神经网络的快速在线学习算法[J]. 自动化学报, 1998, 24(5): 616-621.
    [20] 徐雷. 模拟退火组合优化法在模式识别中的若干应用[J]. 自动化学报, 1989, 15(2): 114-121.
  • 加载中
计量
  • 文章访问数:  1740
  • HTML全文浏览量:  93
  • PDF下载量:  1359
  • 被引次数: 0
出版历程
  • 收稿日期:  2013-06-05
  • 修回日期:  2013-10-25
  • 刊出日期:  2014-04-20

基于指数损失和0-1损失的在线Boosting算法

doi: 10.3724/SP.J.1004.2014.00635
    基金项目:

    国家自然科学基金(60974129)资助

    作者简介:

    侯杰 南京理工大学自动化学院博士研究生.主要研究方向为视觉目标检测与跟踪,模式识别与机器学习.E-mail:reiase@gmail.com

摘要: 推导了使用指数损失函数和0-1损失函数的Boosting 算法的严格在线形式,证明这两种在线Boosting算法最大化样本间隔期望、最小化样本间隔方差.通过增量估计样本间隔的期望和方差,Boosting算法可应用于在线学习问题而不损失分类准确性. UCI数据集上的实验表明,指数损失在线Boosting算法的分类准确性与批量自适应 Boosting (AdaBoost)算法接近,远优于传统的在线Boosting;0-1损失在线Boosting算法分别最小化正负样本误差,适用于不平衡数据问题,并且在噪声数据上分类性能更为稳定.

English Abstract

侯杰, 茅耀斌, 孙金生. 基于指数损失和0-1损失的在线Boosting算法. 自动化学报, 2014, 40(4): 635-642. doi: 10.3724/SP.J.1004.2014.00635
引用本文: 侯杰, 茅耀斌, 孙金生. 基于指数损失和0-1损失的在线Boosting算法. 自动化学报, 2014, 40(4): 635-642. doi: 10.3724/SP.J.1004.2014.00635
HOU Jie, MAO Yao-Bin, SUN Jin-Sheng. Online Boosting Algorithms Based on Exponential and 0-1 Loss. ACTA AUTOMATICA SINICA, 2014, 40(4): 635-642. doi: 10.3724/SP.J.1004.2014.00635
Citation: HOU Jie, MAO Yao-Bin, SUN Jin-Sheng. Online Boosting Algorithms Based on Exponential and 0-1 Loss. ACTA AUTOMATICA SINICA, 2014, 40(4): 635-642. doi: 10.3724/SP.J.1004.2014.00635
参考文献 (24)

目录

    /

    返回文章
    返回