sin(x)

Category: 读书笔记

机器学习:梯度提升

人们很少会把Gradient Boosting翻译成中文名词,为了保持版面的整齐,还是使用了中文术语。目前,梯度提升是广泛使用的统计学习方法,其思想来源于数值优化中的最速下降法。梯度提升和最速下降法的主要区别就是:最速下降法中的梯度是基于参数空间的,然而梯度提升中的梯度基于假设空间。

函数估计

在机器学习任务中,在训练数据集上,我们通过最小化损失函数来选择假设空间中的假设

对于回归问题,常用的损失函数包括平方损失和绝对值损失;对于分类问题,常用的损失函数为负对数似然损失

通常我们将假设限制在某一类函数中,其中。在本文中,通过相加将多个单个假设集成

Continue reading

机器学习:支持向量机

在不同机器学习教材上多次看到支持向量机,但是我并没有很好地掌握其对偶形式的推导以及求解对偶形式问题的序列最小化算法,所以就在本文中详细推导一下支持向量机的对偶问题以及实现序列最小优化算法。

支持向量机

线性可分形式

支持向量机尝试使用一个超平面将样本从样本空间中分开,样本中距离超平面最近的样本称为支持向量,支持向量机需要保证这个超平面到所有支持向量的距离最大化。

对于超平面,某样本到超平面的距离就是:

Continue reading

机器学习:习题笔记(四)

第13章 半监督学习

  • 13.1 试推导出式(13.5)~(13.8)。

高斯混合模型推导自混合专家(mixture of experts)模型,13.3推导了混合专家(mixture of experts)模型算法,所以这里直接从13.3结论推导出式(13.5)~(13.8)。

E步:

Continue reading

机器学习:习题笔记(三)

第9章 聚类

  • 9.1 试证明:时,闵可夫斯基距离满足距离度量的四条基本性质;时,闵可夫斯拈距离不满足直递性,但满足非负性、同一性、对称性;p趋向无穷大时,闵可夫斯基距离等于对应分量的最大绝对距离,即

非负性:

绝对值总是非负的:

幂函数在上显然满足非负性,因此闵可夫斯基距离满足非负性。

Continue reading

机器学习:习题笔记(二)

第5章 神经网络

  • 5.3 对于图 5.7 中的 ,试推导出 BP 算法中的更新公式 (5.13)。

按照链式法则:

其中,

Continue reading

« Older posts

Copyright © 2019 sin(x)

Theme by Anders Noren, host by Coding PagesUp ↑