sin(x)

Page 3 of 10

机器学习:支持向量机

在不同机器学习教材上多次看到支持向量机,但是我并没有很好地掌握其对偶形式的推导以及求解对偶形式问题的序列最小化算法,所以就在本文中详细推导一下支持向量机的对偶问题以及实现序列最小优化算法。

支持向量机

线性可分形式

支持向量机尝试使用一个超平面将样本从样本空间中分开,样本中距离超平面最近的样本称为支持向量,支持向量机需要保证这个超平面到所有支持向量的距离最大化。

对于超平面,某样本到超平面的距离就是:

Continue reading

机器学习:习题笔记(四)

第13章 半监督学习

  • 13.1 试推导出式(13.5)~(13.8)。

高斯混合模型推导自混合专家(mixture of experts)模型,13.3推导了混合专家(mixture of experts)模型算法,所以这里直接从13.3结论推导出式(13.5)~(13.8)。

E步:

Continue reading

机器学习:习题笔记(三)

第9章 聚类

  • 9.1 试证明:时,闵可夫斯基距离满足距离度量的四条基本性质;时,闵可夫斯拈距离不满足直递性,但满足非负性、同一性、对称性;p趋向无穷大时,闵可夫斯基距离等于对应分量的最大绝对距离,即

非负性:

绝对值总是非负的:

幂函数在上显然满足非负性,因此闵可夫斯基距离满足非负性。

Continue reading

机器学习:习题笔记(二)

第5章 神经网络

  • 5.3 对于图 5.7 中的 ,试推导出 BP 算法中的更新公式 (5.13)。

按照链式法则:

其中,

Continue reading

机器学习:习题笔记(一)

现在好像什么研究方向都会用到机器学习,所以在大四养老期间学习一下周志华老师的《机器学习》,把不太难的题目写一下。

第1章 绪论

  • 1.1 表 1.1 中若只包含编号为 1 和 4 的两个样例,试给出相应的版本空间。

由于训练数据更少,所以版本空间会更大。

(色泽=青绿;根蒂=*;敲声=*)
(色泽=*;根蒂=蜷缩;敲声=*)
(色泽=*;根蒂=*;敲声=浊响)
(色泽=青绿;根蒂=蜷缩;敲声=*)
(色泽=青绿;根蒂=*;敲声=浊响)
(色泽=*;根蒂=蜷缩;敲声=浊响)
(色泽=青绿;根蒂=蜷缩;敲声=浊响)

Continue reading

« Older posts Newer posts »

Copyright © 2019 sin(x)

Theme by Anders Noren, host by Coding PagesUp ↑