模型的通用公式 $$ \hat y(w,x)=w_0+w_1x_1+\dots+w_px_p $$ 普通最小二乘法 $$ w=\min_w{\Vert Xw-y\Vert_2}^2 $$ LinearRegression 岭回归 $$ w=\min_w{\Vert Xw-y\Vert_2}^2+\a… ...more

集成学习算法是指使用多个分类器提高整体的泛化能力 1.Bagging（Bootstrap Aggregating）算法 通过组合随机生成的训练集而改进分类的集成算法(bootstrap) 使用训练集中的某个子集作为当前训练集（有放回随机抽样）;经过T次训练后,得到T个不同的分类器 调用这T个分类器,… ...more

信息熵 $$ H(X)=E[I(X)]=E[-ln(P(X))] $$ 其中$ P $ 为$ X $的概率质量函数,$ E $为期望函数,而$ I(x) $是$ X $的信息量(又称自信息). $$ H(X)=\sum_iP(x_i)I(x_i)=-\sum_iP(x_i)\log_bP(x_i) … ...more

使用hexo时，想要实现网页中公式的渲染 发现不管怎么改，都不能渲染单行公式 最后发现是在mathjax的2.3版本以后，配置方法变了 mathjax的配置方法 一般网上大部分的mathjax的配置如下 <script type="text/x-mathjax-co… ...more

激励函数 #激活函数 x=np.arange(-12.5,12.5,0.05) tanh = (np.power(np.e,x)-np.power(np.e,-x))/(np.power(np.e,x)+np.power(np.e,-x)) relu = np.maximum(0.0,x)… ...more

1.损失函数 损失函数是指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数,较常运用在统计学，统计决策理论和经济学中。损失函数参数的真值为（θ），决策的结果为d ，两者的不一致会带来一定的损失，这种损失是一个随机变量，用L(θ,d)表示。… ...more

$ f(z) $为激励函数，关于激励函数(又称激活函数)的总结 隐藏层1输入 $$ z^{(1)}=W^{(1)}x^T+b^{(1)}\tag{1} $$ 隐藏层1输出 $$ n^{(1)}=f^{(1)}(z^{(1)})\tag{2} $$ 隐藏层2输入 $$ z^{(2)}=W^{(2)}… ...more