常见损失函数

1.损失函数

损失函数是指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数,较常运用在统计学，统计决策理论和经济学中。损失函数参数的真值为（θ），决策的结果为d ，两者的不一致会带来一定的损失，这种损失是一个随机变量，用L(θ,d)表示。

1.1 0-1损失函数(0-1 loss function)

$$ L(Y,f(X))= \begin{cases} 1,Y \neq f(X)\cr 0,Y = f(X) \end{cases} $$

1.2平方损失函数(quadratic loss function)

$$ L(Y,f(X))=(Y-f(X))^2 $$

1.3绝对损失函数(absolute loss function)

$$ L(Y,f(X))=|Y-f(X)| $$

1.4对数损失函数(logarithmic loss function)或对数似然损失函数(log likelihood loss function)

$$ L(Y,P(Y|X))=-logP(Y|X) $$

2.风险函数 风险函数是损失函数的期望值，表示为：

$$ R(\theta,d)=E[L(d,\theta)] $$

决策的目标是要找出一个决策方案$d$，使其对各个自然状态风险值均为最小。应用时，常常对θ(参数的真值)确定一个概率分布，并使其平均的风险值$r(d,\theta)$达到最小，其中： $$ r(d,\theta) = E[R(d,\theta)]=\sum_{j=1}^LR(d,\theta)p(\theta_j) $$ 有结构风险函数和经验风险函数

参考资料

1,http://www.csuldw.com/2016/03/26/2016-03-26-loss-function/