激励函数 #激活函数 x=np.arange(-12.5,12.5,0.05) tanh = (np.power(np.e,x)-np.power(np.e,-x))/(np.power(np.e,x)+np.power(np.e,-x)) relu = np.maximum(0.0,x) sigm… ...more

1.损失函数 损失函数是指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数,较常运用在统计学，统计决策理论和经济学中。损失函数参数的真值为（θ），决策的结果为d ，两者的不一致会带来一定的损失，这种损失是一个随机变量，用L(θ,d)表示。… ...more

$ f(z) $为激励函数，关于激励函数(又称激活函数)的总结 隐藏层1输入 $$ z^{(1)}=W^{(1)}x^T+b^{(1)}\tag{1} $$ 隐藏层1输出 $$ n^{(1)}=f^{(1)}(z^{(1)})\tag{2} $$ 隐藏层2输入 $$ z^{(2)}=W^{(2)}… ...more

深度学习框架Keras与Pytorch的区别与优劣翻译 对于许多科学家，工程师和开发人员来说，TensorFlow是他们的第一个深度学习框架。 TensorFlow 1.0于2017年2月发布;但它对用户来说不是很友好。 在过去几年中，两个主要的深度学习库已经获得了巨大的普及，主要是因为它们比Te… ...more

AdaGrad-Adaptive-Gradient-自适应梯度 $$ g_t = \nabla_\theta J(\theta_{t-1}) $$ $$ \theta_{t+1} = \theta_t-\alpha\cdot g_t/\sqrt{\sum_{i=1}^tg_t^2} \ \ \ \ … ...more

1.列表的初始化 当初始化一个n×n的列表时不能使用如下方法， In [1]: l=[[0]*3]*3 #如此初始化会导致其它行仅是第一行的引用而不是copy In [2]: l Out[2]: [[0, 0, 0], [0, 0, 0], [0, 0, 0] In [3]: l[0][0]=1 #… ...more

Linux中的一些常用命令,tar 1.tar解压打包相关 tar -cvf log.tar log2019.log #仅打包，不压缩 tar -zcvf log.tar.gz log2019.log #打包后，以 gzip 压缩 tar -jcvf log.tar.bz2 log2019… ...more