Transformers

transformers(与pytorch-transformers和pytorch-pretrained-bert相似)是python的一个库,它提供了用于自然语言理解(NLU)和自然语言生成(NLG)的多种预训练模型(BERT,GPT-2,RoBERTa,XLM,DistilBert,XLNet… ...more

机器学习笔记

分类 准确率:所有样本中预测正确的占比 $$ accuracy =\frac {TP+TN}{TP+TN+FP+FN} = \frac {T}{T+F} $$ 精确率:预测为正的样本中真正的正样本占比 $$ precision = \frac {TP}{TP+FP} = \frac {TP}{P'}… ...more

交叉熵损失的反向传播

对于一个单标签多分类问题,假设网络的输出层的输入为$Z_{in}=[z_1,\cdots,z_i,\cdots,z_n]$, 输出为$\hat Y=[\hat y_1,\cdots,\hat y_i,\cdots,\hat y_n]$, 真实类标签为$Y = [y_1,\cdots,y_i,\cdo… ...more

矩阵中的求导

标量对向量求导 $$ y = f(x_1,\cdots,x_i,\cdots,x_n) $$ $$ X = [x_1,\cdots,x_i,\cdots,x_n] $$ $$ \frac {\partial y}{\partial X} = [\frac {\partial f}{\partial … ...more

日常笔记-1

pickle序列化与反序列化 import pickle as plk plk.dump(obj,file) # 将序列化后的二进制写入文件 plk.dumps(obj) # 返回一个二进制序列 plk.load(file) # 读文件对象中的二进制,转化成对象返回… ...more

nvidia显卡驱动错误

系统使用bumblebee实现双显卡(N卡和集成显卡)切换, 同时有N卡的开源驱动nouveau和专有显卡驱动nvidia 使用命令 optirun glxspheres64 # 或者optirun glxspher 出现错误[XORG] (EE) Failed to load module &q… ...more