C++计时 参考 #include <iostream> #include <chrono> long fibonacci(unsigned n) { if (n < 2) return n; return fibonacci(n-1) + fibonacci(n-2); } int main() { auto start = s...

在程序中输出临时文件大小 def print_size_of_model(model): torch.save(model.state_dict(), "temp.p") print('Size (MB):', os.path.getsize("temp.p")/2**20) os.remove('temp.p') print_size_of_model(mode...

666DZY666/micronet github repo Pytorch official Quantization intro 知乎 - Gemfield - PyTorch的量化 A developer-friendly guide to model quantization with PyTorch ...

本文对ResNet源码(Pytorch)进行解读。许多网络结构的改进是在其基础上做的，因此有必要仔细理解下。 注：为了增强代码的易读性，本文所展示的代码基于2021年3月11日的torchvision代码删减得到的，因此和源码并不完全一致，需要的读者可以前往查看torchvision的ResNet源码。 首先定义了预训练模型下载地址，封装了3x3和1x1的卷积核 model_u...

官方github repo 首先在服务器端安装visdom pip install visdom 使用流程简述 服务器端启动visdom（建议在screen下进行） visdom # equivalent to running python -m visdom.server. 当使用VS code时，在...

关于STE(straight through estimator) 以二值网络为例，对网络进行训练时，需要对参数做\(sign\)操作后参与运算，有 [q = sign(r)] 但由于\(sign\)函数在\(r=0\)处不可导，在\(r \neq 0\)处导数为\(0\)，因此反向传播在这一步是失效的，不能有效实现参数的更新。 STE本身的模样 straight through e...

深度学习的模型压缩可能就是自己硕士阶段的研究课题啦，这篇博客记录在学习过程中遇到的比较好的资料，作为积累和备忘。 github awesome collections htqin/awesome-model-quantization A list of papers, docs, codes about model quantization. This rep...

本文的内容主要转载自runoob-Python 函数装饰器…的评论区笔记，原始出处不明，但写得确实非常好，因此摘录于此。 引入 讲Python装饰器前，我想先举个例子，虽有点污，但跟装饰器这个话题很贴切。 每个人都有的内裤主要功能是用来遮羞，但是到了冬天它没法为我们防风御寒，咋办？我们想到的一个办法就是把内裤改造一下，让它变得更厚更长，这样一来，它不仅有遮羞功能，还能提供保暖，...

\(F-Principle\)定理： DNN倾向于按从低频到高频的顺序来拟合训练数据。 实验 Spatial Domain Red: the target function; Blue: DNN output. Abscissa: input; Ordinate: output. Fourier Domain Red: FFT of the target func...

Batch-Normalization (BN) 通过使用当前batch数据的均值mean和方差variance对它们进行标准化处理，可以使得模型的训练更加快速和稳定。实践中会把BN一般放在非线性激活函数的上一层或者下一层。 原理 训练时 BN之所以称之为batch normalization，就是因为normalization是沿batch_size维度进行的。 设某一个神经元对一...