Comparing Spectral Bias and Robustness For Two-Layer Neural Networks: SGD vs Adaptive Random Fourier

link之家

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

淡定的炒饭 · 在pycharm的python控制台或终端设 ...· 1 年前 ·

俊秀的篮球 · （译）详解javascript立即执行函数表 ...· 1 年前 ·

飞翔的饺子 · threejs-miniprogram加载g ...· 1 年前 ·

英勇无比的跑步鞋 · 二进制方式安装 Kubernetes1.18 ...· 2 年前 ·

不拘小节的紫菜汤 · jquery-懒加载技术(简称lazyloa ...· 2 年前 ·

We present experimental results highlighting two key differences resulting from the choice of training algorithm for two-layer neural networks. The spectral bias of neural networks is well known, while the spectral bias dependence on the choice of training algorithm is less studied. Our experiments demonstrate that an adaptive random Fourier features algorithm (ARFF) can yield a spectral bias closer to zero compared to the stochastic gradient descent optimizer (SGD). Additionally, we train two identically structured classifiers, employing SGD and ARFF, to the same accuracy levels and empirically assess their robustness against adversarial noise attacks. 中文翻译：

推荐文章

淡定的炒饭 · 在pycharm的python控制台或终端设置字体大小

1 年前

俊秀的篮球 · （译）详解javascript立即执行函数表达式（IIFE） - 很好玩 - 博客园

1 年前

飞翔的饺子 · threejs-miniprogram加载glb文件是出现问题,如何解决? | 微信开放社区

1 年前

英勇无比的跑步鞋 · 二进制方式安装 Kubernetes1.18.3版本实现脚本_云其它_脚本之家

2 年前

不拘小节的紫菜汤 · jquery-懒加载技术(简称lazyload) - 晴晴加油 - 博客园

2 年前