> RUDN 大学的数学家团队找到一种新方法,该方法能够让神经网络的大小减小到六分之一,且无需花费更多的资源重新训练。 ![模型压缩6倍,无需重训练:数学家团队提出量化新方法](https://p3-tt.byteimg.com/origin/pgc-image/8af4c59af36540d3ab824582991c53fe.jpg) 神经网络压缩是指在对神经网络性能影响不大的情况下,通过有关方法来减少网络的参数和存储空间,大体上可以分为近似,量化和剪枝三类方法。 近日,来自俄罗斯人民友谊大学(RUDN)的数学家团队找到一种方法,可以**将训练后的神经网络的大小减小六倍,而无需花费更多的资源来对其进行重新训练**。该方法基于找到初始系统及其简化版本中神经连接权重之间的相关性。这项研究的结果发表在《Optical Memory and Neural Networks》期刊上。 生命体中人工神经网络和神经元的结构是基于相同的原理。网络中的节点是相互连接的;其中一些接收信号,一些通过激活或抑制链中的下一个元素来发送信号。任何信号(例如图像或声音)的处理都需要很多网络元素及其之间的连接。但是,计算机模型只有有限的模型容量和存储空间。为了处理大量数据,这一领域的研究者必须发明各种方法来降低对模型能力的需求,包括所谓的量化。这有助于减少资源消耗,但需要对系统进行重新训练。RUDN 大学的一些数学家发现后者可以避免。 ![模型压缩6倍,无需重训练:数学家团队提出量化新方法](https://p1-tt.byteimg.com/origin/pgc-image/f9c3b94bc5fa480fb70c81af9df465d7.jpg) RUDN 大学...