Continue reading...
第三，量化技术带来的不只是压缩。 4-bit 量化常常被理解为「把模型压小 4 倍以节省存储」，但它真正的意义在于减少 4 倍的内存吞吐量。在端侧设备上，瓶颈往往不是存储空间，而是内存带宽，也就是数据从内存搬运到处理器的速度。量化技术让小模型在带宽受限的手机和笔记本上，获得了决定性的速度优势。
，这一点在体育直播中也有详细论述
option from PEP 649, which would allow always extracting，更多细节参见PDF资料
钱先生读林克莱特的小说，最早的记录是1937年于牛津时读的《诗人酒吧》（Poet's Pub, 1929）。小说主人公是位牛津诗人，或许这一点引起了钱先生的兴趣。留学英国的钱先生可能不知道，在那之前的一年，林克莱特曾到访中国。