记忆层 相关话题

为证券之星据公开信息整理，由智能算法生成，不构成投资建议。 11月3日凌晨三点，全球社交巨头Meta分享了一个创新研究——Memory layers（记忆层）。 目前，Transformer架构的预训练大模型在存储、查询数据时，随着参数的变大对算力的需求呈指数级增长。“记忆层”则提出了新的高效查询机制替代了传统的查询方法，通过比较查询键与两个较小集合中的键，可以快速找到最相关的键，而无需遍历模型的整个记忆层。 换言之，可以在不增加算力的情况下显著增加大模型的参数。在传统的键值查找中，每个查询都