标签： 苹果 ，AI ，模型

近来，一些研究探索了 Transformer 中 softmax 注意力的替代方案，例如 ReLU 和 sig … Continue reading “Sigmoid注意力一样强，苹果开始重新审视注意力机制”