Tracr: Compiled Transformers as a Laboratory for Interpretability

 编译器 Tracr 将以 RASP 编写的人类可读程序转换为标准的 decoder-only transformers。

Transformer 架构与 RASP 编程语言

Transformer 大体结构

 link。

 之前自己学过 transformer，现在复习一下。Transformer 总体结构如下：