不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
{dede:pagebreak/}
如何看待机器之心重测高考数学全卷，Gemini夺冠，豆包DeepSeek并列第二？ 
美国国务卿称将开始吊销中国学生签证，包括在关键领域学科学生，影响有多大？在美中国留学生该怎样应对？ 
如何看待不超过1879元的Mac mini（M4+16/256GB+票），易用性吊打同级其他台式电脑？ 
如何看待机器之心重测高考数学全卷，Gemini夺冠，豆包DeepSeek并列第二？ 
为什么剪映是剪辑软件鄙视链的最底层? 
如何看待 Rust 写的 PNG 解码器比 C 实现更快？ 
如何评价首个女性友好的编程语言HerCode? 群晖那么垃圾为什么还那么多人推？ 
Node.js是谁发明的? 
如何看待 Three.js / WebGL 等前端 3D 技术？ 
比亚迪最近绩效减半，这是卸磨杀驴么？ 
VSCode 都有哪些牛逼的插件？ 
J***aScript 已经强大到什么程度了？ 
为什么有的人喜欢带着 MacBook 去咖啡店或者书店上网，而不是 ThinkPad 之类的？ 
ant-design-vue 社区为什么不维护了？ 
孩子画过什么画让你非常震惊？
