prefill 阶段如何加速的问题

[YF-T]

我有个问题想请教一下，例如我有一个block序列 A B C D 做 prefill，假设选择 top 2 的 block，那么，假设 D block 中的一个 token 关注的top2是 A,B 两个 block，另一个 token 关注的top2是 C,D 两个 block ，那么在 prefill 阶段是否需要把A,B,C,D 都加载上来呢？ 如果都需要加载的话，为何能带来 prefill 的加速呢？

[suhmily10]

prefill 加速是由减少 block 计算/访存带来的。