仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
本人是某双一流大学硕士生，也最近刚好准备参加2024年秋招，在找大模型算法岗实习中，遇到了很多有意思的面试，所以将这些面试题记录下来，并分享给那些和我一样在为一份满意的offer努力着的小伙伴们！！！
如果对比过vllm进行大模型推理和直接调用模型generate就会知道vllm可以让推理速度比直接调用模型generate快2-4倍。
那问题来了，为什么vllm能够加快大模型推理速度？
在回答该问题之前，需要先理清楚LLMs结构特点：
大模型一般都是采用自回归生成方式，即根据前面的语句预测下一个字的概率：
而自回归生成方式方式会存在以下问题：
问题一：KVCache太大
LLM服务需要为每个请求维护一个键值（KV）缓存，用于存储模型在生成文本时的上下文信息。随着请求数量的增加，KV缓存的大小迅速增长，占用大量GPU内存。
对于13B参数的模型，单个请求的KVCache可能就需要数1.6GB的内存。这限制了同时处理的请求数量，进而限制了系统的吞吐量。
问题二：复杂的解码算法
LLM服务通常提供多种解码算法供用户选择，如贪婪解码、采样解码和束搜索（beamsearch）。这些算法对内存管理的复杂性有不同的影响。
例如，在并行采样中，多个输出可以共享相同的输入提示的KV缓存，而在束搜索中，不同候选序列的KV缓存可以部分共享，这要求内存管理系统能够动态调整内存分配。
问题三：未知的输入和输出长度
LLM服务的输入和输出长度是变化的，这要求内存管理系统能够适应不同长度的提示。随着请求的输出长度在解码过程中增长，所需的KV缓存内存也会增加，可能会耗尽用于新请求或现有的内存。
现有的LLM服务系统通常采用静态连续内存分配策略，会带来三个方面的内存浪费：
预留浪费（reserved）。为每个请求预留最大可能序列长度的内存，然而实际请求的长度可能远小于最大长度；
内部碎片（internalfragmentation）。内存分配的低效率还会导致内存碎片，进一步降低内存的可用性；
外部碎片（externalfragmentation）。有些内存由于过小，无法使用，这些内存则直接浪费了。
vllm主要对大模型推理过程采用pageattention优化。
类似于KVCache的问题，操作系统里也遇到过，操作系统给每个应用分配内存，到底要不要给每个程序预分配内存？程序关闭后怎么回收内存？内存碎片怎么处理？怎么最大化地利用内存？
操作系统是通过利用虚拟内存，和页管理技术来解决的，操作系统分配内存是按照最小单元页来分配，物理内存被划分为很多页，每个进程（Process）要用到的内存被映射到不同的页上。
Pageattention把显存也划分为KVblock，显存按照KVblock来管理KVcache，每个请求request需要的kvcache被划分到显存里不同的KVBlock里，
比如，每个KVblock里可以缓存四个token的KV向量，对于“中国的历史非常悠久”这5个token就对应到2个block里，这两个block在物理显存里可以是不连续的，随着大模型的推理产生了新的token，比如“中国的历史非常悠久，”里的逗号，它会继续加在未被填满的block里，直到当前的block被占满，然后vLLM再分配一个block。
可以看到vLLM克服了显存预分配的问题，不会提前占用显存，并且是按块分配，这样就减少了内存的碎片。
虚拟内存（把不连续的KVblock搞的连续）：
虚拟内存就是每个请求都有一个逻辑的KVcache，在逻辑KVCache里，显存好像是连续的，vLLM的框架会在后台维护一个逻辑KVCache到实际显卡显存上KVBlock的映射表，在进行pageattention计算时，它会自动找到物理显存上block的KV向量进行计算，每个请求都有自己的逻辑KVcache，其中的prompt和生成的新的token的KV向量，看起来好像都是放在连续的显存上，方便程序操作。vLLM框架内部维护了映射表，在pageattention进行计算时，获取实际显卡上的KVblock里的KV向量。
比如这里看到物理显卡上显存里面的KVBlock是比较混乱的，但是第一个请求“中国的历史非常悠久”和第二个请求“我喜欢学习数学和英语”，它们的逻辑KVcache里的显存都是连续的。虚拟内存的作用就是让程序在使用内存时，感觉自己使用的是连续的内存，但实际操作系统分配时却并不是连续的，这都是通过中间的映射表来实现的，vLLM将这个思想应用到了KVcache上
pageattention的优点：
使用block（块）来分配内存，而不用提前分配内存，用块来分配，减少了碎片的大小。
并且使用了逻辑的KVcache，方便了代码的实现和调用。
最终将KVcache的利用率从原来的20%～40%提升到了现在的96%
星球旨在分享AI算法岗&开发岗的秋招准备攻略、心得体会、内推机会等。涉及深度学习，机器学习，计算机视觉，自然语言处理，SLAM，大数据，数据分析，自动驾驶，C/C++，Java等方向。群主和嘉宾既有往届参加校招拿到Offer(含BAT/独角兽等大厂Offer)，也有已经毕业工作的算法研究员/工程师和软开工程师。…
星球非免费。定价50元/年，0.136元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱AI的人。
欢迎你的加入！
