KVCache
KVCache
1、为什么需要这个技术
对于LLM
类模型的一次推理(生成一个token)过程，可以将该过程分解为下列过程：
输入n个token\(\{T_{1},\cdots,T_{i},\cdots,T_{n}\}\),
token预处理阶段，将token处理成token embedding\(\{x_{1}^{0},\cdots,x_{i}^{0},\cdots,x_{n}^{
LLM量化
LLM量化（未完待续）
INT8
1、动机和原理
模型的大小由参数量和数据精度决定，一些常见的精度有：
图1
Float32(FP32)：标准的IEEE32 位浮点表示，指数 8
位，尾数 23 位，符号 1 位，可以表示大范围的浮点数。大部分硬件都支持 FP32
运算指令。
Float16(FP16)：指数 5 位，尾数 10 位，符号 1
位。FP16 数字的
电话号码的字母组合
电话号码的字母组合
1、题目
图1
2、题解
回溯
首先使用哈希表存储每个数字对应的所有可能的字母，回溯过程中维护一个字符串，表示已有的字母排列（如果未遍历完电话号码的所有数字，则已有的字母排列是不完整的）。该字符串初始为空。每次取电话号码的一位数字，从哈希表中获得该数字对应的所有可能的字母，并将其中的一个字母插入到已有的字母排列后面，然后继续处理电话号码的后一位数字，直到处
GPT系列模型
GPT系列模型
1、GPT1
图1
训练过程
pre-train：利用大量无标注的语料进行预训练
SFT(Supervised Fine-Tuning)：利用NLP任务的数据进行微调
GPT1是一个decoder—only模型，模型的目标是让下一个词预测的概率最大
2、GPT2/3
与GPT1结构没有变化，但是训练数据集和模型的参数量更大(模型的层数更多，模
位置编码
位置编码
绝对位置编码
训练式
该类方法将位置编码作为可训练的参数，例如最大长度为512，编码维度为768，那么就初始化一个\(512*768\)的矩阵作为位置向量，随着训练过程更新。目前的BERT、GPT1等模型使用的就是该类编码。
对于这类方法的缺点，普遍的想法都是缺乏外推性，只能处理最大长度以内的句子，或者将超过最大长度的位置向量随机初始化，进行微调。最近有研究发现，可以通过层次分解
排序数组
排序数组
1、题目
图1
2、题解
快速排序
挑选基准值
分割数组
递归排序子数组
12345678910111213141516171819202122232425262728293031323334353637class Solution: def quickSort(self,nums,low,high): pivot = nums[l
打家劫舍
打家劫舍
1、题目
图1
2、题解
动态规划
设置状态数组，每个位置能抢到的最多钱等于\(max(前一屋能偷到的最多前，再前一屋偷到的最多钱+目前该屋能偷到钱)\)
12345678910class Solution: def rob(self, nums: List[int]) -> int: if len(nums)<2:
不同路径
不同路径
1、题目
图1
2、题解
动态规划
设置状态数组dp，对于\(dp[i][0]\)和\(dp[0][j]\)都只有一条路径可走，对于\(dp[i][j]=dp[i-1][j]+dp[i][j-1]\)
1234567891011class Solution: def uniquePaths(self, m: int, n: int) -> int:
