本章结合代码随想录进行动态规划刷题总结 动态规划五部曲 确定dp数组（dp table）以及下标的含义 确定递推公式 dp数组如何初始化 确定遍历顺序 举例推导dp数组 解不出题的灵魂三问 这道题目我举例推导状态转移公式了么？ 我打印dp数组的日志了么？ 打印出来了dp数组和我想的一样么？ 开始炒股买卖股票的最佳时机121. 买卖股票的最佳时机题目描述给定一个数组 prices ，它的第 i

在上一篇文章中结合代码理解各种注意力机制（二）：多头注意力机制中，我们实现了多头注意力机制，而实现方式是通过封装SA类为MHA类，从而实现多个注意力头。 在MAH下，每个q都会对应一组k和v。而分组注意力机制将会对Q进行分组，分成G组，而位于同一组的Q将会共享K和V。 如下图所示:从左至右依次是：MHA（前文已经介绍过）, GQA（本文将要介绍）, MQA（GQA的一种特殊情况）和MHA（之后将会

前言这是注意力机制系列的第二篇，在上一篇文章结合代码理解各种注意力机制（一）：自注意力机制中，我们介绍了自注意力机制。此篇文章我们将在自注意力机制的基础上介绍多头注意力机制。 多头注意力机制概念多头注意力机制（Multi-Head Attention）是自注意力机制的扩展，它可以通过不同的子空间，来捕捉更多的信息。 其实，也就是我们可以拥有多组Wq,Wk,Wv，获得多种不同视角的注意力分数，然后将

举个例子，本人在大模型分词时有遇到下面的现象，感到疑惑。 对同一个符号，有时候，空格的存在与否，会导致分词结果不一致。 12345tokenizer = AutoTokenizer.from_pretrained("qwen2.5-7b-instruct")text = "◎"print(tokenizer.encode(text))text = "

背景拥有2台服务器，想在服务器之间同步某个文件夹的数据，实现丝滑工作 步骤1：安装syncthing如果是ubuntu，可以通过apt安装 1sudo apt install syncthing (其他系统可以参考官方文档) 启动syncthing 1syncthing 安装好之后输入syncthing，会启动syncthing，自动打开浏览器。稍后在浏览器中进行配置就好 【注意】在两台服务器上都

transformer中最重要的就是注意力机制，从经典论文Attention is all you need出发，到后来的各种注意力机制的改进。本系列将手撕各种注意力机制，包括但不限于： self-attention(SA) 自注意力机制 multi-head attention(MHA) 多头注意力机制 multi-query attention(MQA) 分组注意力机制 在此系列的第一篇中

1234import torch import torch.nn as nnimport torch.optim as optimimport random 一个在标准训练过程如下： 进行前向传播（forward pass），得到中间激活值和计算图，计算 loss。进行反向传播（backward pass），根据计算图来计算梯度，即 loss.backward()。梯度的形状和参数形状一致。更新参

在服务器上与本地clone项目对比还是有点区别的，主要在于git安装下载的权限不足，还有生成SSH key的步骤。 一 安装git1.作为服务器上的非root用户，下载git安装包。（这里的版本是2.34.1，可以参考官网更换为更高版本号的git 12wget https://www.kernel.org/pub/software/scm/git/git-2.34.1.tar.gz 2.解压 1

某天移动硬盘突然打不开文件了，显示函数不正确，以为硬盘被我硬插拔弄坏了。 如果你的是装在硬盘壳里的，没有装在电脑里，可以打开硬盘壳看看，卡是不是松了。 如果松了就重新插回去就好啦！

问题描述调用openai API，使用templature = 0，每次返回的内容仍有一些不同 12345678910111213141516>>> client = OpenAI(... api_key=api_key,... base_url=api_base)#第一次尝试>&am