作者： @凌漪_ @板烧鱼仔 @Yuxn. 背景 Jaccard相似度 两个集合 A 和 B，我们关心它们的Jaccard相似度。 $$ J(A,B)=\frac{∣A∪B∣}{∣A∩B∣​}$$ Jaccard相似度描述了两个集合之间的相似程度。 使用场景1：两个文档之间的相似度。注意: jaccard相似度并没有提取文档的任何语义，只是在查看它们是否包含相同的单词。因

问题描述调用openai API，使用templature = 0，每次返回的内容仍有一些不同 12345678910111213141516>>> client = OpenAI(... api_key=api_key,... base_url=api_base)#第一次尝试>&am

举个例子，本人在大模型分词时有遇到下面的现象，感到疑惑。 对同一个符号，有时候，空格的存在与否，会导致分词结果不一致。 12345tokenizer = AutoTokenizer.from_pretrained("qwen2.5-7b-instruct")text = "◎"print(tokenizer.encode(text))text = "

transformer中最重要的就是注意力机制，从经典论文Attention is all you need出发，到后来的各种注意力机制的改进。本系列将手撕各种注意力机制，包括但不限于： self-attention(SA) 自注意力机制 multi-head attention(MHA) 多头注意力机制 multi-query attention(MQA) 分组注意力机制 在此系列的第一篇中

前言这是注意力机制系列的第二篇，在上一篇文章结合代码理解各种注意力机制（一）：自注意力机制中，我们介绍了自注意力机制。此篇文章我们将在自注意力机制的基础上介绍多头注意力机制。 多头注意力机制概念多头注意力机制（Multi-Head Attention）是自注意力机制的扩展，它可以通过不同的子空间，来捕捉更多的信息。 其实，也就是我们可以拥有多组Wq,Wk,Wv，获得多种不同视角的注意力分数，然后将

本篇文章结合代码来介绍大模型高效微调技术LoRA，并给出简单的代码实现。 什么是LoRALoRA是一种高效的参数微调技术，引入可训练的低秩分解矩阵来调整模型参数，来适应特定的任务和领域 为什么需要LoRA ft整个大模型训练成本过高 大模型中参数量巨大，可能是冗余的，参数有更小的内在维度 LoRA是如何实现的下面本节将从基本原理与代码实现两个角度介绍LoRA LoRA的基本原理在LoRA的实现中

vllm推理服务写这篇博客的原因是我经常用的是vllm离线批量推理，不用vllm的推理服务。以此来记录下启动vllm推理服务的步骤： 1. 启动vllm推理服务使用vllm在我们指定的主机和端口上启动一个API服务器，负责用我指定的模型来提供推理服务。 1python -m vllm.entrypoints.openai.api_server --model /opt/data/private/m

1234import torch import torch.nn as nnimport torch.optim as optimimport random 一个在标准训练过程如下： 进行前向传播（forward pass），得到中间激活值和计算图，计算 loss。进行反向传播（backward pass），根据计算图来计算梯度，即 loss.backward()。梯度的形状和参数形状一致。更新参

最近新出的Deepwiki很火，可以解读github代码仓库。这篇文章将结合json_repair库的解读对其进行介绍。 WHAT本节将简单介绍一下什么是deepwiki和json_repair Deepwiki功能： 对代码仓库生成文档进行介绍 支持对话AI助手对代码仓库进行解读 支持公有/私有仓库 使用方式： 官网(https://link.zhihu.com/?target=

文章介绍两种从本地电脑向服务器进行文件传输的方式。 turmius文件传输安装turmius（学生认证通过可以安装免费教育版），具备文件传输功能，只需要鼠标点点点。缺点：不具备断点传输功能，容易下载中断 通过unbuntu利用rsync进行传输在windows中安装Linux 发行版（例如 Ubuntu），可以用rsync指令进行断点续传。其中，D盘路径的盘符是/mnt/d&#