由于主包最近准备了一场 Coding面试，初步领略了下Flash Attention的神奇，其中的关键操作便是对于Softmax的优化。面试结束之后主包也是决定记录一下这个操作，于是有了这篇博客。 由于是准备的Coding面，这里也会附上代码的😁 (所以也可以叫 手撕online softmax?) 为什么需要Online Softmax 这个首先要从Flash At

用于HITSZ 25春数据挖掘复习 概述 数据挖掘的含义 数据挖掘是从海量数据集中发现有趣的（非平凡的、隐含的、未被发现但有用的）模式、模型或知识的过程。 数据挖掘过程 知识发现的过程： 1. 数据预处理  1. 数据清洗  2. 数据集成  3. 数据选择  4. 数据变换 2. 数据挖掘 3. 模式/模型评估 4. 知识表示 数据挖掘的应用 数据分析与

从这个一个博客开始，我们将进行线性代数的复习。由于是用于夏令营以及与推免考核所用，我们一些简单的定义和定理将直接带过 线性代数：矩阵与线性方程组 我们从矩阵开始复习，同时带到线性相关、子空间等概念。 我们先介绍最简单的概念，线性相关与线性无关 线性相关与线性无关 我们定义列向量 {a1, a2, a3, …，an} 线性相关(Linear Dependent)：若是存在不全

📘 Markdown 写作模板（含 Front Matter 与语法指南） 第一部分：📄 Front Matter 配置说明 Front Matter 是 Markdown 文件顶部的元信息，用于配置文章标题、标签、分类、日期等内容。通常写在 --- 包裹的 YAML 格式中。 🧾 示例模板 1234567891011121314---layout: postti