彻底搞懂Token：大模型的“翻译官”是如何炼成的？
title: 彻底搞懂Token：大模型的“翻译官”是如何炼成的？tags: AI追踪date: 2026-03-14 15:00:00abbrlink: ‘0’— 相信大家在了解大模型时，总会听到一个高频词——「Context Window」（上下文窗口），比如常说的GPT 5.2上下文窗口为40万，很多人会下意识以为这是“40万个字”“40万个词”，但其实都不对——它指的是40万个「Token」。 Token这个词，几乎是所有大模型的“入门门槛”，我们每天和大模型对话、提问，背后都有Token的身影。但究竟什么是Token？它是怎么生成的？和我们熟悉的字、词有什么区别？Tokenizer（分词器）又是如何工作的？这些问题看似基础，却很少有人能讲明白。 今天，我们就抛开复杂的数学公式，用最通俗的语言+实操案例，彻底拆解Token的核心逻辑，从大模型的运行原理出发，一步步搞懂Token的来龙去脉，让你再看到“40万Token”时，心里能有清晰的认知。 一、先搞懂：大模型为什么需要Token？要理解Token，首先要明白一个核心前提：大模型本质上是一个巨大的数学函数，内部全是...
shell教程（三）基本语句
title: shell教程（三）基本语句tags: shell linuxcategories: 教程 Linuxcover: img/linux.pngabbrlink: 5ebf852adate: 2022-01-06 22:53:50— 引用： https://www.acwing.com/file_system/file/content/whole/index/content/2855883/ 判断语句if…then形式类似于C/C++中的if-else语句。 单层if命令格式： 123456if conditionthen 语句1 语句2 ...fi 示例： 1234567a=3b=4if [ "$a" -lt "$b" ] && [ "$a" -gt 2]then echo ${a}在范围内fi 单层if-else命令格式 12345678910if conditionthen 语句1 语句2 ...else 语句1 语句2 ...fi 示例： 123456...
shell教程（一）基本语法
title: shell教程（一）基本语法tags: shell linuxcategories: 教程 Linuxcover: img/linux.pngswiper_index: 1swiper_desc: 快速学会使用shellswiper_cover: /img/linux.pngabbrlink: 0c09a700date: 2022-01-03 12:34:42— 引用： https://www.acwing.com/file_system/file/content/whole/index/content/2855883/ shell语法概论shell是我们通过命令行与操作系统沟通的语言。 shell脚本可以直接在命令行中执行，也可以将一套逻辑组织成一个文件，方便复用。Terminal中的命令行可以看成是一个“shell脚本在逐行执行”。 Linux中常见的shell脚本有很多种，常见的有： Bourne Shell(/usr/bin/sh或/bin/sh) Bourne Again Shell(/bin/bash) C Shell(/usr/bin/csh)...
shell教程（二）基本命令
title: shell教程（二）基本命令tags: shell linuxcategories: 教程 Linuxcover: img/linux.pngabbrlink: 2d55941cdate: 2022-01-05 20:43:54— 引用： https://www.acwing.com/file_system/file/content/whole/index/content/2855883/ expr命令expr命令用于求表达式的值，格式为： 1expr 表达式 表达式说明： 用空格隔开每一项 用反斜杠放在shell特定的字符前面(发现表达式运行错误时，可以试试转义) 对包含空格和其他特殊字符的字符串要用引号括起来 expr会在stdout中输出结果。如果为逻辑关系表达式，则结果为真，stdout为1，否则为0。 expr的exit code：如果为逻辑关系表达式，结果为真，exit code为0，否则为1。 字符串表达式 length STRING返回STRING的长度 index STRING CHARSET CHARSET中任意单个字符在STRING...
tmux和vim
引用： https://www.acwing.com/file_system/file/content/whole/index/content/2855620/ tmux功能： (1) 分屏。 (2) 允许断开Terminal连接后，继续运行进程。结构： 一个tmux可以包含多个session，一个session可以包含多个window，一个window可以包含多个pane。 实例： tmux: session 0: window 0: pane 0 pane 1 pane 2 … window 1 window 2 … session 1 session 2 …操作： (1) tm...
专业课第三次作业
习题课1 a+b>c=>3+4=7>5=>1 b==c =>0 1&&0 0 a=3 a||b+c==>1 b-c==-1 ==> 1 1||-1=1 a>b 3>4==0 !0=1 !c=0 1&&0=0 x=a=1 !1=0 0&&任何都是0 a+b=7 !7=0 0+c-1=4 b+c/2=4+2=6 4&&6=1 2.从键盘输入一个小于1000的正数,要求输出它的平方根(如平方根不是整数,则输出其整数部分)。要求在输入数据后先对其进行检查是否为小于1000的正数。若不是,则要求重新输入。 1234567891011121314151617#include<iostream>#include<cmath>using namespace std;int main(){ int n,t; cin>>n; while(1){ if(n>1000){ ...
专业课C语言部分合集
C语言合集第一次作业1.输入2个整数，求两数的平方和并输出。 123456789#include<iostream>#include<cstdio>using namespace std;int main(){ int a,b; cin>>a>>b; cout<< a*a + b*b <<endl; return 0;} 2.输入一个圆半径(r)当r>=0时，计算并输出圆的面积和周长，否则，输出提示信息。 1234567891011121314#include<iostream>#define PI 3.14using namespace std;int main(){ int r; cin>>r; if(r>0){ cout<<PI*r*r<<endl; cout<<2*PI*r<<endl; }...
C程序设计01
基本数据类型整型整数（没有小数点的数值） int 占用4个字节 -2^31~2^31-1 (10^10以内的数字) short 占用2个字节-2^152^15-1 (-3276832767) long 占用4个字节-2^31~2^31-1 (10^10以内的数字) long long 占用 8个字节-2^63~2^63-1 32位环境下 规定字节数int一定不能小于short long一定不能小于int（有可能相等） 浮点型实型，小数 有小数点的类型 float 单精度浮点型 4个字节 -3.4*10^38~3.410^38 精度6~7位 运算比较快 对于精度要求不高用float double 双精度浮点型 -1.7*10^308~1.710^308 精度16~17位 精度比较高 但计算比较慢 字符类型char az AZ 都是一个字符 hello 视为 5个字母 数字 字母 标点符号 都可以用字符类型表示 用键盘输入的字符都在ASCII上 0~127 ASCII中的范围 char 用来存放字符—> 存放这些数字 -128127 -2^72^7-1 A...
专业课代码复盘
[TOC] C代码复盘数组1. 1000以内的完数1234567891011121314151617181920#include<stdio.h>int main(){ int s; for(int i=2;i<=1000;i++){ s=0; for(int j=1;j<i;j++){ if(i%j==0) s+=j; } if(s==i){ printf("%d is from",i); for(int j=1;j<i;j++) if(i%j==0) printf("%d ",j); printf("\n"); } } return 0;} 2. 100~200中所有的素数123456789101112131415161718#include<stdio.h>int main(){ int leap=1,t=0;...
专业课第一次作业
第一次作业好久不写代码了，6月27日，从基础题开始写，锻炼自己写代码的速度。 1.输入2个整数，求两数的平方和并输出。 123456789#include<iostream>#include<cstdio>using namespace std;int main(){ int a,b; cin>>a>>b; cout<< a*a <<" "<< b*b <<endl; return 0;} 2.输入一个圆半径(r)当r>=0时，计算并输出圆的面积和周长，否则，输出提示信息。 1234567891011121314#include<iostream>#define PI 3.14using namespace std;int main(){ int r; cin>>r; if(r>0){ cout<<PI*r*r<...
