🔐

压缩的艺术
从 Shannon 到 TurboQuant

压缩不是让文件变小。
压缩是发现数据中的规律 —— 而发现规律,就是理解的本质。

9Chapters
1948–2025Timeline
15+Demos
"The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point."
— Claude Shannon, 1948
Learning Journey
🧠
CH.00 压缩即智能
Shannon entropy · Kolmogorov complexity · 为什么压缩能力 = 理解能力?
📞
CH.01 量化的起源
PCM · 均匀量化 · 用有限的格子逼近连续世界
📐
CH.02 Lloyd-Max 最优量化器
非均匀量化 · 数据密集处格子密 · 迭代收敛到信息论最优
🎯
CH.03 向量量化与 Product Quantization
从标量到向量 · 维度诅咒 · PQ 分组降维 · 最近邻搜索加速
🤖
CH.04 当神经网络遇到压缩
剪枝 · 知识蒸馏 · 权重量化(GPTQ / AWQ)· 为什么 LLM 必须压缩
💾
CH.05 KV Cache:动态压缩的新战场
静态 vs 动态 · 为什么 AWQ 不适用 · "数据还没到,codebook 就得准备好"
🎲
CH.06 随机旋转的魔法
Johnson-Lindenstrauss 引理 · QuIP · 把任意分布变成已知分布
CH.07 TurboQuant:集大成者
随机旋转 + Lloyd-Max 预计算 + QJL 残差修正 · 3 bit/dim · 5x 压缩
🔭
CH.08 压缩的未来
从 KV Cache 到通用 AI 压缩 · 压缩 = 智能的闭环
Progress 0 / 9
Shannon 1948 Lloyd-Max 1960 GPTQ 2023 TurboQuant 2025