Welcome to Yangjia Hu's Summer Research Experience Blog!
在香港科技大学的两个月暑研：从 Diffusion 到 LLM 的转向与成长
✍️ 一篇写给未来暑研同学的经验分享
作者：Yangjia Hu
时间：2025年秋
关键词：暑研 / AI+系统 / 模型量化 / ICLR 2026
一、为什么选择去港科大暑研
2025 年暑假，我在香港科技大学（HKUST）度过了两个月的暑期研究（Summer Research）。 对于很多本科生来说，暑研是一个模糊但充满可能性的词：你会在一个陌生的科研环境里，第一次尝试真正“做研究”，第一次发现自己不再是被动接受知识的人。
我当时的初衷其实很简单—— 想提前体验科研的真实节奏，也想看看自己是否适合继续读研。
最终，我加入了 郭嵩老师（Song Guo） 的组，方向是 AI+Systems，具体来说是模型量化（Model Quantization）。
二、科研经历：从 Diffusion 量化到 LLM 量化的转向
🌱 初期阶段：文献阅读与 idea 搜索
暑研的第一个月，我几乎都在看论文。主题是 Diffusion 模型的量化——这是一个很前沿但研究还比较少的方向。
那段时间的日常很单调：白天在实验室查论文、看代码、做笔记，晚上回宿舍整理思路。 郭老师不参与具体的细节指导，主要听汇报、提方向性的意见；而日常科研上，我更多地和实验室的一位师兄交流，他帮我确定框架和研究边界。
我逐渐意识到，暑研不是“被指导”，而是“被放养”。
你得学会自己搭建结构、设定目标、规划节奏。 师兄和老师不会告诉你“下一步做什么”，他们只会帮你判断“做的方向对不对”。
⚙️ 第二阶段：idea落地与方向大转弯
进入第二个月，我开始尝试把自己的 idea 具体化。 最初的思路是针对 Diffusion 模型的低比特量化，但在 9 月 10 日的预实验中，我发现问题彻底卡死了：
Diffusion 模型的连续噪声特性导致我设计的量化策略天然不可行。
那一瞬间非常崩溃——等于我一个月的积累都白做。 但科研的现实就是这样，很多 idea 看似合理，跑起来却会彻底翻车。
于是我立刻调整方向，把研究目标切换到 LLM（大语言模型）的量化。
幸运的是，这个转向非常及时。新的 idea 一经实现，效果出乎意料地好，也为之后 ICLR 2026 的投稿打下了基础。
三、ZipperQuant：一个暑研 idea 的诞生
我最终提出的方案叫 ZipperQuant。
它的核心思想是：
通过位级（bit-level）的异构分解，让 GPU 和 CPU 各自发挥特长，解决低比特量化导致的精度损失问题。
用通俗的话说，就是把权重和激活在低比特下的“稀有大值”与“常见小值”分开处理—— GPU 快速处理大部分常规数据，CPU 负责高精度的稀疏部分。 同时，我用查找表（Lookup Table）机制把 CPU 的高精度计算加速，避免了频繁的反量化操作。
研究摘要如下（ICLR 2026 在投）：
Quantization has become a key technique for reducing the memory footprint and accelerating the inference of large language models (LLMs)…
最终的结果是：
- 性能提升 3.01×（相较 W4A16 baseline）
- 精度几乎等同 FP16
- 支持 RTX 4090 的原生 INT4 运算
整篇论文的 idea、代码、实验和写作，都是我独立完成的。
四、科研合作与组内氛围
我的导师郭嵩老师主要负责方向性的把控——每次汇报会给出高层建议，比如“这个想法的系统意义在哪里”“能否推广到更通用的架构”。 真正手把手指导的是实验室的师兄。
他会在 idea 阶段帮我判断可行性、推荐代码框架（比如量化库的选择、GPU 调用策略），但整个实现都是由我独立完成。 在结果跑出来之后，我们会一起分析原因、做消融实验、规划下一步。
这种模式让我快速成长，也让我学会了如何在无人指令的状态下推进科研。
五、一个 PPT 的故事：从12版修改中学到的事
科研不仅是跑实验，更是表达的艺术。
在准备组会汇报和面试答辩时，我做的 PPT 被修改了 12 版。 那段时间虽然反复打磨，但让我真正理解了汇报的精髓：
PPT 不是论文的目录，而是讲故事的线索。 好的 PPT 要能让听众“跟着你思考”，而不是“听你读幻灯片”。
那之后，我在任何科研展示中都会优先考虑“逻辑顺序、视觉节奏和听众视角”，而不是堆公式。
六、生活篇：科研之外的港科大
虽然科研占了绝大多数时间，但生活也有很多亮点。
- 🏫 校园设施完善，吃住几乎都能在校内解决；
- 🍚 餐食在香港算平价，一顿 30–60 HKD；
- 🛏️ 宿舍条件不错，每周自动换床单 1–2 次；
- 🚌 乘车 30 分钟即可到山下商店采购；
- 🍳 唯一的小缺憾是：大概率没有公共厨房 😂。
我特别喜欢港科大的夜景——从校园高处能看到整个海湾，尤其在台风过后的傍晚，海天一色，宁静又辽阔。
七、给后来者的建议
想去暑研的学弟学妹，最重要的不是“去哪里”，而是“怎么去做”。
几点真心建议：
- 提前联系导师 港科大等学校的名额有限，导师一般要提前几个月沟通。
- 尽早确定方向 提前熟悉研究领域的论文，能大幅提升进入实验室的速度。
- 做好被“放养”的心理准备 导师不会告诉你每一步怎么做，主动性是暑研最宝贵的品质。
- 养成科研习惯 记录每天的进展、实验日志、失败原因。这些习惯会让你未来写论文时事半功倍。
八、收获与后续
这两个月的暑研让我真正理解了“科研”的含义：
- 科研习惯：思考-验证-复盘的闭环；
- 科研素养：能独立构建问题、搭建实验；
- 科研连接：结识了老师和师兄，为之后合作打下基础；
- 科研成果：论文投稿 + 后续合作 + 口头 offer。
目前我与港科大的团队仍保持合作，继续推进 ZipperQuant 的后续工作，并准备扩展到多节点并行的量化策略。
九、结语：关于“科研”的一点感悟
科研不是一条笔直的路。 你可能花一个月去验证一个最终被推翻的假设； 也可能在最后几天突然柳暗花明。
但所有这些弯路、困惑、夜晚的 debug，都在默默塑造一个更成熟的你。
“科研的意义，不是做出成果，而是成为能做出成果的人。”