显卡内存不够,跑不了大模型,怎么办?目前最通用的方法就是将模型量化——用更少的比特位来表示模型中的参数。 比如大模型的原始参数精度经常可以达到 16 bit(也就是一个参数可以区分 65,536 个不同的数字)甚至更高精度。但模型量化后,每个参数可以被压缩到 2-4 bit。最极端的情况是压缩到 1 bit,即参数只有 1 或 -1。这样占用的存储空间就大大减小。 一旦聊到政治,我经常有一种无…
I'm Marcus 我的思维棱镜
喜欢语言、音乐、健身,以及将奇怪的数理知识硬套在人生哲理
该博客的最新文章
以下文章来自该博客的 RSS 订阅,点击标题前往原文阅读。
-
思维量化
-
𝄽
(如果标题里的 Unicode 字符没有正确显示的话……)
-
拒绝
拒绝率是评判一个学校、一个学术期刊水准的黄金指标。经济上的供求关系固然是「价值」的直接体现,不过真正的价值并不来自于「想要的人很多」,而是1学校和期刊的严格筛选,从而产生经济上的分类效果——分类即熵减。 私以为,「拒绝」是一个经济学里的灵魂概念。消费者在众多的商品里选择,其实就是一个不断拒绝的行为。拒绝率越高的市场里,商品的品质自然越高。但聚焦在商品的品质上,我觉得有点本末倒置,因为促成这种结果…
-
量词的重要性
中文为什么要有量词?如果不用量词,意思应该也不会变吧? 比如「今天我早上我吃了一苹果,然后去学校上了一课,晚上在电脑上玩了一游戏,这样的一天好充实啊!」这句话没用量词,意思好像并不会产生歧义。 那有什么情况,缺少量词会导致实质的歧义呢? 举个例子:「今天去朋友家的时候,我给了朋友一把刀。」1 Footnotes 别误会啊,「一刀」是 one dollar 的意思。 ↩
-
八十亿分之一
听说最近在有一个名叫八十亿分之一的网页小游戏比较流行。游戏的「中文」语言选项是个谜,好像前几天我玩的时候只有「繁体中文」,今天在另一台电脑上却只能看见「中文」并且是简体的。 游戏的一开始,会根据最近一年各国的出生率让你投胎到一个随机国家中某个阶层的家庭,然后快速模拟你的一生。中间会有几个影响角色属性、收入水平、家庭关系的选择题,每个选项会根据当前的属性值有一定的成功概率。最后看看你会在这样的开局…
-
分手真快乐
结束一段有毒关系的感觉真是意料之外的舒心。 我没有离婚哈……我是在说孩子的乐器老师。大概半年前,有同学的家长向我们推荐了一位大提琴老师,大学教授,住在距离我家快两个小时的地方。我们一听这个距离就觉得「与我何干」,但是那位家长说老师人特别好,快成她女儿的人生导师了。抱着见识一下的心态,我们就去他那里上了几节课(一个月几次开长途车来回1)。 后来发现,这位教授是典型的完美主义艺术家,对孩子的要求非…
-
2026.10.18 博客阅读周荐 - 映屿
本周推荐的博客是「映屿」,主人的称呼是 Verdent 或者五葉地錦。出了博客之外,她还有一个个人主页。话说这个 .ee 的域名后缀想想挺酷的,我也是 EE1 的,居然没想到过申请。 从她的 FrontPage 风格的个人主页就能知道肯定是一个厉害的技术宅,Emacs 重度用户。我第一次读到她的文章《你同意来到这个世界上吗?[y/N]》是半年多前,当时也《2026.03.01 博客阅读周记》里写…
-
Mario Kart
孩子嚷嚷要 Switch 2,而我对单机类游戏都持允许的态度(甚至还悄悄想逼他们玩一些好的游戏作品,怕被老婆骂还是算了),遂买之,又附赠他们一些游戏,就包括了 Mario Kart 8。1 我发现这款游戏好舒压~ 首要原因是它的音乐写得太精彩了,而且里面许多首曲子都是由真人爵士乐团演奏出来的。在买游戏之前,Mario Kart 8 的原声专辑就是我仅有的几个五星收藏之一。所以玩的时候有一种倒置…
-
喜欢音乐,就不要去学音乐?
我几个月前读到 CHONGXI 在他的博客上写的一篇文章《为什么喜欢音乐 反而不该去学音乐?》。我觉得这篇文章提供了一个很自然的视角,其中用魔术来类比音乐也是蛮恰当,推荐对这个话题感到好奇的人去读一下,也可以看看你是否认同他的感受和观点。 对于音乐这样主观的艺术,很难有什么错误的观点。如果因为没有学习乐理知识,让你对音乐的感触更加纯粹、深刻,那当然是好事。我也不是很清楚 CHONGXI 写这篇文…
-
我不同意陶哲轩
最近,OpenAI 用内部尖端模型连放大招,证明了许多数学和计算机领域的前沿难题,证明的方法是将各种数学问题形式化1成 LEAN 语言,这种计算机语言可以自动证明复杂的逻辑关系。如果 AI 能够成功地用 LEAN 语言搭建一连串的逻辑桥梁,把原来的数学问题的起点和终点连接起来,那么这个数学问题就被严格证明了。 其实数学一直就是这么发展的。人们用 AM-GM 不等式证明了 Young 不等式,用…
-
理性人的偏执自省
不知道有多少近视的人有过以下的经历:夜里不戴眼镜不开灯躺在床上刷手机,不经意间会发现自己只用视力较好的那只眼在阅读屏幕,另一只眼其实完全没有对焦。 两只眼睛的视力并不一定天差地别,但仅仅因为一只眼的视力比另一只好一点点,人就会去选择完全依赖那一只。大脑可能也是一样,有的人仅仅因为记忆力略强过归纳力,整个思考方式就会变得非常依赖记忆,而另一些人则因为记忆力没有那么出众,思维方式就会加入完全相反的阵…
-
西雅图随感
这次带着儿子和父母转了三天的西雅图和周边景点。西雅图的美景果然名不虚传,有山有水有高楼,街道总体也是非常整洁现代(听说西雅图的市中心几个街区非常危险,我们没有靠近,但估计不会超越芝加哥吧)。 住在西雅图的亲友告诉我,西雅图的气候并不像许多人以讹传讹那样「一年四季都在下雨」。冬天雨会比较多,但气温也不算太低;夏天气候宜人,其实并不怎么下雨的,在我听来又是典型的西海岸完美气候。 西雅图驾驶员素质也…
-
西雅图随拍
在 Seattle(西雅图)和 Bellevue(戏称东雅图)两个城市闲逛了一天,还开车去了周边较近的两个景点。 ▲ 飞机上远眺云层之上的雷尼尔(Mount Rainier)山巅 因为从芝加哥到西雅图有两个小时的时差,我们全家都早早地醒来。早餐还没吃,就从酒店出发,先去租车行取了车,然后直奔西雅图海港边上的 Pike Place Market。那是西雅图最大的定点集市,也是个观光打卡地。 ▲…
-
2026.10.11 博客阅读周荐 - 尺宅杂记
「尺宅杂记」是一位热爱读书、深耕教育的资深博主(别的不用说,他的读书记系列编号已经到了 1726!)。阅读量如此之大,字里行间中也自然满溢着书香馨气,这样的博主居然还能有时间和毅力坚持日更博客,实属读者之幸。值得一提的是,博主与拳王邹市明同年获得「2011 年度贵州人物」的称号,可见他的来头不小哦。 「尺宅杂记」的文章一天一篇,但用了几条明确的线索串了起来,用网站上方的导航栏很方便按主题阅读,适…
-
果然不应该裸游
这周末我要带着儿子和爸妈一起去死丫头(Seattle)旅游,心态上有点小期待,但是行动上缺乏热情。以往出行之前,我都会做足各种功课,恨不得把行程安排都精确到分钟。这次心里还是挺犯懒的,毕竟芝加哥的奥黑尔机场我已经再熟悉不过了,十月份的周末也不算什么旺季,西雅图也就是个大城市,随便逛逛应该很方便,所以什么准备都没有做,就「裸」着出发旅「游」了。 结果遇见大大小小一连串的幺蛾子。 首先是像奥黑尔这…