第30课：让模型在自己电脑上运行

这一课接着上一课的接口调用往下走。学生已经知道请求有地址、模型名与消息，也知道返回文字还要核对。本课把“模型服务在哪里”落到自己的电脑上，最后留下可检查的运行记录。核心问题是：看到模型参数量和量化标签后，怎样判断准备条件，并证明一次本地回答确实发生？

教师备课：先把环境问题放在课堂之前

安排60分钟，不把下载等待算作学生练习。课前在实际教室的一台Windows电脑或macOS电脑上，按当前Windows安装说明或macOS安装说明核对条件，安装对应官方软件并打开。学生操作单保留完整安装入口、模型准备命令和Python脚本，教师不必在课上口述一长串网址。Linux设备按官方对应说明提前准备。

本稿核对日期为2026-09-10，操作示例采用 qwen2.5:0.5b，它是为了把文件、服务、客户端三者接起来的小模型材料；不是质量最好的模型，也不是统一硬件推荐。备课时先运行 ollama --version、ollama ls，没有该模型才在课前运行 ollama pull qwen2.5:0.5b。第一次下载需要网络。不要临时换成名称带 :cloud 的模型再说完成了本地练习。

软件安装好，只表示电脑多了运行软件。模型列出来，只表示找到了对应文件。真正发出一次问题、取得返回并核对内容，才是这节课要继续完成的事情。教师提前用短材料试一遍，记录可用设备与无法运行的设备；当日还没准备好的学生从一开始就选择本地计算后备，不让他们一边听课一边等待大文件。软件安装、模型下载和本稿编写是不同阶段；本轮制作材料没有替用户安装、下载或启动服务。

打开本页实验、学生操作单和独立答案页。答案先不要投影。准备白板三张卡：“参数文件”“运行服务”“调用程序”，以及写有12、18的两张时间卡。让学生在自己的文件夹保存记录，而不是把所有人的结果混到教师电脑。无需账户密钥，不需要为本地练习购买API额度。本机已有重要服务的设备由教师课前安排，不在课堂改端口、重启共享服务或迁移文件。

0—6分钟：先认清谁在做计算

教师开场可以直接说：“上一课，我们把问题送到一个模型接口。现在把镜头拉近：假如服务就在这台电脑里，我们需要多准备什么？先别回答安装一个聊天软件。看这三个框：文件、服务、调用程序。请把今天出现的三个名字放进去。”给学生一分钟将模型标签、Ollama和脚本连起来，再请一人解释箭头。

指着模型文件说：“里面主要保存模型需要的数字和相关信息，就像你以前练习过的权重。不过现在数字很多，不能靠手算一条条处理。”再指服务：“运行软件知道怎样读取文件，接收问题并完成计算。”最后指脚本：“这个小程序负责把问题打包送过去，再把返回保存下来。它本身没有学会复述材料。”三个角色解释完，才补充服务可能使用CPU或GPU，不要求学生先背硬件缩写。

有人说“网页能打开就证明模型在本机”，追问：“网页能不能把请求转给另一台机器？”让他把箭头画完整。有人把Ollama说成一个固定模型，指着 ollama ls 问：“软件可管理不止一份模型文件，那么软件名和参数名能否当同一个东西？”这一追问接到第28课的运行条件，不在这里展开新的模型排行。

发出Q0的第二个预测：“一个假想模型叫4B，它是不是4GB？我这台假想电脑当前还剩3GB内存，4位版本是否一定能跑？”学生先写猜测与依据。明确预测只用于比较理解怎样变化，不因猜错扣分。不要此时公布可运行结论，让后面的算式和实际观察提供依据。

6—13分钟：把4B换成一笔可复算的账

白板写4B，先读成“四十亿个参数”。教师说：“这里的B在数参数个数。你有四十亿张数字卡，每张卡占几位，要另外说清楚。”补上“每参数4位”，先拿八个小格组成一个字节。每个参数占半个字节，是这份理想账本的算法；真实文件还会有别的东西，暂时放到旁边的未计清单。

让全班先算4×10⁹×4÷8。巡视时只追问单位，不直接帮学生写最后数字。有人算出16GB，问：“你这一步得到的是位数还是字节数？我们刚才说几位组成一字节？”有人把4B中的4再当字节，回到两行标题“个数”“每个占用”。随后一起核对：理想权重为2×10⁹字节，即十进制2GB。

点击“计算存储与取整过程”。指给学生看结果中的GB和GiB：“这是同一个字节数用了不同单位。这里GB按十亿字节计算，GiB按2的30次方字节计算；页面约1.862645GiB没有表示文件忽然变小。”本课不让学生记住全部换算常数，只要求报告时不把两种单位混写。假想可用内存字段明确采用十进制GB。

第一次只把位宽改成16，保持参数量4、可用内存3和额外占用unknown。先请学生预测倍率，再运行。理想权重变成8GB，超过给定3GB。指出数轴取整表没有变化：“位宽估算和下面的数轴练习是两个独立小计算。程序没有偷偷用16位生成一组新模型权重。”若学生发现这点，说明他正在读过程，而不只是抄最后一行。

本段收尾让学生写两列：已经算到的是理想权重；还没有算到的是实际运行总需求。不要把“有可能准备这个模型”写成“已经证明任何机器都能运行”。

13—20分钟：从三个数看到量化在丢掉什么

把位宽恢复4。教师说：“数字保存得更粗，会发生什么？我们先不用真实文件格式，只在数轴上试。这里每隔0.1画一个格点，拿一个原来的数，放到离它最近的格点上。”写出-0.26，不先给答案，请学生指出左右相邻格点。分别到-0.3和-0.2的距离是0.04和0.06，所以选前者。再处理0.14和0.49，让学生解释选择依据。

运行默认材料后，表中出现-0.3、0.1、0.5。教师用手遮住平均误差，先让学生把0.04、0.04、0.01相加再除以3，得到0.03。“绝对误差只数距离，不让一个偏大和一个偏小互相抵消。它能说明这三个数字被改动了多少，不能直接翻译成作文扣了多少分。”这个例子接上第4课损失的意义，但不把平均绝对误差说成模型本来就在优化的训练损失。

现在仅把格距换为0.25，参数量、位宽和内存字段都不动。让学生分别在纸上找相邻格点，再看页面。结果为-0.25、0.25、0.5，误差为0.01、0.11、0.01；平均约0.043333。指出-0.26这一项反而更接近，并问：“格子整体变粗，是否表示每一个原数的误差都必然变大？”学生应看具体位置，而不是背“压缩一定更差”四个字。

对于恰好居中的数，本页规定向离0更远的一侧取。真实量化方案还要规定可表示的范围、编码方式和缩放等；这里没有模拟这些内容。因此格距0.25不是“四位量化”的定义，格距0.1也不是“八位量化”的定义。不要把课堂数轴当成真实格式的测评结论。留给学生一句完整解释：“我看到了数值近似，但还没测过量化后模型在具体任务上的表现。”

20—26分钟：让未知保持未知

恢复格距0.1和默认材料。指着 unknown 说：“刚才2GB只给参数数字记了账。服务还要工作空间，对话还要留中间信息，系统也有占用。现在我们没有这几个实际数字，所以这里填未知。”让学生观察页面显示剩余1GB，但没有宣布可运行。追问：“如果你把未知写成0，算式会更漂亮，证据会变多吗？”这句话要让学生自己回答。

为了看到条件怎样影响结论，教师把额外占用改成1.2。明确写在白板上的是“教学假设”，不是本机测量。页面相加得到3.2GB，相对可用3GB缺0.2GB。这个操作让学生理解额外占用为什么能改变准备判断。随后请学生恢复unknown，再解释为何不能沿用刚才的总数。不要借这个假想数据建议学生购买硬件。

用很短的语言区分磁盘、内存、显存：“磁盘用来留下文件，运行时还要把需要处理的东西安排进工作空间。不同机器可能用系统内存、显卡内存或统一内存，不能把它们随手相加成一个保证值。”课堂不推导所有缓存公式，只举一个可观察条件：同一个模型处理一小段文字与同时处理许多人很长的对话，额外需求可能不同。公式算得正确只是准备工作，运行兼容和速度仍靠实际短任务检查。

这一段结束时检查Q2：每人至少列出两类额外需求，并标明1.2来自谁。学生写“模型大小2GB，所以还可以随便粘长文”时，让他指回未计清单；别只在作业上写一个错号。

26—34分钟：在终端看见文件、进程和一次回答

教师先说出路径分工：“已经完成课前准备的同学进入真实模型操作；其余同学保留后备标记，今天照样完成资源计算。别人电脑上有文字，不表示你的机器已经运行。”请已准备学生执行 ollama ls，逐字找到 qwen2.5:0.5b。不要让输入错名称的学生直接执行新模型下载，先比较冒号和数字。

执行 ollama run qwen2.5:0.5b。提示符出现后再输入学生单Q3的完整原创材料：资料比较12分钟、核对引用18分钟，只复述，不推测能力。教师强调：“终端此时在等模型。今天不规定它必须输出某一句完全相同的话，我们只规定需要保持哪些事实。”将自己的实际结果保存，逐项圈出两个活动与对应数字。若模型增加了建议或把18写成81，就真实记内容未通过，不删掉失败记录再找一张好截图替换。

回答结束输入 /bye 退出对话，然后立刻 ollama ps。对照两条命令：“ls是能找到的模型列表，ps是当前运行状态。文件还在磁盘上，不表示它每一刻都驻留内存。”如果模型已卸载、列表为空，写当前未观察到，不让学生根据教材虚构处理器比例。CPU或GPU的具体显示用来记录这一次条件，不作为本课快慢排名。

如果提示命令找不到，定位到软件或终端环境；如果模型不在列表，定位到模型准备；如果已加载但生成耗时过长，记录实际等待与阶段后转后备，不不断打开新对话。教师可以让有问题的学生在同伴旁观察一次，但作业必须写“观察同伴设备”，不能写“本机完成”。这保留了不同条件下可比较的学习证据。

34—43分钟：把本地回答保存成可核对文件

把 local_chat.py 的副本放入学生的 classroom30 文件夹。先执行 python3 --version，再执行 python3 local_chat.py --model qwen2.5:0.5b。教师逐项读输出：“mode写的是dry_run_no_network，地址是本机的11434接口，messages里是准备交给模型的文字。我们现在只展示请求。”请学生用手指找到模型名与消息，口述这个结果还缺少什么。

接下来打开学生单Q4的 record_local.py 完整代码。不要要求初学者从空白默写；让他们复制后找三个关键位置：live=True 才请求服务，except 把失败留下，最后一行写文件前已将结果编码为UTF-8文字。解释 time.perf_counter() 是程序记录经过时间的计时方法，不是模型内部的全部性能指标。这些代码让同学能复查自己的操作，而不是只看终端闪过的一段文字。

运行一次 python3 record_local.py，等待结束。服务和模型没有准备好的学生不要按运行键碰运气，继续阅读同一脚本的请求路径与后备任务。准备好的学生打开 local-result.json，先观察 mode，再观察 model、done 和 answer。如果文件中的模式是not_completed，就从错误类型定位到本次停在哪一步；存在文件不代表成功。记录的是脚本解析后的内容和耗时，并非完整的网络抓包。

有人认为“只要用了127.0.0.1，就绝不可能外发”，教师画一个中转箭头说明：本机地址只能告诉你请求的第一站。本课要结合自己准备的本地模型、当时运行信息和未添加云工具的这条调用路径说明条件。不要扩大成这台电脑上所有软件都离线。下载模型需要网络和推理时模型在哪里，是两个可分别检查的问题。

43—48分钟：把接口成功与任务成功拆开验收

投影一个空白核查表，四列分别为“请求了谁、有没有最终内容、内容是否忠于材料、还有什么没证实”。让学生使用自己的文件填入，而不是抄教师结果。done表示接口报告本次响应结束；它不会替你判断数字有没有抄错。非空answer也可能包含额外建议，仍需逐项核对12、18及两个活动的对应关系。

教师可以追问：“模型把两个时间都写对了，却判断你是研究型人才，哪一项没通过？”学生应指向无依据能力推断。本系列以后会整理个人学习证据，但一条计时记录不足以给能力定级，本课只复述材料。这样让具体任务的边界进入验收，而不是在最后写一句空泛的注意幻觉。

让学生读自己的耗时。第一轮可能包含模型加载，后续轮可能状态不同；输入、输出长度和设备也不相同。所以本课只记录本次经历，不比较一排秒数给同学排名。完成后备的学生在同一张表上写没有模型响应、没有模型内容核验，但资源计算与请求阅读已完成。这个记录能准确告诉教师下一次需要补哪一步。

48—55分钟：独立完成新材料

现在关闭答案页投影，只读学生单Q5。新的资源材料是2B、8位、可用2.5GB、额外占用未知；数轴材料是0.12、0.39、-0.62，格距0.25。学生先独立写算式和三个取整结果，再允许点击页面核对。教师巡视只问“你现在算的是位还是字节”“这个原数相邻格点是什么”，不替他们报最终数字。

随后让学生检查只有dry_run_no_network的作业声明，写出缺失证据；再画出“本地聊天，外部嵌入”的流程中哪一步传出了文字。不要在独立阶段提前讲答案。较早完成的学生用不同颜色修正最初预测，说明是哪一项观察改变了判断；不要求额外下载模型或再发调用。

55—60分钟：讲评、提交和向知识库过渡

到独立时间结束后再打开答案。一起核对2GB的理想权重，以及0、0.5、-0.5的取整结果；用相邻格点解释负数方向，不只报三个答案。指出剩余0.5GB与未知开销之间的关系。让一名完成真实调用的学生展示模型字段和事实核验，再让一名后备学生展示准确的未完成记录，两类成果分别评价。

板书留下四行：参数个数×位宽÷8只算理想权重；量化是数值近似，任务质量要另测；文件、服务、客户端各有职责；运行证据与内容证据分别保留。学生提交实验前后记录、独立题以及本地结果或未完成记录。最后请他们用自己的话完成“我能检查……；我还没有验证……”两句话。

下一课会把检索出的材料送到模型。这里学会的检查不会消失：本地聊天不代表嵌入也本地，取得回答不代表引用正确。延伸练习可在已准备环境里固定同一输入，比较首轮与后续轮条件，但不是本课必交项目。不要把继续折腾安装当作学习原理的唯一方式。

来源与使用边界

安装与命令以Ollama CLI、聊天接口、FAQ及模型条目核对。命令和接口可能更新，教师课前按实际版本复核。数轴数据、课堂问题、核查表和教学话术为原创。页面实验完成的是可复算的数值过程；没有把它描述为真实大模型推理。材料尚未经真实班级试教，设备适配和学生操作耗时须由教师备课记录确认。