第 30 课 · 让模型在自己电脑上运行:先估算,再留下真实记录

答案与判分

先完成学生工作纸并保留原始作答,再用本页核对。真实工具输出以核验标准评价。

第30课独立答案与检查依据

请在独立阶段结束后再打开。页面的数值结果可以复算;真实模型回答没有唯一措辞,要保留学生自己的原始输出并逐项核验。

Q0:角色与预测

模型标签指向参数文件及相关信息;Ollama是管理和运行模型的软件,提供接收请求的服务;local_chat.py 是打包问题、调用接口和解析返回的程序。三者有分工,不能把脚本本身当作训练好的模型。4B表示约四十亿个参数,不是4GB文件。预测时答案错误不扣分,只检查是否留下依据,并能在实验后解释修正原因。

Q1:理想权重的账本

4×10⁹×4÷8=2×10⁹字节=2GB,约1.862645GiB。改为16位,理想权重为8GB,是原来的4倍。这个倍率来自每个参数占用变为4倍,参数个数没有变。注意这里都是假想模型的理想账本,不是所选Ollama小模型的实际文件大小。

4位默认条件下,可用3GB减理想权重2GB还剩1GB,但额外占用未知,不能保证运行。改为16位后,仅理想权重已经超过给定可用内存5GB,不能据此安排全部驻留内存运行。若学生只回答“电脑一定完全不能做任何计算”,结论又过大:本题判断的是给定内存条件,未研究其他设备或卸载策略。

取整表不会随位宽字段改变,因为那是独立的数轴计算。不能据此说量化在真实模型里没有影响,也不能把格距0.25解释成4位真实格式。

Q2:量化误差与额外占用

原数 格距0.1的取整 绝对误差 格距0.25的取整 绝对误差
-0.26 -0.3 0.04 -0.25 0.01
0.14 0.1 0.04 0.25 0.11
0.49 0.5 0.01 0.5 0.01

第一组平均误差为(0.04+0.04+0.01)÷3=0.03;第二组为0.13÷3,约0.043333。整体平均变大,但-0.26这一项反而更接近格点。不要把“平均误差更大”错误扩展为“每一个数都更差”。这些数值误差并未测量某个模型的回答正确率。

额外占用填1.2时,理想权重2GB+给定假设1.2GB=3.2GB,较可用3GB缺0.2GB。这是输入的教学假设,不是程序测出的电脑状态。可列运行缓冲、上下文的中间缓存、量化元数据等;操作系统和其他软件也影响实际可用资源。未知写unknown,不能为了算出结果填0。恢复未知后,总需求再次无法据现有数值确定。

Q3:终端观察应留下什么

ollama ls 用来查看可用模型条目,ollama ps 用来查看当前运行状态。模型文件在列表里,不表示此刻一定装入工作内存。运行记录应有实际模型名称、输入材料和真实输出;运行状态没有显示时如实填写,不要求每台电脑出现固定CPU/GPU比例。

短材料必须保持“资料比较—12分钟”“核对引用—18分钟”的对应,不添加能力判断或建议。措辞变化但事实准确可通过。只出现一句“模型已启动”而没有保存实际回答,不能计为内容核验完成。观察同伴运行可以作为观察成果,但不能改写为自己设备成功。

Q4:一份JSON文件不等于一次合格回答

默认脚本模式是 dry_run_no_network,只展示请求,没有发出真实模型调用。加上真实调用操作后,应检查解析结果的模式、返回模型名称、done 和非空 answer,再对照原材料检查数字与活动。done=true 说明接口报告响应结束,不证明回答忠实;有非空文字也可能附加没有根据的评价。

not_completed 是有效的错误记录,写明停在软件、模型、连接或响应哪一层即可。后备学生提交资源计算、请求路径解释及“模型实际调用未完成”,不要把没有发生的操作判通过。elapsed_seconds 只表示脚本测得的这一轮经过时间,不是跨设备公平排行榜,也不能独立拆出加载、输入处理与生成时间。

关于本地性,客户端第一站是127.0.0.1只是其中一项证据,还要结合已准备的本地模型和实际运行配置检查。本课未测试整台电脑其他功能是否联网,也没有证明所有AI应用都可离线。

Q5:独立新题

  1. 2×10⁹×8÷8=2×10⁹字节=2GB。可用2.5GB扣除权重剩0.5GB,但额外占用未知,所以不能保证能够运行。不能把“剩余”为正直接等同“资源够用”。
  2. 0.12最近的0.25格点为0,误差0.12;0.39最近为0.5,误差0.11;-0.62最近为-0.5,误差0.12。平均绝对误差为0.35÷3,约0.116667,最大误差0.12。学生若将-0.62放到-0.75,请让他比较到两个相邻格点的距离0.12与0.13。
  3. dry_run记录没有实际服务返回的证据,也没有真实返回文字与原材料比较的证据。请求结构正确与取得可用回答是两个阶段,不能只凭脚本打印请求就完成后面的验收。
  4. 文字进入外部嵌入服务这一箭头发生了外发,整个应用不能称作完全离线。聊天生成在本机并不会取消检索编码那一步的网络依赖。

Q6:10分评分及离堂判定

  • Q0的角色区分与预测修正1分:三个角色能用自己的话解释;预测猜错不扣。
  • Q1理想存储2分:单位与倍率各1分,过程可追查。
  • Q2数轴取整2分:取整与误差1分,区分数轴实验和真实格式1分。
  • Q2资源条件1分:未知与人为1.2假设分清,列出额外需求。
  • Q3、Q4操作证据2分:真实结果或准确的未完成记录1分,能解释接口与内容分开核验1分。后备路径不冒充真实调用即可据对应目标得分。
  • Q5独立迁移2分:新数值与未知条件1分,本地/外部路径和dry-run证据边界1分。

离堂句子可写:“我能根据参数数与位宽估算理想权重,并检查一次本地调用的实际返回;我没有验证长输入性能、所有插件的数据路径和模型在其他任务上的质量。”不要求照抄,但必须对应自己的实际完成范围。