第30课独立答案与检查依据
请在独立阶段结束后再打开。页面的数值结果可以复算;真实模型回答没有唯一措辞,要保留学生自己的原始输出并逐项核验。
Q0:角色与预测
模型标签指向参数文件及相关信息;Ollama是管理和运行模型的软件,提供接收请求的服务;local_chat.py 是打包问题、调用接口和解析返回的程序。三者有分工,不能把脚本本身当作训练好的模型。4B表示约四十亿个参数,不是4GB文件。预测时答案错误不扣分,只检查是否留下依据,并能在实验后解释修正原因。
Q1:理想权重的账本
4×10⁹×4÷8=2×10⁹字节=2GB,约1.862645GiB。改为16位,理想权重为8GB,是原来的4倍。这个倍率来自每个参数占用变为4倍,参数个数没有变。注意这里都是假想模型的理想账本,不是所选Ollama小模型的实际文件大小。
4位默认条件下,可用3GB减理想权重2GB还剩1GB,但额外占用未知,不能保证运行。改为16位后,仅理想权重已经超过给定可用内存5GB,不能据此安排全部驻留内存运行。若学生只回答“电脑一定完全不能做任何计算”,结论又过大:本题判断的是给定内存条件,未研究其他设备或卸载策略。
取整表不会随位宽字段改变,因为那是独立的数轴计算。不能据此说量化在真实模型里没有影响,也不能把格距0.25解释成4位真实格式。
Q2:量化误差与额外占用
| 原数 | 格距0.1的取整 | 绝对误差 | 格距0.25的取整 | 绝对误差 |
|---|---|---|---|---|
| -0.26 | -0.3 | 0.04 | -0.25 | 0.01 |
| 0.14 | 0.1 | 0.04 | 0.25 | 0.11 |
| 0.49 | 0.5 | 0.01 | 0.5 | 0.01 |
第一组平均误差为(0.04+0.04+0.01)÷3=0.03;第二组为0.13÷3,约0.043333。整体平均变大,但-0.26这一项反而更接近格点。不要把“平均误差更大”错误扩展为“每一个数都更差”。这些数值误差并未测量某个模型的回答正确率。
额外占用填1.2时,理想权重2GB+给定假设1.2GB=3.2GB,较可用3GB缺0.2GB。这是输入的教学假设,不是程序测出的电脑状态。可列运行缓冲、上下文的中间缓存、量化元数据等;操作系统和其他软件也影响实际可用资源。未知写unknown,不能为了算出结果填0。恢复未知后,总需求再次无法据现有数值确定。
Q3:终端观察应留下什么
ollama ls 用来查看可用模型条目,ollama ps 用来查看当前运行状态。模型文件在列表里,不表示此刻一定装入工作内存。运行记录应有实际模型名称、输入材料和真实输出;运行状态没有显示时如实填写,不要求每台电脑出现固定CPU/GPU比例。
短材料必须保持“资料比较—12分钟”“核对引用—18分钟”的对应,不添加能力判断或建议。措辞变化但事实准确可通过。只出现一句“模型已启动”而没有保存实际回答,不能计为内容核验完成。观察同伴运行可以作为观察成果,但不能改写为自己设备成功。
Q4:一份JSON文件不等于一次合格回答
默认脚本模式是 dry_run_no_network,只展示请求,没有发出真实模型调用。加上真实调用操作后,应检查解析结果的模式、返回模型名称、done 和非空 answer,再对照原材料检查数字与活动。done=true 说明接口报告响应结束,不证明回答忠实;有非空文字也可能附加没有根据的评价。
not_completed 是有效的错误记录,写明停在软件、模型、连接或响应哪一层即可。后备学生提交资源计算、请求路径解释及“模型实际调用未完成”,不要把没有发生的操作判通过。elapsed_seconds 只表示脚本测得的这一轮经过时间,不是跨设备公平排行榜,也不能独立拆出加载、输入处理与生成时间。
关于本地性,客户端第一站是127.0.0.1只是其中一项证据,还要结合已准备的本地模型和实际运行配置检查。本课未测试整台电脑其他功能是否联网,也没有证明所有AI应用都可离线。
Q5:独立新题
- 2×10⁹×8÷8=2×10⁹字节=2GB。可用2.5GB扣除权重剩0.5GB,但额外占用未知,所以不能保证能够运行。不能把“剩余”为正直接等同“资源够用”。
- 0.12最近的0.25格点为0,误差0.12;0.39最近为0.5,误差0.11;-0.62最近为-0.5,误差0.12。平均绝对误差为0.35÷3,约0.116667,最大误差0.12。学生若将-0.62放到-0.75,请让他比较到两个相邻格点的距离0.12与0.13。
- dry_run记录没有实际服务返回的证据,也没有真实返回文字与原材料比较的证据。请求结构正确与取得可用回答是两个阶段,不能只凭脚本打印请求就完成后面的验收。
- 文字进入外部嵌入服务这一箭头发生了外发,整个应用不能称作完全离线。聊天生成在本机并不会取消检索编码那一步的网络依赖。
Q6:10分评分及离堂判定
- Q0的角色区分与预测修正1分:三个角色能用自己的话解释;预测猜错不扣。
- Q1理想存储2分:单位与倍率各1分,过程可追查。
- Q2数轴取整2分:取整与误差1分,区分数轴实验和真实格式1分。
- Q2资源条件1分:未知与人为1.2假设分清,列出额外需求。
- Q3、Q4操作证据2分:真实结果或准确的未完成记录1分,能解释接口与内容分开核验1分。后备路径不冒充真实调用即可据对应目标得分。
- Q5独立迁移2分:新数值与未知条件1分,本地/外部路径和dry-run证据边界1分。
离堂句子可写:“我能根据参数数与位宽估算理想权重,并检查一次本地调用的实际返回;我没有验证长输入性能、所有插件的数据路径和模型在其他任务上的质量。”不要求照抄,但必须对应自己的实际完成范围。