分类: 人工智能

Artificial Intelligence 人工智能
  • 8GB内存的老电脑也能跑大模型:Ollama 本地部署完整踩坑记录

    谁说跑大模型必须有显卡?我在一台无GPU、8GB内存的老Windows电脑上跑通了 Ollama + Qwen2.5,本文记录从安装到推理的全过程和踩过的坑。

    一、为什么是 Ollama

    想在本地跑开源模型,Ollama 是目前最省心的方案:一条命令下载模型、自动量化、OpenAI 兼容 API 开箱即用。CPU 也能跑,只是慢点——对”问答、文本处理”这种非实时场景完全够用。

    二、安装踩坑实录

    1. 下载慢/失败:官网直连经常拉不动。实测用 PowerShell 的 Invoke-WebRequest 比 curl 稳,挂上镜像环境变量后正常。
    2. C盘空间:模型文件默认放 C 盘,一个 1.5B 模型约 1GB。C盘紧张的建议先迁移或清理。
    3. 环境变量大小写:Windows 下 HTTP_PROXY 和 http_proxy 同时存在会导致服务起不来(进程环境去重后才正常),这个坑非常隐蔽。
    4. 国内拉模型:设置 OLLAMA_HF_MIRROR 指向国内镜像源,速度直接起飞。

    三、跑通 Qwen2.5:1.5b

    ollama pull qwen2.5:1.5b
    ollama run qwen2.5:1.5b

    实测在纯 CPU、8GB 内存上:17-20 tokens/s,回答流畅度可接受。1.5B 量化模型内存占用约 1.2GB,8GB 机器毫无压力。

    四、API 调用示例

    curl http://localhost:11434/api/generate -d '{
      "model": "qwen2.5:1.5b",
      "prompt": "用一句话介绍你自己"
    }'

    兼容 OpenAI 格式,现有代码改个 base_url 就能接入。

    五、这类机器还能玩什么

    本地跑模型只是开始。我给这台老电脑的完整规划:Ollama 跑推理 + 定时任务挂脚本 + frp 内网穿透。如果你没有闲置电脑,也可以直接上云——腾讯云 2核2G 的新客价只要 99 元/年,跑 1.5B 模型问题不大,入口:

    (推广链接,价格与官网一致,走链接算支持我持续输出)

    六、下一步计划

    给 Ollama 接上 RAG、本地知识库,以及在 4G 内存限制下的多模型轮换策略,踩坑了继续来发。

    有问题评论区见,看到必回。

  • 机器视觉

    今天下载了一个古老的机器视觉电子书,神奇滴发现1998年就有空手遥控开电视的界面的研究了,说得更好听点,手势操作在1998年就有啦。个人非常喜欢与看好的方向.

  • 关于<量子计算机&Cloud&人工智能>的畅想

    最近看到Google购买全球第二台量子计算机的新闻,激发了各种畅想。按网上的专家们分析,大约20至30年后,量子计算机能够达到成熟,计算能力趋向无限。畅想基于计算能力趋于无限。这真的太让人兴奋了,无限的计算能力意味着很多神奇的想法。再加上近期G级无线带宽的新闻,着实对未来有了更美好的想像。计算能力无限,网速超快,畅想一下。

    计算能力无限,意味着,计算机模拟或实现一个人脑的能力有了强大的计算基础。而以极速的网络为依托,一个量子计算中心,可以采用无线网络的形式控制与指挥N个机器人进行复杂的工作。换一句话来说,众多的机器人拥有一个远程的大脑,而且大脑的计算能力的强大足以让机器人拥有极强的智慧。技术的发展对于未来人类进入大空也将成为有意思的事情。一台量子计算机,N个机器人,丢在火星上,机器人没日没夜的工作,搭建一个适合人类居住的环境。

    [caption id="attachment_31" align="alignnone" width="300"]一个拥有量子计算机大脑的机器人不是一般的机器人 一个拥有量子计算机大脑的机器人不是一般的机器人[/caption]

    企业家可能会说,去太空?直接用台量子计算机控制机器人代替人进行生产。世界上大型的代工企业可以考虑一下这个。很多人想,会不会导致大量的人失业?车到山前必有路,亲们不用担心。你以后也许只需要租赁一个机器人,让机器人去干活即可。

    Cloud

    围绕量子计算机,提外提供计算服务,不仅也可以控制计器人,还可以在远程医疗、教育、工业、军事、自动驾驶等等,各行各业都可以进行运用。计算能力当作一种资源外出提供服务,可以让更多的人与机构受益于量子计算机。话说了,人肉机器也很强大,对于云来说,后面是量子计算机还是人肉并不重要,重要的的对外的服务。前阵子与同事聊天,远程代驾,多么强大的人肉机器啊。

    人工智能

    量子计算机给人工智能带来了很好的发展前景。