Qwen2.5安装（Windows和raspberrypi-4GB）

前言

近几天阿里发布了Qwen2.5，比起Qwen2确实好了不少，现在我们一起开始吧

Qwen2.5介绍

密集、易用、仅限解码器的语言模型，提供 0.5B、1.5B、3B、7B、14B、32B 和 72B 大小，以及 base 和 instruct 变体。
在我们最新的大规模数据集上进行预训练，包含高达 18T 的 token。
在指令跟随、生成长文本（超过 8K 个标记）、理解结构化数据（例如表格）以及生成结构化输出（尤其是 JSON）方面有了显著改进。
对系统提示的多样性更具弹性，增强了聊天机器人的角色扮演实现和条件设置。
上下文长度最多支持 128K 个令牌，并且可以生成最多 8K 个令牌。
多语言支持超过 29 种语言，包括中文、英语、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等。

Qwen2.5有三种模型，分别是

Qwen2.5：0.5B、1.5B、3B、7B、14B、32B 和 72B
Qwen2.5-Coder：1.5B、7B
Qwen2.5-Math：1.5B、7B 和 72B。

这个是官网对Qwen2.5性能的指标

再来看一看Qwen2.5与Llama-3.1-70B Mistral-Large-V2 Qwen2的对比

可见Qwen2.5确实有所提升

工具以及要求

要求

CPU以及2GB以上的内存
Nvidia显卡（不一定要，有的话可以大大提升速度）

工具

Linux要curl
其他Ollama自动安装

安装ollama

先打开ollama官网点击Download，选择系统：

Windows系统

打开安装包，一键安装。

Linux系统

运行以下代码

curl -fsSL https://ollama/install.sh | sh

验证安装

Windows终端按Win + R输入powershell , 按下Enter、
Linux按下Ctrl + Alt + T打开

输入命令启动Ollama

ollama serve

如果安装成功你会看到提示

Error: listen tcp 127.0.0.1:11434: bind: address already in use

证明Ollama已经在运行了

下载Qwen2.5

打开下载界面，选择你的版本，或者点击View more

如果是CPU运行下载的模型大小不能超过内存大小(比如我的Raspberry Pi 4 4GB就不能超过3GB)，使用GPU不能大于显存，点击你要的模型

点击复制命令，到终端运行命令，例如我是下载7b-instruct-q2_K，就运行

ollama run qwen2.5:7b-instruct-q2_K

如果一切正常，证明看到这个，开始下载了

pulling manifest
pulling 799735a41f23...   2% ▕█                                                       ▏  69 MB/3.0 GB  7.8 MB/s   6m15s

这个下载速度取决于你的网速，模型文件比较大的话下载可能比较慢，耐心等待。如果速度只有几KB的话，可以按Ctrl + C把它停之后，重新开始。Ollama有缓存不用担心会重新开始下载(重启会删除)，基本上重新打开之后速度应该就会恢复。

如果你的网络，可能不太好的话会报错，帮我们需要修改hosts文件

Windows:"C:\Windows\System32\drivers\etc\hosts"(需要管理员权限)

Linux:"/etc/hosts"(需要管理员权限)

hosts文件中添加一下代码，再一次运行应该可以成功

172.67.182.229 registry.ollama.ai

后面他还要进行验证文件CPU占用率一般是100%

但你看到⠦的时候就是下载了好了，应该是这样，把它加载模型就可以开始聊天了

pulling manifest
pulling 799735a41f23... 100% ▕████████████████████████████████████████████████████████▏ 3.0 GB
pulling 66b9ea09bd5b... 100% ▕████████████████████████████████████████████████████████▏   68 B
pulling eb4402837c78... 100% ▕████████████████████████████████████████████████████████▏ 1.5 KB
pulling 832dd9e00a68... 100% ▕████████████████████████████████████████████████████████▏  11 KB
pulling b3e5c1460be4... 100% ▕████████████████████████████████████████████████████████▏  485 B
verifying sha256 digest
writing manifest
success

比如说

>>> 你好
好的，你有详细的时间序列数据和相应的价格、数量等信息。请问你在说些什么？我可以帮助你解答或提供有关这个时间段的财务分
析建议。请继续分享相关信息，我会尽力为你提供支持。

Ollama常用命令

输入ollama你会看到

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

Ollama基本命令使用说明

命令	作用
ollama list	列出模型
ollama run 模型名称	运行模型
ollama rm 模型名称	删除模型
ollama -v	查看版本
ollama serve	启动Ollama服务

Ollama常用控制指令

多行输入

使用三个双引号括起来

>>>"""
你的消息
1.
2.
3.
"""

帮助

输入”/?“ 或”/help"查看帮助

>>> /?
Available Commands:
  /set            Set session variables
  /show           Show model information
  /load <model>   Load a session or model
  /save <model>   Save your current session
  /clear          Clear session context
  /bye            Exit
  /?, /help       Help for a command
  /? shortcuts    Help for keyboard shortcuts

Use """ to begin a multi-line message.

清空对话

输入“/clear”清空以前的对话历史

>>> /clear
Cleared session context

退出

输入“/bye”可以退出

>>> /bye

科技改变生活-雨落星辰 - 所有的伟大,都源于一个勇敢的开始