https://xujiahua.github.io/tags/llm/ Recent content in Llm on Happy Coding Hugo zh-cn Fri, 13 Jun 2025 14:44:49 +0800 https://xujiahua.github.io/posts/20250613-convert-gguf/ Fri, 13 Jun 2025 14:44:49 +0800 https://xujiahua.github.io/posts/20250613-convert-gguf/ <h3 id="下载-llamacpp-项目需要用到其-python-部分">下载 llama.cpp 项目，需要用到其 Python 部分</h3> <pre tabindex="0"><code> git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp </code></pre><h3 id="llamacpp-下创建虚拟环境及安装依赖">llama.cpp 下创建虚拟环境及安装依赖</h3> <p>本来想用 <code>uv init</code> 创建虚拟环境，但是本地已经有 pyproject.toml 文件了。<code>venv</code> python 自带的。</p> <pre tabindex="0"><code>python -m venv .venv source .venv/bin/activate pip install -r requirements.txt # 查看是否使用的 .venv 目录下的 python, pip which python which pip </code></pre><p>确保安装无报错。我因为安装不完整，执行 convert 脚本报错了，一度以为 llama.cpp 还不支持 Qwen，很惊讶。</p> <blockquote> <p>FileNotFoundError: File not found: Qwen3-0.6B/tokenizer.model</p></blockquote> <h3 id="下载模型到本地">下载模型到本地</h3> <p>前序工作，lfs 需要额外安装。以下是 ubuntu 下的指令。一次性工作。</p> <pre tabindex="0"><code>curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash sudo apt-get install git-lfs git lfs install </code></pre><p>huggingface 上下载模型。</p>