第一步：确认显卡驱动#

先不要安装任何开发工具。

打开 PowerShell：

1
nvidia-smi

你应该能看到：

1
NVIDIA GeForce GTX 1060

以及：

1
Driver Version
2
CUDA Version

这里的 CUDA Version 不等于 CUDA Toolkit 版本。

例如：

1
CUDA Version: 13.0

并不意味着我们要安装 CUDA 13。

我们这次明确使用：

1
CUDA Toolkit 11.8

因为我们的目标是让 GTX 1060 的 Pascal/sm_61 编译环境稳定工作。

第二步：安装 Git#

下载地址：https://git-scm.com/install/windows

安装 Git for Windows。

安装完成后：

1
git --version

例如：

1
git version 2.xx.x

即可。

然后以后我们把 llama.cpp 放：

1
D:\AI\

打开 CMD 或 PowerShell：

创建目录：

1
mkdir D:\AI
2
cd D:\AI

下载并解压缩llama.cpp源文件。

1
cd D:\AI
2
git clone https://github.com/ggml-org/llama.cpp.git

如果网络环境不好下载进度卡住，可以直接去项目地址https://github.com/ggml-org/llama.cpp直接下载压缩包解压。（注意文件夹名）

完成后会得到：

（注意：文件夹路径和文件夹名是否正确）

1
D:\AI\llama.cpp

第三步：安装 Visual Studio 2022 Build Tools#

这一部分非常重要。

安装：

Visual Studio 2022 Build Tools

官方下载页面：

直接下载 Visual Studio 2022 Build Tools）

安装器里面至少选择：

工作负载#

勾选：

1
使用 C++ 的桌面开发

然后右侧组件确保有：

1
MSVC v143
2
Windows 10/11 SDK
3
C++ CMake tools for Windows

这里有个关键点：

安装 MSVC v142#

在：

1
单个组件

里面搜索：

1
v142

找到类似：

1
MSVC v142 - VS 2019 C++ x64/x86 build tools

勾选。

为了避免 CUDA 11.8 和较新的 MSVC 工具链出现兼容问题。

第四步：安装 CMake#

CMake下载地址：https://cmake.org/download/）

Platform	Files
Windows x64 Installer:	cmake-4.4.3-windows-x86_64.msi

安装 CMake。

安装后：

1
cmake --version

确认能够执行。

建议直接使用：

1
CMake 4.x

即可。

第五步：安装 CUDA Toolkit 11.8#

这一步一定要装：

CUDA Toolkit 11.8

不是 CUDA 13。

CUDA Toolkit 11.8下载地址

安装完成后，默认路径应该类似：

1
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8

然后检查：

1
where.exe nvcc

应该出现：

1
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin\nvcc.exe

然后：

1
nvcc --version

应该看到：

1
release 11.8

第七步：这里先停一下，做第一次检查#

依次执行：

1
nvidia-smi

1
git --version

1
cmake --version

1
where.exe nvcc

1
nvcc --version

这五个全部正常，再继续。

第八步：确认 MSVC v142#

PowerShell 执行：

1
dir "C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\VC\Tools\MSVC"

再执行：

1
& "C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\VC\Tools\MSVC\14.29.30133\bin\Hostx64\x64\cl.exe"

正常应该看到：

1
Microsoft (R) C/C++ 优化编译器 19.29.30133 版

第九步：不要直接用普通 PowerShell 编译#

这是容易踩坑的重要地方。

这次建议直接使用：（按WIN键 + S输入x64 Native Tools Command Prompt for VS 2022以管理员身份运行）

1
x64 Native Tools Command Prompt for VS 2022

然后在这个窗口里面进行 CMake 配置和编译。

把 CUDA 11.8 的 4 个集成文件复制到 VS2022 对应目录。

在当前 CMD 执行：

复制这 4 个文件：

1
copy "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\extras\visual_studio_integration\MSBuildExtensions\CUDA 11.8.props" "C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\MSBuild\Microsoft\VC\v160\BuildCustomizations\"

1
copy "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\extras\visual_studio_integration\MSBuildExtensions\CUDA 11.8.targets" "C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\MSBuild\Microsoft\VC\v160\BuildCustomizations\"

1
copy "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\extras\visual_studio_integration\MSBuildExtensions\CUDA 11.8.xml" "C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\MSBuild\Microsoft\VC\v160\BuildCustomizations\"

1
copy "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\extras\visual_studio_integration\MSBuildExtensions\Nvda.Build.CudaTasks.v11.8.dll" "C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\MSBuild\Microsoft\VC\v160\BuildCustomizations\"

正式编译#

在 CMD 执行：

1
cd /d D:\AI\llama.cpp

然后执行 CMake 配置

1
cmake -B build -G "Visual Studio 17 2022" -A x64 -T "v142,cuda=11.8" -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=61

这里暂时不要改任何参数。

尤其是：

1
-T "v142,cuda=11.8"

它会告诉 CMake：

使用 Visual Studio 2022 的 v142 工具集，CUDA 使用 11.8。

而：

1
-DGGML_CUDA=ON

启用 CUDA。

1
-DCMAKE_CUDA_ARCHITECTURES=61

针对你的 GTX 1060 / Pascal / SM 6.1。

说明CMake 配置已经完全成功。

现在开始真正编译。

执行这一条：

1
cd /d D:\AI\llama.cpp
2

3
cmake -B build -G "Visual Studio 17 2022" -A x64 -T "v142,cuda=11.8" -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=61 -DLLAMA_BUILD_UI=ON -DLLAMA_USE_PREBUILT_UI=OFF

执行：

1
cmake --build build --config Release --target llama-server -j 4

先让它完整跑完。

这一阶段可能需要一些时间。

llama.cpp启动：

1
D:\AI\llama.cpp\build\bin\Release\llama-server.exe -m "D:\AI\models\google_gemma-3-4b-it-Q4_K_M.gguf" -ngl 999 -c 8192 --host 127.0.0.1 --port 8080

在浏览器输入：http://127.0.0.1:8080 回车，出现聊天对话框可以正常使用，本地部署成功。

可以创建一个D:\AI\llama.cpp\启动llama.bat

1
```bat
2
@echo off
3
chcp 65001 >nul
4
title llama.cpp - Gemma 3 4B
5

6
echo.
7
echo ========================================
8
echo llama.cpp - Gemma 3 4B
9
echo ========================================
10
echo.
11
echo 正在启动模型，请稍候...
12
echo.
13

14
start "llama.cpp - Gemma 3 4B" cmd /k ""D:\AI\llama.cpp\build\bin\Release\llama-server.exe" -m "D:\AI\models\google_gemma-3-4b-it-Q4_K_M.gguf" -ngl 999 -c 8192 --host 127.0.0.1 --port 8080"
15

16
echo 等待模型启动...
17
timeout /t 15 /nobreak >nul
18

19
start "" "http://127.0.0.1:8080"
20

21
exit
22
```

这样双击就可以直接运行本地部署的llama.cpp。

以上文章中提到的所有软件如果网络环境不好，可以通过网盘下载。

百度网盘：

链接:

1
https://pan.baidu.com/s/1oBh0GcR6GomIGq66ETcJfQ?pwd=86rx

提取码:

1
86rx