C++结合CUDA在NVIDIA GPU上并行计算的核心是编写__global__核函数并在GPU线程中并发执行，CPU负责数据准备、内存搬运和启动kernel；需正确配置CUDA环境、管理host/device内存、同步执行并避免常见陷阱。
要用C++结合CUDA在NVIDIA GPU上做并行计算，核心是把适合并行的部分（比如数组逐元素运算、矩阵计算、图像处理等）写成CUDA核函数（kernel），由GPU大量线程并发执行；主机（CPU）负责数据准备、内存搬运和启动核函数。
1. 环境准备：安装CUDA Toolkit和配置编译环境
确保已安装匹配显卡驱动的CUDA Toolkit（如CUDA 12.x），并设置好PATH和库路径。用nvcc（NVIDIA CUDA Compiler）编译.cu文件，它能识别CUDA语法扩展（如__global__、__device__等）。
- 验证安装：终端运行 nvcc --version
- 简单编译命令：nvcc -o vector_add vector_add.cu
- 项目中可配合CMake：启用find_package(CUDA REQUIRED)，或现代方式用find_package(CUDAToolkit REQUIRED)（CMake 3.18+）
2. 基本编程结构：Host与Device分离 + kernel启动
CUDA程序分两部分：运行在CPU上的host代码（管理内存、调用kernel），和运行在GPU上的device代码（kernel函数）。关键步骤是“分配→拷贝→计算→拷贝回→释放”。
- 用cudaMalloc在GPU上分配显存，cudaMemcpy在host/device间传输数据（注意方向参数如cudaMemcpyHostToDevice）
- kernel函数用__global__声明，通过>>语法启动，例如：
add>>(d_a, d_b, d_c);
- 每个thread通过threadIdx.x、blockIdx.x、blockDim.x等内置变量确定自己处理哪个数据索引
3. 内存与同步：避免常见陷阱
GPU内存带宽高但延迟大，频繁小数据拷贝会严重拖慢性能；未同步就访问结果会导致未定义行为。
- 优先使用统一内存（cudaMallocManaged）简化编程，但注意首次访问可能触发迁移开销
- 必须用cudaDeviceSynchronize()等待kernel执行完毕，再读取结果（或用流+事件做细粒度同步）
- 避免在kernel内调用printf或malloc——除非启用device printf或使用动态并行（高级场景）
4. 实用小技巧：从向量加法起步，逐步扩展
先写一个标准向量加法（vectorAdd），验证流程；再尝试二维索引（如图像卷积）、共享内存优化（如规约求和）、或用Thrust库（CUDA版STL）加速开发。
- Thrust示例：thrust::device_vector d_a(N), d_b(N), d_c(N); thrust::transform(d_a.begin(), d_a.end(), d_b.begin(), d_c.begin(), _1 + _2);
- 调试用cudaGetLastError()检查kernel启动错误，用Nsight Compute分析性能瓶颈
- 注意设备兼容性：核函数编译时指定compute capability（如-arch=sm_75对应Turing架构）
基本上就这些。不复杂但容易忽略细节——尤其内存模型和同步时机。动手写个三五行的kernel跑通，后面就顺了。
add>>(d_a, d_b, d_c);