cuda编程指南3.1中文版.pdf

CUDA 编程指南3.1 中文版 译者：风辰 由于小弟的水平所限，此文档可能存在错误，如果你觉得本文档的某些内 容可能是错误，请联系我，我不能像高纳德一样给你2.56 美元，但是我会尽 快修正它，谢谢！ 在本次更新过程中，很多地方参考了cyrosly 大牛的意见，对此表示感 谢！ 任何人不得更改此文档内容或设置，更不能用于商业目的，否则后果自 负。 由于时间有限，本次更新不涉及驱动API，在此向大家表示抱歉！ 1 目录 第一章 导论 6 1.1 从图形处理到通用并行计算 6 TM 1.2 CUDA ：一种通用并行计算架构 7 1.3 一种可扩展的编程模型 8 1.4 文档结构 9 第二章 编程模型 10 2.1 内核 10 2.2 线程层次 10 2.3 存储器层次 12 2.4 异构编程 13 2.5 计算能力 15 第三章 编程接口 16 3.1 用nvcc 编译 16 3.1.1 编译流程 16 3.1.2 二进制兼容性 17 3.1.3 PTX 兼容性 17 3.1.4 应用兼容性 17 3.1.5 C/C++兼容性 17 3.1.6 64 位兼容性 18 3.2 CUDA C 18 3.2.1 设备存储器 18 3.2.2 共享存储器20 3.2.3 多设备25 3.2.4 纹理存储器26 3.2.5 表面存储器(surface)29 3.2.6 分页锁定主机存储器 31 3.2.7 异步并发执行 32 3.2.8 图形学互操作性 35 3.2.9 错误处理42 3.2.9 使用设备模拟模式调试(已删除) 42 3.3 驱动API 44 3.3.1 上下文46 3.3.2 模块47 3.3.3 内核执行47 3.3.4 设备存储器49 3.3.5 共享存储器 52 3.3.6 多设备 53 3.3.7 纹理存储器 54 3.3.8 分页锁定主机存储器 56 3.3.9 异步并发执行 56 3.3.10 图形学互操作性 57 3.3.11 错误处理 65 3.4 运行时API 和驱动API 的互操作性 65 3.5 版本和互操作性 66 3.6 计算模式 67 2 3.7 模式切换 67 第四章 硬件实现 68 4.1 SIMT 架构 68 4.2 硬件多线程 68 4.3 多设备 69 第五章 性能优化指南 71 5.1 总体性能优化策略 71 5.2 最大化利用率 71 5.2.1 应用层次 71 5.2.2 设备层次 71 5.2.3 多处理器层次 71 5.3 最大化存储器吞吐量 73