CUDAのメモリアライメント

CUDAアーキテクチャにおける自然なメモリアライメントは 256 バイト。

CUDA提供のメモリ確保関数（cudaMalloc等）は、少なくとも 256 バイト・アライメントされたアドレスを返す。

Size and Alignment Requirement
(snip)
Any address of a variable residing in global memory or returned by one of the memory allocation routines from the driver or runtime API is always aligned to at least 256 bytes.

CUDA C++ Programming Guide, 5.3.2. Device Memory Accesses

関連URL

• CUDA Data Alignment - Lei Mao's Log Book
• gpu - Why are CUDA memory allocations aligned to 256 bytes? - Stack Overflow
• TensorRT: nvinfer1::IExecutionContext, setTensorAddress