numpy-low-level

NumPy - 底层优化与内存

在高数据量下，标准 NumPy 操作仍可能因不必要的内存分配而变慢。本指南介绍如何操作数组的内部表示，在不离开 Python 的情况下实现 C 级性能。

适用场景

• 实现滑动窗口算法（卷积），且不使用额外内存。
• 通过指针将 Python 与 C、C++ 或 Fortran 代码对接。
• 处理复杂的异构数据结构（结构化数组）。
• 通过内存映射（memmap）优化内存受限的系统。
• 调试与“内存布局”（C 风格与 Fortran 风格）相关的性能问题。

核心原则

1. 元数据与数据的分离

NumPy 数组由一个指向大型数据缓冲区的小型头部（形状、dtype、步长）构成。许多操作（如 .T、reshape、slice）只会更改头部。这就是“零拷贝”。

2. 步长（步进逻辑）

步长定义了在内存中到达每个维度的下一个元素需要跳过多少字节。操作步长可以让你“巧妙地”创建数据的虚拟视图。

3. 连续性

• C 连续：最后一个索引变化最快（行优先）。
• F 连续：第一个索引变化最快（列优先）。
• 在连续内存上进行向量化运算会快很多。

快速参考：内存检查

import numpy as np

arr = np.zeros((100, 100))

print(arr.flags)         # Check contiguity and ownership
print(arr.strides)       # bytes to step in each axis
print(arr.__array_interface__['data']) # Memory pointer address

关键规则

✅ 应该做

• 优先使用视图而非副本 - 尽可能使用切片和重塑。
• 检查 base - 使用 arr.base is None 验证数组是否拥有自己的内存，还是仅为一个视图。
• 使用结构化数组 - 对于“记录表”数据，如果你需要 NumPy 的速度，同时每列又有不同的数据类型，请使用结构化数组。
• 对齐内存 - 确保数组与 64 位边界对齐，以进行 SIMD 优化。
• 使用 out= 参数 - 大多数 NumPy 函数都接受 out 参数，以避免创建新的临时数组。

❌ 不应该做

• 不要在循环中使用 np.append 或 np.concatenate - 由于每次都会复制整个缓冲区，这些操作的时间复杂度为 O(N²)。
• 不要忽略“复制警告” - 花式索引（arr[[1, 3, 5]]）总会创建副本，不同于基本切片。
• 不要盲目使用 as_strided - 它是 NumPy 中最危险的函数。如果边界计算有误，可能导致内存损坏或崩溃。

底层模式

1. 滑动窗口（零拷贝卷积）

from numpy.lib.stride_tricks import as_strided

def sliding_window_1d(arr, window_size):
    """Creates a virtual 2D view of a 1D array for rolling stats."""
    itemsize = arr.itemsize
    shape = (arr.size - window_size + 1, window_size)
    strides = (itemsize, itemsize)
    return as_strided(arr, shape=shape, strides=strides)

# Result is a 2D array where each row is a window, 
# but it uses NO additional memory.

2. 结构化数组（可互操作的 C 结构体）

# Define a record type: Name (32 chars), Age (int), Salary (float)
dtype = np.dtype([('name', 'S32'), ('age', 'i4'), ('salary', 'f8')])

data = np.array([('Alice', 25, 50000), ('Bob', 30, 60000)], dtype=dtype)

# Access by field name (Fast, vectorized)
print(data['salary'].mean())

与 C-API 对接

使用 ctypes 指针

import ctypes

# Get raw pointer to data
ptr = arr.ctypes.data_as(ctypes.POINTER(ctypes.c_double))

# This pointer can be passed to a C/C++ library 
# for direct manipulation of the NumPy buffer.

性能优化

使用 out= 进行向量化数学运算

# ❌ SLOW: Creates 3 temporary arrays
# res = (a * b) + c

# ✅ FAST: Reuse memory
np.multiply(a, b, out=a) # a now holds a*b
np.add(a, c, out=a)      # a now holds (a*b)+c

对海量数据进行内存映射

# Create an array that stays on disk, reading only what's needed
huge_data = np.memmap('data.bin', dtype='float32', mode='w+', shape=(10000, 10000))

常见陷阱

广播复制

如果将一个小数组广播到一个大数组上，NumPy 不会复制小数组，而是将步长设为 0。

# strides of a (10, 1) array broadcasted to (10, 100):
# (8, 0) -> It keeps reading the same memory for the second axis!

字节序（端序）

来自旧仪器的科学数据可能采用大端序。

# Convert in-place without copying
raw_data = np.frombuffer(buffer, dtype='>f4').view('<f4')

NumPy 底层操作的核心是去除抽象。掌握步长和数组接口后，你就能让 Python 成为原始内存的轻量封装，以硬件速度执行“看似不可能”的数据操作。