numpy-low-level

NumPy - 低レベル最適化とメモリ

大量のデータを扱う場合、標準的な NumPy の操作でも、不要なメモリ割り当てが原因で遅くなることがあります。このガイドでは、Python を離れることなく C レベルのパフォーマンスを実現するために、配列の内部表現を操作する方法を解説します。

使用する場面

• 余分なメモリを使わずに、スライディングウィンドウアルゴリズム（畳み込み）を実装する場合。
• ポインターを使って、Python を C、C++、Fortran のコードと連携させる場合。
• 複雑で異種のデータ構造（構造化配列）を扱う場合。
• メモリマッピング（memmap）を使って、メモリに制約のあるシステムを最適化する場合。
• 「メモリレイアウト」（C 形式と Fortran 形式）に関連するパフォーマンスの問題をデバッグする場合。

基本原則

1. メタデータとデータの分離

NumPy 配列は、小さなヘッダー（shape、dtype、strides）から大きなデータバッファーを参照しています。多くの操作（.T、reshape、slice など）は、ヘッダーを変更するだけです。これが「ゼロコピー」です。

2. ストライド（ステップの仕組み）

ストライドは、各次元の次の要素に移動するためにメモリ上でスキップするバイト数を定義します。ストライドを操作すると、データの仮想ビューを作成できます。

3. 連続性

• C 連続：最後のインデックスが最も速く変化します（行優先）。
• F 連続：最初のインデックスが最も速く変化します（列優先）。
• 連続したメモリでは、ベクトル化が大幅に高速になります。

クイックリファレンス：メモリの確認

import numpy as np

arr = np.zeros((100, 100))

print(arr.flags)         # Check contiguity and ownership
print(arr.strides)       # bytes to step in each axis
print(arr.__array_interface__['data']) # Memory pointer address

重要なルール

✅ 推奨事項

• コピーよりビューを優先する - 可能な限りスライスや形状変更を使用します。
• base を確認する - arr.base is None を使って、配列がメモリを所有しているのか、単なるビューなのかを確認します。
• 構造化配列を使用する - 列ごとに異なる型を使いながら NumPy の速度が必要な「レコードのテーブル」データに適しています。
• メモリをアラインメントする - SIMD 最適化のため、配列が 64 ビット境界にアラインメントされていることを確認します。
• out= パラメーターを使用する - ほとんどの NumPy 関数は out 引数を受け取り、新しい一時配列の作成を防げます。

❌ 避けるべきこと

• ループ内で np.append や np.concatenate を使わない - 毎回バッファー全体をコピーするため、計算量は O(N²) になります。
• 「コピーに関する注意」を無視しない - ファンシーインデックス指定（arr[[1, 3, 5]]）は、基本的なスライスとは異なり、常にコピーを作成します。
• as_strided をむやみに使わない - NumPy で最も危険な関数です。範囲の計算を誤ると、メモリ破損やクラッシュにつながる可能性があります。

低レベルのパターン

1. スライディングウィンドウ（ゼロコピー畳み込み）

from numpy.lib.stride_tricks import as_strided

def sliding_window_1d(arr, window_size):
    """Creates a virtual 2D view of a 1D array for rolling stats."""
    itemsize = arr.itemsize
    shape = (arr.size - window_size + 1, window_size)
    strides = (itemsize, itemsize)
    return as_strided(arr, shape=shape, strides=strides)

# Result is a 2D array where each row is a window, 
# but it uses NO additional memory.

2. 構造化配列（相互運用可能な C 構造体）

# Define a record type: Name (32 chars), Age (int), Salary (float)
dtype = np.dtype([('name', 'S32'), ('age', 'i4'), ('salary', 'f8')])

data = np.array([('Alice', 25, 50000), ('Bob', 30, 60000)], dtype=dtype)

# Access by field name (Fast, vectorized)
print(data['salary'].mean())

C API との連携

ctypes ポインターを使用する

import ctypes

# Get raw pointer to data
ptr = arr.ctypes.data_as(ctypes.POINTER(ctypes.c_double))

# This pointer can be passed to a C/C++ library 
# for direct manipulation of the NumPy buffer.

パフォーマンス最適化

out= を使ったベクトル化演算

# ❌ SLOW: Creates 3 temporary arrays
# res = (a * b) + c

# ✅ FAST: Reuse memory
np.multiply(a, b, out=a) # a now holds a*b
np.add(a, c, out=a)      # a now holds (a*b)+c

大容量データのメモリマッピング

# Create an array that stays on disk, reading only what's needed
huge_data = np.memmap('data.bin', dtype='float32', mode='w+', shape=(10000, 10000))

よくある落とし穴

ブロードキャストによるコピー

小さな配列を大きな配列にブロードキャストしても、NumPy は小さな配列をコピーせず、ストライドを 0 に設定します。

# strides of a (10, 1) array broadcasted to (10, 100):
# (8, 0) -> It keeps reading the same memory for the second axis!

バイトオーダー（エンディアン）

古い機器から取得した科学データは、ビッグエンディアンの場合があります。

# Convert in-place without copying
raw_data = np.frombuffer(buffer, dtype='>f4').view('<f4')

NumPy の低レベル操作では、抽象化を取り除きます。ストライドと配列インターフェイスを習得すれば、Python を生のメモリを扱う薄いラッパーとして活用でき、ハードウェア速度で「不可能」なデータ操作を実現できます。