segment-anything-model

Segment Anything Model（SAM）

Meta AI の Segment Anything Model を使用したゼロショット画像セグメンテーションの包括的なガイドです。

SAM を使用する場合

SAM を使用するケース：

• タスク固有のトレーニングなしで、画像内のあらゆるオブジェクトをセグメント化する必要がある場合
• ポイントやボックスのプロンプトを使ったインタラクティブなアノテーションツールを構築する場合
• 他のビジョンモデル用のトレーニングデータを生成する場合
• 新しい画像ドメインへのゼロショット転移が必要な場合
• オブジェクト検出／セグメンテーションのパイプラインを構築する場合
• 医療画像、衛星画像、または特定ドメインの画像を処理する場合

主な機能：

• ゼロショットセグメンテーション：ファインチューニングなしで、あらゆる画像ドメインに対応します
• 柔軟なプロンプト：ポイント、バウンディングボックス、または以前のマスクを指定できます
• 自動セグメンテーション：すべてのオブジェクトのマスクを自動生成します
• 高品質：1,100万枚の画像から作成された11億個のマスクでトレーニングされています
• 複数のモデルサイズ：ViT-B（最速）、ViT-L、ViT-H（最高精度）
• ONNX エクスポート：ブラウザーやエッジデバイスにデプロイできます

代わりに次の方法を使用するケース：

• YOLO/Detectron2：クラス分類を伴うリアルタイムのオブジェクト検出にはこちらを使用します
• Mask2Former：カテゴリを伴うセマンティック／パノプティックセグメンテーションにはこちらを使用します
• GroundingDINO + SAM：テキストプロンプトによるセグメンテーションにはこちらを使用します
• SAM 2：動画のセグメンテーションにはこちらを使用します

クイックスタート

インストール

# From GitHub
pip install git+https://github.com/facebookresearch/segment-anything.git

# Optional dependencies
pip install opencv-python pycocotools matplotlib

# Or use HuggingFace transformers
pip install transformers

チェックポイントのダウンロード

# ViT-H (largest, most accurate) - 2.4GB
wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth

# ViT-L (medium) - 1.2GB
wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_l_0b3195.pth

# ViT-B (smallest, fastest) - 375MB
wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_b_01ec64.pth

SamPredictor を使った基本的な使い方

import numpy as np
from segment_anything import sam_model_registry, SamPredictor

# Load model
sam = sam_model_registry["vit_h"](checkpoint="sam_vit_h_4b8939.pth")
sam.to(device="cuda")

# Create predictor
predictor = SamPredictor(sam)

# Set image (computes embeddings once)
image = cv2.imread("image.jpg")
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
predictor.set_image(image)

# Predict with point prompts
input_point = np.array([[500, 375]])  # (x, y) coordinates
input_label = np.array([1])  # 1 = foreground, 0 = background

masks, scores, logits = predictor.predict(
    point_coords=input_point,
    point_labels=input_label,
    multimask_output=True  # Returns 3 mask options
)

# Select best mask
best_mask = masks[np.argmax(scores)]

HuggingFace Transformers

import torch
from PIL import Image
from transformers import SamModel, SamProcessor

# Load model and processor
model = SamModel.from_pretrained("facebook/sam-vit-huge")
processor = SamProcessor.from_pretrained("facebook/sam-vit-huge")
model.to("cuda")

# Process image with point prompt
image = Image.open("image.jpg")
input_points = [[[450, 600]]]  # Batch of points

inputs = processor(image, input_points=input_points, return_tensors="pt")
inputs = {k: v.to("cuda") for k, v in inputs.items()}

# Generate masks
with torch.no_grad():
    outputs = model(**inputs)

# Post-process masks to original size
masks = processor.image_processor.post_process_masks(
    outputs.pred_masks.cpu(),
    inputs["original_sizes"].cpu(),
    inputs["reshaped_input_sizes"].cpu()
)

主な概念

モデルアーキテクチャ

SAM Architecture:
┌─────────────────┐     ┌─────────────────┐     ┌─────────────────┐
│  Image Encoder  │────▶│ Prompt Encoder  │────▶│  Mask Decoder   │
│     (ViT)       │     │ (Points/Boxes)  │     │ (Transformer)   │
└─────────────────┘     └─────────────────┘     └─────────────────┘
        │                       │                       │
   Image Embeddings      Prompt Embeddings         Masks + IoU
   (computed once)       (per prompt)             predictions

モデルの種類

モデル	チェックポイント	サイズ	速度	精度
ViT-H	vit_h	2.4 GB	最も遅い	最高
ViT-L	vit_l	1.2 GB	中程度	良好
ViT-B	vit_b	375 MB	最速	良好

プロンプトの種類

プロンプト	説明	用途
ポイント（前景）	オブジェクト上をクリックします	単一オブジェクトの選択
ポイント（背景）	オブジェクトの外側をクリックします	領域の除外
バウンディングボックス	オブジェクトを囲む長方形です	大きなオブジェクト
以前のマスク	低解像度のマスク入力です	反復的な調整

インタラクティブセグメンテーション

詳細、コード例、パラメータ表については、references/interactive-segmentation.mdを参照してください。この手順が該当する場合に読んでください。

自動マスク生成

基本的な自動セグメンテーション

from segment_anything import SamAutomaticMaskGenerator

# Create generator
mask_generator = SamAutomaticMaskGenerator(sam)

# Generate all masks
masks = mask_generator.generate(image)

# Each mask contains:
# - segmentation: binary mask
# - bbox: [x, y, w, h]
# - area: pixel count
# - predicted_iou: quality score
# - stability_score: robustness score
# - point_coords: generating point

カスタマイズした生成

mask_generator = SamAutomaticMaskGenerator(
    model=sam,
    points_per_side=32,          # Grid density (more = more masks)
    pred_iou_thresh=0.88,        # Quality threshold
    stability_score_thresh=0.95,  # Stability threshold
    crop_n_layers=1,             # Multi-scale crops
    crop_n_points_downscale_factor=2,
    min_mask_region_area=100,    # Remove tiny masks
)

masks = mask_generator.generate(image)

マスクのフィルタリング

# Sort by area (largest first)
masks = sorted(masks, key=lambda x: x['area'], reverse=True)

# Filter by predicted IoU
high_quality = [m for m in masks if m['predicted_iou'] > 0.9]

# Filter by stability score
stable_masks = [m for m in masks if m['stability_score'] > 0.95]

バッチ推論

複数の画像

# Process multiple images efficiently
images = [cv2.imread(f"image_{i}.jpg") for i in range(10)]

all_masks = []
for image in images:
    predictor.set_image(image)
    masks, _, _ = predictor.predict(
        point_coords=np.array([[500, 375]]),
        point_labels=np.array([1]),
        multimask_output=True
    )
    all_masks.append(masks)

画像ごとに複数のプロンプト

# Process multiple prompts efficiently (one image encoding)
predictor.set_image(image)

# Batch of point prompts
points = [
    np.array([[100, 100]]),
    np.array([[200, 200]]),
    np.array([[300, 300]])
]

all_masks = []
for point in points:
    masks, scores, _ = predictor.predict(
        point_coords=point,
        point_labels=np.array([1]),
        multimask_output=True
    )
    all_masks.append(masks[np.argmax(scores)])

ONNX デプロイ

モデルのエクスポート

python scripts/export_onnx_model.py \
    --checkpoint sam_vit_h_4b8939.pth \
    --model-type vit_h \
    --output sam_onnx.onnx \
    --return-single-mask

ONNX モデルの使用

import onnxruntime

# Load ONNX model
ort_session = onnxruntime.InferenceSession("sam_onnx.onnx")

# Run inference (image embeddings computed separately)
masks = ort_session.run(
    None,
    {
        "image_embeddings": image_embeddings,
        "point_coords": point_coords,
        "point_labels": point_labels,
        "mask_input": np.zeros((1, 1, 256, 256), dtype=np.float32),
        "has_mask_input": np.array([0], dtype=np.float32),
        "orig_im_size": np.array([h, w], dtype=np.float32)
    }
)

一般的なワークフロー

ワークフロー 1：アノテーションツール

import cv2

# Load model
predictor = SamPredictor(sam)
predictor.set_image(image)

def on_click(event, x, y, flags, param):
    if event == cv2.EVENT_LBUTTONDOWN:
        # Foreground point
        masks, scores, _ = predictor.predict(
            point_coords=np.array([[x, y]]),
            point_labels=np.array([1]),
            multimask_output=True
        )
        # Display best mask
        display_mask(masks[np.argmax(scores)])

ワークフロー 2：オブジェクトの抽出

def extract_object(image, point):
    """Extract object at point with transparent background."""
    predictor.set_image(image)

    masks, scores, _ = predictor.predict(
        point_coords=np.array([point]),
        point_labels=np.array([1]),
        multimask_output=True
    )

    best_mask = masks[np.argmax(scores)]

    # Create RGBA output
    rgba = np.zeros((image.shape[0], image.shape[1], 4), dtype=np.uint8)
    rgba[:, :, :3] = image
    rgba[:, :, 3] = best_mask * 255

    return rgba

ワークフロー 3：医療画像のセグメンテーション

# Process medical images (grayscale to RGB)
medical_image = cv2.imread("scan.png", cv2.IMREAD_GRAYSCALE)
rgb_image = cv2.cvtColor(medical_image, cv2.COLOR_GRAY2RGB)

predictor.set_image(rgb_image)

# Segment region of interest
masks, scores, _ = predictor.predict(
    box=np.array([x1, y1, x2, y2]),  # ROI bounding box
    multimask_output=True
)

出力形式

マスクのデータ構造

# SamAutomaticMaskGenerator output
{
    "segmentation": np.ndarray,  # H×W binary mask
    "bbox": [x, y, w, h],        # Bounding box
    "area": int,                 # Pixel count
    "predicted_iou": float,      # 0-1 quality score
    "stability_score": float,    # 0-1 robustness score
    "crop_box": [x, y, w, h],    # Generation crop region
    "point_coords": [[x, y]],    # Input point
}

COCO RLE 形式

from pycocotools import mask as mask_utils

# Encode mask to RLE
rle = mask_utils.encode(np.asfortranarray(mask.astype(np.uint8)))
rle["counts"] = rle["counts"].decode("utf-8")

# Decode RLE to mask
decoded_mask = mask_utils.decode(rle)

パフォーマンスの最適化

GPU メモリ

# Use smaller model for limited VRAM
sam = sam_model_registry["vit_b"](checkpoint="sam_vit_b_01ec64.pth")

# Process images in batches
# Clear CUDA cache between large batches
torch.cuda.empty_cache()

速度の最適化

# Use half precision
sam = sam.half()

# Reduce points for automatic generation
mask_generator = SamAutomaticMaskGenerator(
    model=sam,
    points_per_side=16,  # Default is 32
)

# Use ONNX for deployment
# Export with --return-single-mask for faster inference

よくある問題

問題	解決策
メモリ不足	ViT-B モデルを使用し、画像サイズを小さくします
推論が遅い	ViT-B を使用し、points_per_side を減らします
マスクの品質が低い	別のプロンプトを試すか、ボックスとポイントを組み合わせます
エッジアーティファクト	stability_score によるフィルタリングを使用します
小さなオブジェクトが見落とされる	points_per_side を増やします

参考資料

• 高度な使い方 - バッチ処理、ファインチューニング、統合
• トラブルシューティング - よくある問題と解決策

リソース

• GitHub：https://github.com/facebookresearch/segment-anything
• 論文：https://arxiv.org/abs/2304.02643
• デモ：https://segment-anything.com
• SAM 2（動画）：https://github.com/facebookresearch/segment-anything-2
• HuggingFace：https://huggingface.co/facebook/sam-vit-huge

エージェントの運用手順

1. 環境を確認します。 GPU メモリ、モデルのチェックポイントとライセンス、フレームワークのバージョン、入力形式を確認します。
2. 入力を明確にします。 データまたはユーザーから、形式、識別子、パラメーターを確認します。結果が変わる値は推測せず、質問します。
3. まず小規模に実行します。 最初に、低解像度または短い長さで単一のサンプルに対して推論を実行します。
4. 上記の手順と参考資料を使って、タスク全体を実行します。
5. 結果を検証します。 出力を定性的に確認し、タスクの指標で評価します。生成コンテンツのライセンス上の制限も確認します。
6. 報告します。 実行した内容（バージョン、コマンド、パラメーター）、確認した内容、未確定の点を伝えます。

このような場合	対応方法
大きな入力でメモリ不足が発生する	解像度またはシーケンス長を下げる、半精度を使う、または入力をタイルに分割します。
これらの手順に記載された関数、フラグ、エンドポイントがインストール済みのバージョンにない	インストール済みバージョンのドキュメント（help()、--help、公式ドキュメント）を確認して対応し、その旨をユーザーに伝えます。API を決してでっち上げないでください。
必須の入力、識別子、パラメーターが曖昧	ユーザーに質問するか、実行前に前提を明示します。

誠実性に関するルール

• 結果、パラメーター、識別子、引用、統計を決して捏造しないでください。実行または検証できないことがあれば、はっきり伝えてください。
• 商用利用または公開利用の前に、モデルとデータセットのライセンスを確認してください。
• ここに記載されたバージョン固有の詳細は古くなっている可能性があるため、インストール済みバージョンの公式ドキュメントで確認してください。
• 費用が発生する、共有 GPU やクラウドのクォータを消費する、個人データや患者データを扱う、または取り消せない操作を行う場合は、事前に確認してください。

関連スキル

• clip：OpenAI の、視覚と言語を結び付けるモデルです。
• generate-image：OpenRouter Image API（Gemini、Seedream、Recraft、GPT-Image、Riverflow）を通じて、AI モデルで画像を生成または編集します。
• blip-2-vision-language：HuggingFace Trans…を通じて、Salesforce BLIP-2（凍結された画像エンコーダーと OPT や FlanT5 などの LLM をつなぐ Q-Former）の使い方を説明します。