usability-tester

ユーザビリティテスター

体系的な観察を通じて、ユーザーが主要なタスクを無事に完了できることを検証します。

基本原則

ユーザーが苦労する様子を観察しましょう。 UX の問題を見つける最善の方法は、実際のユーザーが実際のタスクに取り組む様子を観察することです。ユーザーが苦労する様子からは、アンケートや分析では明らかにならない真実が見えてきます。

テスト計画

1. テストの目的を定義する

Good Objectives:
  - "Can users complete onboarding in <5 minutes?"
  - "Can users find and use the export feature?"
  - "Do users understand the pricing page?"

Bad Objectives:
  - "Test the UI" (too vague)
  - "See if users like it" (subjective, not behavioral)

2. 調査の質問

Examples:
  - Where do users get stuck during sign-up?
  - Can users find the settings page?
  - Do users understand what each tier includes?
  - What errors do users encounter?

3. 主要なタスクを特定する

ユーザーの主要なジャーニーを表すタスクを3～5個選びます。

Example Tasks (Project Management Tool): 1. Sign up and create account
  2. Create your first project
  3. Invite a team member
  4. Assign a task to someone
  5. Export project data

4. 参加者を募集する

Sample Size:
  - 5-8 users per persona
  - After 5 users, diminishing returns (Nielsen's research)
  - Test in waves: 5 users → fix issues → test 5 more

Recruitment Criteria:
  - Match target persona
  - Haven't used product before (for onboarding tests)
  - Or: Active users (for feature tests)

Incentives:
  - $50-100 per hour (B2C)
  - $100-200 per hour (B2B professionals)
  - Gift cards work well

タスクシナリオ

ベストプラクティス

✅ 良いタスクシナリオ：

"Your team is launching a new project next week. Create a project
called 'Q2 Launch' and invite [email protected] to collaborate."

効果がある理由：

• 現実的な状況
• 明確な目標
• 自然な言葉遣い
• 手順を一つずつ指示していない

❌ 悪いタスクシナリオ：

"Click the 'New Project' button, then enter 'Q2 Launch', then
click Settings, then click Invite, then enter email."

効果がない理由：

• 手順を一つずつ指示している
• 状況説明がない
• 見つけやすさを検証できない
• ユーザーは指示に従うだけになる

タスクシナリオのテンプレート

Scenario: [Context/Motivation]
Goal: [What they need to accomplish]
Success Criteria: [How to know they completed it]

Example:
  Scenario: You're preparing for a client meeting tomorrow and need to review past conversations.
  Goal: Find all conversations with "Acme Corp" from the last 30 days
  Success Criteria: User successfully uses search/filter to find conversations

テストの実施

思考発話法

参加者への重要な指示：

"Please think aloud as you work. Tell me what you're looking for,
what you're thinking, what you're trying to do. There are no
wrong answers - we're testing the product, not you."

注意して聞くこと：

• 「～を探しています」（何を期待しているか）
• 「これは～するものだと思っていました」（メンタルモデル）
• 「～なので混乱します」（摩擦が生じる箇所）
• 「～かどうかわかりません」（不確実さ）

進行ルール

✅ すること：

• 黙って観察する
• メモを取る
• 苦労してもらう（問題が明らかになります）
• タスクの後に追加の質問をする
• 中立を保つ

❌ しないこと：

• 手助けしたり説明したりする
• 誘導する（「クリックしてみては……」など）
• デザインの選択を正当化する
• タスク中に割り込む
• いら立ちを見せる

各タスクの後に尋ねる質問

Completion Questions:
  - 'On a scale of 1-5, how easy was that task?'
  - 'What were you expecting to see?'
  - 'What was confusing about that?'
  - 'If you could change one thing, what would it be?'

Discovery Questions:
  - 'Where did you expect to find that?'
  - 'What do you think this [feature] does?'
  - 'Why did you click there?'

追跡する指標

タスク成功率

Measurement:
  - Completed: User achieved goal without help
  - Partial: User achieved goal with hints
  - Failed: User could not complete task

Calculation: Task Success Rate = (Completed Tasks / Total Attempts) × 100

Target: ≥80% for core tasks

タスク所要時間

Measurement:
  - Start timer when task begins
  - Stop when user completes or gives up

Analysis:
  - Compare to baseline/previous tests
  - Identify outliers (very fast or very slow)

Target: Varies by task complexity
  - Simple task (e.g., log in): <30 seconds
  - Medium task (e.g., create project): 1-2 minutes
  - Complex task (e.g., configure integration): 3-5 minutes

エラー率

Errors:
  - Wrong path taken
  - Incorrect button clicked
  - Had to backtrack
  - Gave up and tried different approach

Calculation: Errors per Task = Total Errors / Number of Users

Target: <2 errors per task

満足度評価

Post-Task Question:
  "How satisfied are you with completing this task?" (1-5 scale)

  1 = Very Dissatisfied
  2 = Dissatisfied
  3 = Neutral
  4 = Satisfied
  5 = Very Satisfied

Target: ≥4.0 average

問題の深刻度評価

深刻度の計算式

Severity = Impact × Frequency

影響度の尺度（1～3）

1 - Low Impact:
  - Minor inconvenience
  - User can easily recover
  - Cosmetic issue

2 - Medium Impact:
  - Causes delay or confusion
  - User eventually figures it out
  - Moderate frustration

3 - High Impact:
  - Blocks task completion
  - User cannot proceed without help
  - Critical to core functionality

発生頻度の尺度（1～3）

1 - Rare:
  - Only 1-2 users encountered
  - Edge case
  - Specific conditions

2 - Occasional:
  - 3-5 users encountered
  - Somewhat common
  - Specific user types

3 - Frequent:
  - Most/all users encountered
  - Consistent issue
  - All user types

総合的な深刻度

Critical (8-9):
  - Impact: 3, Frequency: 3
  - Blocks most users
  → Fix immediately before release

High (6-7):
  - Impact: 3, Frequency: 2 OR Impact: 2, Frequency: 3
  - Significant delay or frequent minor issue
  → Fix before release

Medium (4-5):
  - Impact: 2, Frequency: 2 OR Impact: 3, Frequency: 1
  - Minor frustration or rare blocker
  → Fix in next release

Low (1-3):
  - Impact: 1, Frequency: 1-3
  - Cosmetic or rare minor issue
  → Backlog

システムユーザビリティスケール（SUS）

10問のアンケート（テスト後に実施、5段階のリッカート尺度）：

Questions (Odd = Positive, Even = Negative): 1. I think I would like to use this product frequently
  2. I found the product unnecessarily complex
  3. I thought the product was easy to use
  4. I think I would need support to use this product
  5. I found the various functions well integrated
  6. I thought there was too much inconsistency
  7. I imagine most people would learn this quickly
  8. I found the product cumbersome to use
  9. I felt very confident using the product
  10. I needed to learn a lot before getting going

Scoring:
  - Odd questions: Score - 1
  - Even questions: 5 - Score
  - Sum all scores
  - Multiply by 2.5
  - Result: 0-100 score

Interpretation:
  ≥80: Excellent
  68-79: Good (industry average)
  51-67: OK
  <51: Needs significant improvement

テストレポートのテンプレート

usability_test_summary:
  date: '2024-01-20'
  participants: 8
  participant_profile: 'New users, age 25-45, tech-savvy'

  tasks:
    - task: 'Create a new project'
      success_rate: '87.5% (7/8)'
      avg_time: '1m 24s'
      errors: 1.2 per user
      satisfaction: 4.3/5

    - task: 'Invite team member'
      success_rate: '62.5% (5/8)'
      avg_time: '2m 45s'
      errors: 2.8 per user
      satisfaction: 3.1/5

  issues:
    - issue: "Users can't find 'Invite' button"
      severity: high
      impact: 3
      frequency: 3
      affected_users: 7/8
      recommendation: "Move 'Invite' button to top of project page, make it more prominent"

    - issue: 'Confusion about project vs workspace'
      severity: medium
      impact: 2
      frequency: 3
      affected_users: 6/8
      recommendation: 'Add tooltip explaining difference, update onboarding'

    - issue: 'Export button text unclear'
      severity: low
      impact: 1
      frequency: 2
      affected_users: 2/8
      recommendation: "Change 'Export' to 'Export to CSV'"

  sus_score: 72 (Good)

  key_insights:
    - 'Onboarding is smooth (87.5% success)'
    - 'Team collaboration features hard to discover'
    - 'Overall product easy to use once features are found'

  recommended_actions:
    1. "High priority: Redesign invite flow"
    2. "Medium priority: Add contextual help for workspace vs project"
    3. "Low priority: Update button labels"

リモートテストと対面テスト

リモートテスト（モデレーターあり）

ツール：Zoom、Google Meet、UserTesting.com

Pros:
  - Can test with users anywhere
  - Lower cost (no travel)
  - Easier to recruit
  - Record sessions easily

Cons:
  - Can't see body language as well
  - Technical issues possible
  - Harder to build rapport
  - Screen sharing can lag

Best Practices:
  - Test your setup beforehand
  - Have backup communication method
  - Ask user to share screen + turn on camera
  - Record session (with permission)

対面テスト

Pros:
  - See full body language
  - Better rapport
  - No technical issues
  - Can see facial expressions

Cons:
  - Limited geographic reach
  - Higher cost
  - Harder to schedule
  - Need physical space

Best Practices:
  - Set up quiet room
  - Have snacks/water
  - Use screen recording software
  - Position yourself behind/beside user

テストの頻度

When to Test:
  - Pre-launch: Test prototypes/designs
  - Post-launch: Test new features
  - Ongoing: Test every major release
  - Quarterly: Full usability audit

Continuous Testing:
  - Week 1: Test with 5 users
  - Week 2: Fix issues
  - Week 3: Test with 5 new users
  - Repeat until success rate ≥80%

ツールとソフトウェア

Remote Testing:
  - UserTesting.com (recruit + test)
  - UserZoom (enterprise solution)
  - Lookback (live testing)
  - Maze (unmoderated testing)

Recording:
  - Zoom (screen + audio)
  - Loom (quick recordings)
  - OBS (advanced recording)

Analysis:
  - Dovetail (organize insights)
  - Notion (collaborative notes)
  - Miro (affinity mapping)
  - Excel/Sheets (metrics tracking)

クイックスタートチェックリスト

計画フェーズ

• テストの目的を定義する
• タスクシナリオを3～5個作成する
• 参加者を5～8人募集する
• テスト用の台本を準備する
• 録画環境を整える

テストフェーズ

• 参加者を歓迎する
• 思考発話法について説明する
• タスクを実施する（手助けしない！）
• 追加の質問をする
• SUS アンケートを実施する
• 参加者に感謝を伝える

分析フェーズ

• 成功率を計算する
• 共通する問題を特定する
• 問題の深刻度を評価する
• レポートを作成する
• チームと共有する
• 修正の優先順位を決める

よくある落とし穴

❌ 従業員を対象にテストする：製品をよく知りすぎています
❌ タスク中にユーザーを手助けする：本当の問題を見つけるため、苦労してもらいましょう
❌ スムーズに進むケースだけをテストする：エラーケースやエッジケースもテストしましょう
❌ 参加者が足りない：ペルソナごとに最低5人
❌ 深刻度の低い問題を無視する：積み重なると、体験の質が低下します
❌ テストしても修正しない：結果を活用しなければ、ユーザビリティテストは無意味です

まとめ

優れたユーザビリティテストのポイント：

• ✅ ペルソナごとに5～8人のユーザーを対象にテストする
• ✅ 現実的なタスクシナリオを使う（手順を一つずつ示さない）
• ✅ 思考発話法を用いる（メンタルモデルを理解する）
• ✅ タスク中にユーザーを手助けしない
• ✅ 成功率、時間、エラー、満足度を追跡する
• ✅ 影響度 × 発生頻度で問題の深刻度を評価する
• ✅ リリース前に優先度の高い問題を修正する
• ✅ 一度きりではなく、継続的にテストする