Market Insights Server

Market Insights Server

Apache Spark、OpenAI GPT、MCP プロトコルを使用し、実用的な市場インサイトを生成するリアルタイム商品追跡システムです。

---

機能

• Reddit、ニュース API、Yahoo Finance からのリアルタイムデータ収集
• Apache Spark（PySpark 3.5.0）を使用したスケーラブルな処理
• GPT-4 による自然言語インサイト
• エネルギー、金属、農産物など、あらゆる商品市場に合わせて設定可能
• 動的な設定生成とサブレディットの検出機能を標準搭載
• エラー処理、再試行、非同期収集に対応し、デプロイ可能

---

要件

• Python 3.x
• PySpark 3.5.0
• Spark NLP 4.4.0
• aiohttp
• yfinance
• openai
• beautifulsoup4

依存関係をインストールします。

pip install -r requirements.txt

---

使い方

python spark_market_insights_server.py --commodity "nickel"

出力：

• Reddit とニュースソースからのクリーニング済みテキストデータ
• TF-IDF 特徴量
• GPT-4 を活用したインサイトレポート
• インサイトの JSON エクスポート

---

アーキテクチャ

1. データ収集レイヤー

   • Reddit とニュース記事を非同期でスクレイピング
   • ライブ価格データの取得に Yahoo Finance を使用

2. 処理レイヤー（Apache Spark）

   • トークン化 → ストップワードの除去 → TF-IDF ベクトル化
   • Spark NLP パイプラインに対応

3. AI インサイトレイヤー

   • OpenAI GPT-4 を使用して市場の動向を要約・統合

4. 設定レイヤー

   • 商品ごとに関連するサブレディットとキーワードを自動で特定

---

🔍 出力例

「インドネシアの新たな輸出禁止措置を受けて、ニッケル価格が急上昇しました。Reddit のセンチメントは強気で、投稿では供給制約が予想されています。市場データでは、NIO や LI などの EV 関連株の連動した上昇が見られます。」

---

🛠 トラブルシューティング

問題	対処方法
Spark のステージが停止する	メモリ設定を確認し、入力データを再パーティション化します
API が 429 を返す	バックオフ／再試行ロジックを追加し、API キーをローテーションします
GPT が空の応答を返す	最新モデルを使用し、プロンプトを調整します

---

今後の予定

• 商品の分析対象に Youtube 動画を追加
• Smithery.ai で公開ダッシュボードを提供

---

貢献

新しいデータソースやインサイトモデルをお持ちですか？PR を歓迎します！

---

ライセンス

MIT License