workspace/
└─ feature_repo/
    ├─ data/ (以下を実行時に自動的に作成される)
    └─ feature_store.yaml

project: paysim
registry: data/registry.db
provider: local
online_store:
    type: sqlite
    path: data/online_store.db
entity_key_serialization_version: 2

import pandas as pd
from feast import FeatureStore, Entity, FeatureView, Field, ValueType, FileSource
from feast.types import Int64, Float32, Array
from feast.data_format import ParquetFormat
from datetime import datetime

# CSV ファイルを読み込む
df = pd.read_csv('train.csv')

# 行番号 (1~) を entity key として追加
df['node_id'] = df.index + 1
# FeatureView には timestamp が必要なので dummy を入れる
df['event_timestamp'] = datetime.utcnow()

# column embedding_[0-15] をひとつの embedding にまとめる
emb_columns = [f'embedding_{i}' for i in range(16)]
df['embedding'] = df[emb_columns].apply(lambda row: row.values.tolist(), axis=1)
df.drop(columns=emb_columns, inplace=True)

# CSV ファイルを Parquet ファイルに変換する
df.to_parquet('train.parquet')

# Entity key
e1 = Entity(name="node_id", value_type=ValueType.INT64, description="Node ID")

# データソースの設定
file_source = FileSource(
    path="train.parquet",
    file_format=ParquetFormat()
)

# Feature View の設定
feature_view = FeatureView(
    name="paysim_train",
    entities=[e1],
    ttl=None,
    source=file_source,
    online=True,
    schema=[
        Field(name="is_fraudster", dtype=Int64),
        Field(name="num_transactions", dtype=Int64),
        Field(name="total_transaction_amnt", dtype=Float32),
        # alpha feature https://docs.feast.dev/reference/alpha-vector-database
        Field(name="embedding", dtype=Array(Float32)),
    ]
)

# Feature Store の設定
fs = FeatureStore(repo_path="feature_repo/")

# Entity と Feature View を登録
fs.apply([e1, feature_view])

# データをロード
fs.materialize_incremental(end_date=datetime.utcnow())

import pandas as pd
from feast import FeatureStore

fs = FeatureStore(repo_path="feature_repo/")

entity_df = pd.DataFrame({"node_id": list(range(1, 3301))})
features = fs.get_online_features(
    features=[
        "paysim_train:is_fraudster",
        "paysim_train:num_transactions",
        "paysim_train:total_transaction_amnt",
        "paysim_train:embedding",
    ],
    entity_rows=entity_df.to_dict(orient="records")
).to_df()

print(features)

# ひとつの field に配列として保持されている embedding を独立した field にばらす
# embedding -> embedding_1, embedding_2, ...
embedding_df = pd.DataFrame(features['embedding'].tolist(), index=features.index)
embedding_df.columns = [f'embedding_{i+1}' for i in range(embedding_df.shape[1])]
features = pd.concat([features, embedding_df], axis=1).drop(columns=['embedding'])

# (A) (後述のための印)

# 特徴量とラベルの分割
X = features.drop('is_fraudster', axis=1)
y = features['is_fraudster']

# 3. データの分割
# データをトレーニングセットとテストセットに分割します。
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 4. モデルの選択とトレーニング
# ここでは、ランダムフォレストを例にとります。
from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)

# 5. モデルの評価
# テストセットを使ってモデルの性能を評価します。
from sklearn.metrics import accuracy_score, classification_report
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy}')
print(classification_report(y_test, y_pred))

# 6. モデルの保存
# トレーニングしたモデルを保存します。
import joblib
joblib.dump(model, 'fraud_detection_model.pkl')

pip install scikit-learn

# 保存されたモデルの読み込み
model = joblib.load('fraud_detection_model.pkl')

# feature store から取得したデータから答え (label) を分離する
X = features.drop('is_fraudster', axis=1)
y_true = features['is_fraudster']

# 予測の実行
predictions = model.predict(X)

# 精度スコアと分類レポートの生成
accuracy = accuracy_score(y_true, predictions)
report = classification_report(y_true, predictions)

print(f'Accuracy: {accuracy}')
print('Classification Report:')
print(report)

# entity_df = pd.DataFrame({"node_id": list(range(1, 3301))}) # ここを変更
entity_df = pd.DataFrame({"node_id": [0, 5, 10, 15, 18, 20]})
features = fs.get_online_features(
    ...

Accuracy: 1.0
Classification Report:
              precision    recall  f1-score   support

           0       1.00      1.00      1.00         2
           1       1.00      1.00      1.00         4

    accuracy                           1.00         6
   macro avg       1.00      1.00      1.00         6
weighted avg       1.00      1.00      1.00         6

$ sudo apt install sqlite3
  ...
$ sqlite3 ./feature_repo/data/online_store.db 
  ...

sqlite> SELECT name FROM sqlite_master WHERE type='table';
paysim_paysim_train

sqlite> .schema paysim_paysim_train
CREATE TABLE paysim_paysim_train (entity_key BLOB, feature_name TEXT, value BLOB, vector_value BLOB, event_ts timestamp, created_ts timestamp,  PRIMARY KEY(entity_key, feature_name));
CREATE INDEX paysim_paysim_train_ek ON paysim_paysim_train (entity_key);

sqlite> SELECT hex(entity_key), feature_name FROM paysim_paysim_train LIMIT 10 ;
020000006E6F64655F696404000000080000000000000000000000|embedding
020000006E6F64655F696404000000080000000000000000000000|is_fraudster
020000006E6F64655F696404000000080000000000000000000000|num_transactions
020000006E6F64655F696404000000080000000000000000000000|total_transaction_amnt
020000006E6F64655F696404000000080000000001000000000000|embedding
020000006E6F64655F696404000000080000000001000000000000|is_fraudster
020000006E6F64655F696404000000080000000001000000000000|num_transactions
020000006E6F64655F696404000000080000000001000000000000|total_transaction_amnt
020000006E6F64655F696404000000080000000002000000000000|embedding
020000006E6F64655F696404000000080000000002000000000000|is_fraudster