DuckDB による統計情報の保存と HTTP API 経由での統計情報の取得

.gitignore

@@ -34,14 +34,32 @@
 zakuro
 core
 *.tar.gz
-webrtc_logs_0
+webrtc_logs_*
 .DS_Store
 *.swp
+*.log
 
 *.jsonc
 
 /_package
 /_source
 /_build
 /_install
-/__pycache__
+/__pycache__
+*.pyc
+
+# DuckDB
+
+*.db
+*.ddb
+*.wal
+
+# Claude
+
+/.claude
+CLAUDE.local.md
+
+
+# yaml
+*.yaml
+*.yml

CHANGES.md

@@ -20,6 +20,40 @@
   - @voluntas
 - [CHANGE] kuzushi 機能を削除する
   - @voluntas
+- [ADD] DuckDB を使用した WebRTC 統計情報の永続化機能を追加する
+  - 統計情報は `zakuro_YYYYMMDD_HHMMSS_mmm.db` 形式のファイルに保存される
+  - 対応済み WebRTC 統計情報
+    - `codec`
+    - `outbound-rtp`
+    - `inbound-rtp`
+  - @voluntas
+- [ADD] ビルドシステムに DuckDB のダイナミックライブラリを追加する
+  - @voluntas
+- [ADD] DuckDB ファイルの出力先ディレクトリを指定する `--duckdb-output-dir` オプションを追加する
+  - 指定しない場合はカレントディレクトリに出力される
+  - @voluntas
+- [ADD] DuckDB への統計情報出力を無効化する `--no-duckdb-output` オプションを追加する
+  - @voluntas
+- [ADD] HTTP サーバー機能を追加する
+  - `--http-port` オプションで HTTP サーバーを起動可能
+    - `none` を指定すると HTTP サーバーを起動しない
+    - デフォルトは `none`
+  - `--http-host` オプションで HTTP サーバーのバインドアドレスを指定可能
+    - デフォルトは `127.0.0.1`
+  - @voluntas
+- [ADD] JSON-RPC 2.0 over HTTP/1.1 対応の `/rpc` エンドポイントを追加する
+  - `version` メソッドで Zakuro および関連ライブラリのバージョン情報を取得可能
+  - `query` メソッドで DuckDB に対する SQL クエリを実行可能
+  - @voluntas
+- [ADD] 実験的に UI 機能を追加する
+  - `--ui-remote-url` オプションで UI の URL を設定可能
+  - デフォルトは <http://localhost:5173>
+  - @voluntas
+- [ADD] HTTP プロキシに HTTPS サポートを追加する
+  - SSL/TLS 接続、証明書検証、SNI をサポート
+  - @voluntas
+- [FIX] VirtualClient::OnDisconnect で rtc_stats_timer_ のキャンセル処理が欠落していた問題を修正する
+  - @voluntas
 
 ### misc
 

CLAUDE.md

@@ -1,7 +1,9 @@
 # CLAUDE.md
 
+- Premature Optimization is the Root of All Evil
 - 一切忖度しないこと
 - 常に日本語を利用すること
+- 全角と半角の間には半角スペースを入れること
 
 ## レビューについて
 
@@ -13,4 +15,17 @@
 - レビューの表現は、指摘内容を優先順位をつけること
 - レビューの表現は、指摘内容を優先順位をつけて、重要なものから順に記載すること
 - ドキュメントは別に書いているので、ドキュメトに付いては考慮しないこと
-- 変更点とリリースノートの整合性を確認すること
+- 変更点とリリースノートの整合性を確認すること
+
+## ビルドについて
+
+- Ubuntu x86_64 / arm64 または macOS arm64 をターゲットとすること
+- ビルドエラーは無視しないこと
+- ビルドは `python3 run.py <ubuntu-22.04_x86_64|ubuntu-24.04_x86_64|macos_arm64>` で行うこと
+  - 利用しているアーキテクチャを指定すること
+- クリーンは `git clean -ffdx -e libopenh264-*-mac-arm64.dylib -e CLAUDE* -e .claude/*` で行うこと
+
+## DuckDB について
+
+- テーブル名は単数形を採用すること
+- 変更点とリリースノートの整合性を確認すること

CMakeLists.txt

@@ -2,8 +2,6 @@ cmake_minimum_required(VERSION 3.23)
 
 # Only interpret if() arguments as variables or keywords when unquoted.
 cmake_policy(SET CMP0054 NEW)
-# MSVC runtime library flags are selected by an abstraction.
-cmake_policy(SET CMP0091 NEW)
 
 project(zakuro C CXX)
 
@@ -20,22 +18,45 @@ find_package(Threads REQUIRED)
 find_package(Blend2D REQUIRED)
 find_package(CLI11 REQUIRED)
 
+# DuckDB を手動で設定（システムのライブラリを使わないため）
+set(DuckDB_INCLUDE_DIRS ${DUCKDB_ROOT_DIR}/include)
+
+# プラットフォーム別のダイナミックライブラリ設定
+if(ZAKURO_PLATFORM STREQUAL "macos_arm64")
+    # macOSの場合は .dylib
+    set(DuckDB_LIBRARIES ${DUCKDB_ROOT_DIR}/lib/libduckdb.dylib)
+elseif(ZAKURO_PLATFORM STREQUAL "ubuntu-22.04_x86_64" OR ZAKURO_PLATFORM STREQUAL "ubuntu-24.04_x86_64")
+    # Linuxの場合は .so
+    set(DuckDB_LIBRARIES ${DUCKDB_ROOT_DIR}/lib/libduckdb.so)
+else()
+    message(FATAL_ERROR "Unsupported platform for DuckDB: ${ZAKURO_PLATFORM}")
+endif()
+
 add_executable(zakuro)
 
 set_target_properties(zakuro PROPERTIES CXX_STANDARD 17 C_STANDARD 17)
 set_target_properties(zakuro PROPERTIES POSITION_INDEPENDENT_CODE ON)
 
+# RPATH設定
+set_target_properties(zakuro PROPERTIES BUILD_RPATH_USE_ORIGIN ON)
+
 string(SUBSTRING "${ZAKURO_COMMIT}" 0 8 ZAKURO_COMMIT_SHORT)
 string(SUBSTRING "${WEBRTC_COMMIT}" 0 8 WEBRTC_COMMIT_SHORT)
 configure_file(src/zakuro_version.gen.h.template ${CMAKE_CURRENT_BINARY_DIR}/zakuro_version.gen.h)
 target_include_directories(zakuro PRIVATE ${CMAKE_CURRENT_BINARY_DIR})
 # OpenH264
 target_include_directories(zakuro PRIVATE ${OPENH264_ROOT_DIR}/include)
+# DuckDB
+target_include_directories(zakuro PRIVATE ${DuckDB_INCLUDE_DIRS})
 
 target_sources(zakuro
   PRIVATE
+    src/duckdb_stats_writer.cpp
+    src/duckdb_utils.cpp
     src/embedded_binary.cpp
     src/fake_video_capturer.cpp
+    src/http_server.cpp
+    src/json_rpc.cpp
     src/main.cpp
     src/nop_video_decoder.cpp
     src/util.cpp
@@ -55,8 +76,15 @@ target_link_libraries(zakuro
     Boost::filesystem
     CLI11::CLI11
     Blend2D::Blend2D
+    ${DuckDB_LIBRARIES}
 )
 
+
+# Ubuntu 24.04 での追加のリンクオプション
+if(CMAKE_SYSTEM_NAME STREQUAL "Linux")
+    target_link_libraries(zakuro PRIVATE pthread dl)
+endif()
+
 target_compile_definitions(zakuro
   PRIVATE
     # CLI11 は C++17 でのビルドにおいて std::filesystem を利用するが、これを clang で解決するには c++fs のリンクが必要になる。
@@ -176,6 +204,18 @@ if (ZAKURO_PLATFORM STREQUAL "macos_arm64")
   target_compile_options(zakuro PRIVATE -fconstant-string-class=NSConstantString)
   target_link_options(zakuro PRIVATE -ObjC)
   set_target_properties(zakuro PROPERTIES CXX_VISIBILITY_PRESET hidden)
+  # DuckDBダイナミックライブラリのRPATH設定
+  set_target_properties(zakuro PROPERTIES
+    BUILD_RPATH_USE_ORIGIN ON
+    INSTALL_RPATH "@executable_path"
+    BUILD_WITH_INSTALL_RPATH TRUE
+  )
 
 elseif (ZAKURO_PLATFORM STREQUAL "ubuntu-20.04_x86_64" OR ZAKURO_PLATFORM STREQUAL "ubuntu-22.04_x86_64" OR ZAKURO_PLATFORM STREQUAL "ubuntu-24.04_x86_64")
+  # LinuxでのRPATH設定
+  set_target_properties(zakuro PROPERTIES
+    BUILD_RPATH_USE_ORIGIN ON
+    INSTALL_RPATH "$ORIGIN"
+    BUILD_WITH_INSTALL_RPATH TRUE
+  )
 endif()

DEPS

@@ -6,3 +6,4 @@ CMAKE_VERSION=4.0.3
 BLEND2D_VERSION=0.12.0
 BLEND2D_SHA256_HASH=8d2f9466451fc0e464bf67edef34c28391a5bf57d26d684453a03d1a1a5b2730
 OPENH264_VERSION=v2.6.0
+DUCKDB_VERSION=v1.3.2

buildbase.py

@@ -2150,6 +2150,50 @@ def install_aom(version, source_dir, build_dir, install_dir, configuration, cmak
         cmd(["cmake", "--install", aom_build_dir])
 
 
+@versioned
+def install_duckdb(version, source_dir, install_dir, platform):
+    duckdb_install_dir = os.path.join(install_dir, "duckdb")
+    rm_rf(duckdb_install_dir)
+    mkdir_p(duckdb_install_dir)
+
+    # プラットフォーム別のダウンロードURL（ダイナミックライブラリ）
+    if platform == "macos_arm64":
+        # macOS用のuniversalバイナリを使用
+        url = f"https://github.com/duckdb/duckdb/releases/download/{version}/libduckdb-osx-universal.zip"
+    elif platform in ("ubuntu-22.04_x86_64", "ubuntu-24.04_x86_64"):
+        url = f"https://github.com/duckdb/duckdb/releases/download/{version}/libduckdb-linux-amd64.zip"
+    else:
+        raise Exception(f"Unsupported platform for DuckDB: {platform}")
+
+    # ダウンロードと展開
+    path = download(url, source_dir)
+    with cd(duckdb_install_dir):
+        cmd(["unzip", "-q", path])
+
+    # ディレクトリ構造を整理
+    # include ディレクトリを作成してヘッダーファイルを移動
+    include_dir = os.path.join(duckdb_install_dir, "include")
+    mkdir_p(include_dir)
+
+    # ヘッダーファイルを移動（C APIのヘッダーのみ）
+    if os.path.exists(os.path.join(duckdb_install_dir, "duckdb.h")):
+        shutil.move(os.path.join(duckdb_install_dir, "duckdb.h"), include_dir)
+
+    # lib ディレクトリを作成してライブラリファイルを移動
+    lib_dir = os.path.join(duckdb_install_dir, "lib")
+    mkdir_p(lib_dir)
+
+    # ダイナミックライブラリファイルを移動
+    if platform == "macos_arm64":
+        # macOSの場合は .dylib ファイル
+        for lib_file in glob.glob(os.path.join(duckdb_install_dir, "*.dylib")):
+            shutil.move(lib_file, lib_dir)
+    elif platform in ("ubuntu-22.04_x86_64", "ubuntu-24.04_x86_64"):
+        # Linuxの場合は .so ファイル
+        for lib_file in glob.glob(os.path.join(duckdb_install_dir, "*.so")):
+            shutil.move(lib_file, lib_dir)
+
+
 class PlatformTarget(object):
     def __init__(self, os, osver, arch, extra=None):
         self.os = os