test: 手元用兼CodSpeed用のベンチマークを用意する #1153

qryxip · 2025-09-11T17:49:53Z

内容

次の両方の役割を果たせるベンチマークコードを追加し、2.をCodSpeedに載せるようにする。

TTSの速度に変化があったときにアナウンスできるようにするための、GPUと製品版VVMを使ってPC上で行うベンチマーク
意図せぬパフォーマンス低下が無いかどうかをチェックするための、CPUとsample.vvmを使ってCI上で行うベンチマーク

CIでのベンチマークは、すべてubuntu-latest上でのwalltimeとする。CodSpeed Macro Runnerを使うためにはいくつかハードルがありそうなので、このPRでは諦める。
(cf. #1153 (comment))

その他

qryxip · 2025-09-11T18:00:03Z

@Hiroshiba CodSpeedを利用するにはCodSpeed HQというGitHub Appをインストールする必要があります。VOICEVOX/voicevox_coreを対象にrequestを飛ばしたので、(そちらからはどう見えるのかわかりませんが)ご検討頂けないでしょうか。

参考: https://codspeed.io/docs/integrations/providers/github#permissions

Hiroshiba · 2025-09-11T21:32:39Z

@qryxip すみません、先にGo/NoGoを決めたいです！
PR見てコード量把握しました。コード量はそんなに厳しくなさそうなので問題なさそう！

目的を言語化しておきたいです。
聞く理由は、メンテナ間の合意形成のためと、コミッターがゴールを想像できるようにと、レビューしやすいように、です。
目的はドキュメントに書いて、メンテナンス性を上げたいなと思ってます。

僕が決めると「TTSの速度に変化があったときにアナウンスできるようにするため」とかになっちゃって、.tts以外のパフォーマンス測定はあってもなくても良いとなってしまいそうです。
（「やってみたかったというのが理由の大半」とかでもOKです。それはそれで、例えば後々消す判断をしやすかったり。）

その目的からこの辺りを導き出したみ。
逆に言うとこのあたりの仕様（理想）を決められるような目的を作っておくと良さそう。

何を測るのか（e2eのみ？各ラッパーも全部？非同期も？ソングも？文量は？）
遅いときどうなるようにするか（テストfail？測るだけ？どこかに通知？）
いつ動くようにするのか（mainマージ時？push時？リリース時？）
何をドキュメントに書くのか（どうやって測るのかとか、CodSpeedの見方とか、URLとか）

Hiroshiba · 2025-09-11T21:36:33Z

crates/voicevox_core/benches/gpu-and-voicevox-vvm.rs

これってcpu-and-sample-vvm.rs側と結構被ってたりしそうでしょうか。
であれば共通化しておくのも良いのかもな〜と思いました！

TODOコメントでも良さそう。

CPU←→GPUだったりsample.vvm←→製品版VVMだったりサンプル数の差はあります。

ただ今気付いたのですが、それらは外部から注入可能です。となると共通化はできそうだし、した方がよさそうに思えてきました。注入の経路は環境変数でJSONを流し込むというのがよさそうかな。"gpu-and-voicevox-vvm"なんてものはどうせしばらく私かヒホさんしかやらないだろうから、少々変な手順になってもよいはず。

注入の経路は環境変数でJSONを流し込む

ま～とりあえずそれで良さそう感！
どこかにドキュメント置いときたいですね。

crates/voicevox_core/benches/gpu-and-voicevox-vvm.rs

qryxip · 2025-09-12T17:07:02Z

TTS以外にも意図せぬパフォーマンス低下が無いかどうかをチェックしたい、というのも目的にしたいです。できればCIで動くテストと同列に考え、pull_requestトリガーでも動作するようにしたいです。利点としては、外部ライブラリのアップデート(例: #1147)やリファクタを安心して行えるようになる効果があると考えています。例えば私はCOREについて以下のようなことが気になっています。

Rustの同期APIとPythonの非同期APIの間には、blockingクレート、PyO3、Python本体、あとはvoicevox_core_python_apiのちょっとした機構が挟まっています。ちなみに我々は今PyO3のasyncio対応を利用していますが、これはexperimentalだそうです。
VVMをZIPとして読み込むところではasync_zipというライブラリを使っています。これは中でそこそこ複雑なことをしており、実際パフォーマンス関係のトラブルが過去にありました (#747 (comment))。

Hiroshiba · 2025-09-12T17:30:11Z

TTS以外にも意図せぬパフォーマンス低下が無いかどうかをチェックしたい

なるほどです！
僕が目標として書いたTTSの速度に変化があったときにアナウンスできるようにするためは内包されてそう。

であれば、主要なユーザー操作のe2eのパフォーマンス計測が重要で、あとは問題が起きそうなとこを計測って感じですかね！
前者の計測結果が遅かったら後者を動かして原因を探るのが自然だけど、計測がすぐ完了するならどっちもやっても良さそう。

となると、目的から導けるのはこんな感じですかね！

何を測るのか
- e2e
- 各言語ラッパーe2e（主要なのだけでも良いかも）
- 非同期も
- ソングも（願わくば）
- 問題が起きそうなとこ？
遅いときどうなるようにするか
- テストfailか、どこかに通知
いつ動くようにするのか
- push時か、mainマージ時
何をドキュメントに書くのか
- 目的
- どうやって測るのかとか、CodSpeedの見方とか？

Hiroshiba · 2025-09-12T17:36:35Z

crates/voicevox_core/benches/cpu-and-sample-vvm.rs

+const MIDDLE_INPUT: InputText = InputText {
+    name: "MIDDLE",
+    value: "この音声は、ボイスボックスを使用して、出力されています。",
+};


これ最初だけはpythonとの比較用に有用ですが、次回以降いらなくなりそう･･･！
遅くなったら消しても良いな、くらい。

一つ削るのはよさそうですね。今のSHORTを削ってMIDDLEとLONGの二つにするというのもよいかも。というのも"こんにちは"は"こんにちは"で短すぎるので、たくさん計測しないとブレが出そうかなと思っています。実際qryxip/voicevox_coreにてサンプル数100×10で試したときは何もしていないのに「+17%の速度改善」がされてしまいました。
(ただ、デフォルトのモードであるCPU Instrumentationだったらブレがもうちょっとマシにはなっていたとは思います)

SHORTを消し、MIDDLEをSHORTにリネームしました。

PRにおいてはLONGのベンチをしないようにしました。mainブランチではされるはずです。

LONG抜きだと実行時間はこんな感じになりました。結構余裕ありそうなのでベンチ内容をもうちょっと盛ってもよいかも？

Rust API

Python API

[追記] Macro Runnerの制限が月120分から月600分になったらしいので、そっちを使えば時間はもっと縮むかもしれません。
#1153 (comment)

Hiroshiba · 2025-09-12T17:57:27Z

@qryxip Github Appをインストールしました！
https://codspeed.io/VOICEVOX/voicevox_core で見れるはず？

qryxip · 2025-09-13T19:27:26Z

86af1ff (#1153): 色々。

codspeed-hq · 2025-09-13T19:33:10Z

CodSpeed Performance Report

Congrats! CodSpeed is installed 🎉

🆕 16 new benchmarks were detected.

You will start to see performance impacts in the reports once the benchmarks are run from your default branch.

Detected benchmarks

analyze_text[SHORT] (315.5 µs)
construct_open_jtalk (88 µs)
open_and_close_vvm (402.1 µs)
replace_mora_pitch[SHORT] (614.7 µs)
replace_phoneme_length[SHORT] (106.9 µs)
synthesis[SHORT] (2.3 s)
unload_and_load_vvm (1.8 s)
analyze_text[SHORT] (358.4 µs)
construct_open_jtalk (137.1 µs)
open_and_close_vvm (1.4 ms)
replace_mora_pitch[SHORT] (664.7 µs)
replace_phoneme_length[SHORT] (137.7 µs)
synthesis[SHORT] (2.3 s)
unload_and_load_vvm (1.9 s)
test_asyncio_tts (2.3 s)
test_blocking_tts (2.3 s)

qryxip · 2025-09-13T19:52:11Z

crates/voicevox_core/benches/benches.rs

+//! [`CONFIG`]の内容は環境変数`VOICEVOX_CORE_BENCH_CONFIG`から上書きすることができる。
+//!
+//! # 例


📝 rustdocの特殊記法 ([`Rustのシンボル`]はRustのシンボルへのリンクになり、#は<h2>になる)。

qryxip · 2025-09-13T19:56:49Z

.github/workflows/rust-benchmarks.yml

+      - name: Set up Rust toolchain, cache and cargo-codspeed binary
+        uses: moonrepo/setup-rust@v1
+        with:
+          bins: cargo-codspeed
+          cache-target: release
+          inherit-toolchain: true


📝 このsetup-rustはCodSpeedのドキュメントで紹介されていたもの。今回使ってみて結構よさそうだったので、 #313 から使い続けてきてる機構をこれで置き換えてみたい。

.github/workflows/python-benchmarks.yml

qryxip · 2025-09-14T06:37:40Z

↑ CodSpeedHQ/actionの最中にGHAをキャンセルするとこうなるっぽい？

[追記] あ、CodSpeedのメッセージが消えた！(これ↓)

qryxip · 2025-09-14T07:24:07Z

以前話した、"16-core ARM64 CPU, 32 GB RAM"というスペックだけど月120分しか使えないというMacro Runnerですが先週の時点で月600分になったようです。しかも"open source project"であれば連絡すれば増加を検討してくれるようです。

More Free Macro Runners minutes

Starting today, every plan comes with 600 free macro runner minutes per month (previously 120) for the Walltime instrument. That's more room to run your benchmarks without worrying about hitting limits.

Open Source Boost

Working on an open source project? We'll happily grant even more minutes. Just send us a note with a few details about your repo.

More Free Macro Runners minutes - Changelog - CodSpeed

ベンチマークの時間が短縮されるであろう上にブレもおそらくかなり軽減されることを考えると、検討の余地があると思います。なおサードパーティのrunnerを使う関係上、organizationからの設定が必要なようです。
Usage on public repositories - Walltime Instrument Overview - CodSpeed Docs

[追記] 仮に月600分じゃ足りなかったとしても、そのときになってからでもGHAランナーに戻せるのでMacro Runnerからトライしてみるのは十分にありだと思います。

Hiroshiba · 2025-09-14T08:35:40Z

時間が足りなくなったら差がわからなくなってTTSの速度に変化があったときにアナウンスできるようにするためが満たせないので、足りなくなったら目標未達なのでダメと考えといて良さそうに思います。
１回３分くらいだとして、pushのたびだと厳しいかも（そうでもないかも）、mainマージ時だったら絶対大丈夫、位の感じですかね？

ブレもおそらくかなり軽減される

これ理由気になりました！差を知らないので、特にブレが軽減されそうな理由が思いつかなかったためです。
ちなみにGithub Actionsのブレは、目的を達成できないほどひどかったりしますかね？

Copilot

Pull Request Overview

This PR sets up benchmarking infrastructure for both local development and CI integration with CodSpeed. The benchmarks serve two purposes: performance monitoring during ONNX Runtime changes and automated CI benchmarking to detect performance regressions.

Adds comprehensive benchmark suites for both Rust and Python APIs
Integrates with CodSpeed service for continuous performance monitoring
Updates dependency versions across the workspace

Reviewed Changes

Copilot reviewed 10 out of 13 changed files in this pull request and generated 2 comments.

Show a summary per file

File	Description
docs/guide/dev/benchmarks.md	Documents the benchmarking strategy and usage
deny.toml	Updates build script hashes for dependency version changes
crates/voicevox_core_python_api/python/benches/test_tts.py	Implements Python benchmark suite with CodSpeed integration
crates/voicevox_core_python_api/pyproject.toml	Adds pytest-codspeed dependency and Pyright configuration
crates/voicevox_core/benches/benches.rs	Implements comprehensive Rust benchmark suite
crates/voicevox_core/Cargo.toml	Configures benchmark binary with required features
Cargo.toml	Updates workspace dependencies and adds divan benchmarking framework
CHANGELOG.md	Documents dependency version changes
.github/workflows/test.yml	Excludes benchmark directory from pytest runs
.github/workflows/benchmarks.yml	Adds CI workflow for automated benchmark execution

_{Tip: Customize your code reviews with copilot-instructions.md. Create the file or learn how to get started.}

crates/voicevox_core/benches/benches.rs

Hiroshiba

Rustコードのレビューは @sevenc-nanashi さん頼れるとありがたい！
けどざっと見た感じ別に大丈夫そう感！

Hiroshiba · 2025-09-14T09:27:29Z

.github/workflows/benchmarks.yml

+      - name: Set up Rust toolchain and cache
+        uses: moonrepo/setup-rust@v1
+        with:
+          cache-target: release
+          inherit-toolchain: true
+
+      - name: Set up Python 3.10
+        uses: actions/setup-python@v6
+        with:
+          python-version: "3.10"
+
+      - name: Install Poetry
+        run: pip install --upgrade poetry
+
+      - name: Set up test data
+        run: cargo check -vp test_util


（ただのコメントです）

このあたり共通化していっても良いかもですね！
Rustをセットアップするaction、pythonをsetupするaction、みたいな。
もちろんこのPRじゃなくても良さそう。

Hiroshiba · 2025-09-14T09:28:38Z

.github/workflows/test.yml

      - run: poetry run maturin develop --locked
      - name: pytestを実行
-        run: poetry run pytest
+        run: poetry run pytest ./python/test/


ちなみにこの差の理由とかあったりしますか 👀

それが無いと./python/benches/test_tts.pyが「テスト」として実行されます。ちなみにそのときの挙動としては、私が観察した限りでは「pytest_codspeedとして設定した(warmup_)roundsの回数を無視してベンチの内容が一度だけ実行される」というものらしいです。

以上よりベンチを含めても多分無害ではあるとは思うのですが、ここでの「pytestを実行」の趣旨とは外れてくるかなと思い./python/test/に限定しました。

あ、なるほどです！！

「pytestを実行」という目的からならpytestをそのまま動かすほうが良さそう感。
「pytestでベンチマーク以外のテストを実行」ならこれで良さそう感。

「pytestでテストを実行」だけでも良いかも。
（ベンチマークもテストな気がするから違和感あるけど、まあ。。。諦められる範囲かも。）

docs/guide/dev/benchmarks.md

qryxip · 2025-09-14T16:35:01Z

時間が足りなくなったら差がわからなくなってTTSの速度に変化があったときにアナウンスできるようにするためが満たせない

アナウンスできそうなレベルのTTS速度の変化が期待できそうなときはどの道Windows PCのGPUでやる(benchmarks.mdに書いた1.の方)というのを考えてました。CIでやる目的はあくまで不意のリグレッションを防ぐのを主にした方がよいかなと。

色々予想できないところが多いのでとりあえず一度運用してみて、600分のうち200分くらい使ったら再考する形はどうでしょうか？"send us a note with a few details about your repo"もそのときに考えたいかなと思ってます。

これ理由気になりました！差を知らないので、特にブレが軽減されそうな理由が思いつかなかったためです。

"low noise and high precision"と謳ってるからですね。CodSpeedのデフォルト実行モード(CPU Instrumentation)ではGHAランナーのノイズを低減するために、わざわざValgrindを使って数十倍の時間をかけて実行するくらいなのでそれに匹敵するというのであれば期待できそうです。

あとGHAのランナーは実行の安定性について一切保証してないので、高精度を謳ってくれるだけ期待できるかなと思った次第です。まあ一度試さないとよくわからないとは思います。

ちなみにGithub Actionsのブレは、目的を達成できないほどひどかったりしますかね？

「"こんにちは"のreplace_durationをベンチしてたら、何もしていないのに「17%の速度改善」がされてしまった」ということは起きました。ちなみにこのときのサンプル回数は100×10回でした。
#1153 (comment)

"こんにちは"じゃなくしても、"regression"のしきいである10%ギリギリまでは結構ブレるという体感です。GHAでやるのなら、regression扱いを撤回させるためにベンチをre-runするということが今後たまにあるかもしれません。

Hiroshiba · 2025-09-14T16:45:58Z

時間が足りなくなったら差がわからなくなってTTSの速度に変化があったときにアナウンスできるようにするためが満たせない

アナウンスできそうなレベルのTTS速度の変化が期待できそうなときはどの道Windows PCのGPUでやる(benchmarks.mdに書いた1.の方)というのを考えてました。

あ、目的の片方だけ引用しましたが、もう片方の目的も満たせないのではと思っています。
まあテスト回し直せば比較できるんだけど、それだったら最初からずっとGithub Runnerで良くね？って思いです。

ブレがでかいのは厄介ですね！
かつリモートでブレが少ないのであれば、試してみる価値はありそう。

とりあえず現時点で600min/月を超えそうかどうかだけ見積もってみるのはどうでしょうか。
１回辺り何分かかるか調べてるだけでOKだと思います。
それで何回動かせるか計算して、超えそうかなんとなく考えるくらいで良いのかなと。

ということで１回CodSpeedのリモート環境で動かしてみるのはどうでしょう？

Co-authored-by: Hiroshiba <[email protected]>

qryxip · 2025-09-14T17:50:36Z

ということで１回CodSpeedのリモート環境で動かしてみるのはどうでしょう？

そうですね。このPRをマージしなくてもこのPRの中で試せると思います。ただそのためには、organization側での設定が必要なようです(↓)。ということで"Organization Settings > Actions > Runner groups > Default"の"Repository Access"の設定をお願いできないでしょうか。

なおサードパーティのrunnerを使う関係上、organizationからの設定が必要なようです。
Usage on public repositories - Walltime Instrument Overview - CodSpeed Docs

Hiroshiba · 2025-09-14T19:21:18Z

@qryxip
なるほどです！！
Defaultランナーグループの権限を変えるのちょっと危なそうに感じたので、CodSpeed Runner Groupを作ってみました！

ただこのグループにCodSpeedのRunnerを追加できてないので、このグループの設定が反映されない気もします。。

Hiroshiba · 2025-09-14T20:54:34Z

なんかダメっぽかったのでCodSpeedランナーブループは消しました！ 🙏

This reverts commit 8235e09.

This reverts commit df11bc1.

qryxip · 2025-09-15T16:10:10Z

ダメっぽかったので、Walltime on GHAランナーに戻すことに…。

CodSpeed Macro Runnerを使うためのハードルは多分こんな感じ。このPRでは諦める。

たまたま不調だったのかはわからないけど、滅茶苦茶遅かったのでそこの対策
月600分を超過して使うためのお願いをしに行く
Runner Groupが現時点で未対応なので、対応されるまで待つ

6633798 (#1153): // warmupというコメントは多分不要なので削除
ccf1f84 (#1153): 説明が間違ってた箇所を修正

Hiroshiba

１つ確認が問題なさそうであればLGTM！！

これってベンチマークが10%とか差があったとき、テストfailする感じでしょうか？ 👀
もしそうならしばらくはワーニングにしとくのもありかもとか思いました！
どれくらいブレるかわからないので。
（ChatGPTに聞いた感じ、テストが落ちるわけじゃない･･･？ https://chatgpt.com/s/t_68c95ab4d33081919e350dc0b5bd2746 ）

まあでもとりあえずテストは落ちるかもってことで様子見するのもダメじゃないと思います。
新規コミッターが遭遇すると驚くと思うので、早めにフォローしてあげたいなくらい。

cf. VOICEVOX#1153 (review)

qryxip · 2025-09-16T16:56:11Z

基本的にそのChatGPTの通りだとは思いますが、CodSpeed Performance AnalysisがこのPRで既に出現しているらしいことを考えると、branch protectionでrequire status checkしなくてもステータスを ❌ にしてくるような気がします。

フォローとしては、CONTRIBUTING.mdでの言及を入れました。どうでしょうか？
a33b2f0 (#1153)

Hiroshiba · 2025-09-16T17:39:18Z

❌になりえるなら案内欲しいですね！
ガイドラインに追加した内容で案内は十分そうに思いました！

sevenc-nanashi

特に問題なさそう。

qryxip · 2025-09-19T15:31:46Z

Valgrind抜きのGHAランナーだと、わかってはいましたが結構ブレが生じますね。特にopen_and_close_vvmとunload_and_load_vvmがやばく、+22%とか-11%みたいなブレを普通に起こす。

test: 手元用とCI用にそれぞれベンチを用意し、CI用をCodSpeedに

3224b27

qryxip changed the title ~~test: 手元用とCI用にそれぞれベンチを用意し、CI用をCodSpeedに~~ test: 手元用とCodSpeed用にそれぞれベンチマークを用意 Sep 11, 2025

Hiroshiba reviewed Sep 11, 2025

View reviewed changes

Hiroshiba reviewed Sep 12, 2025

View reviewed changes

色々

86af1ff

qryxip marked this pull request as ready for review September 13, 2025 19:27

qryxip requested a review from Hiroshiba September 13, 2025 19:27

qryxip changed the title ~~test: 手元用とCodSpeed用にそれぞれベンチマークを用意~~ test: 手元用兼CodSpeed用のベンチマークを用意する Sep 13, 2025

qryxip requested a review from sevenc-nanashi September 13, 2025 19:43

qryxip added 2 commits September 14, 2025 04:44

Update CHANGELOG.md

0b15a26

全部Walltimeにしちゃったのでシンボルは不要

2942095

qryxip commented Sep 13, 2025

View reviewed changes

.github/workflows/python-benchmarks.yml Show resolved Hide resolved

workflowは統一

03a159d

qryxip force-pushed the pr/test-add-benchmarks-and-use-codspeed branch from 026f64a to 03a159d Compare September 14, 2025 06:29

Hiroshiba requested a review from Copilot September 14, 2025 09:23

Copilot AI reviewed Sep 14, 2025

View reviewed changes

crates/voicevox_core/benches/benches.rs Outdated Show resolved Hide resolved

crates/voicevox_core/benches/benches.rs Show resolved Hide resolved

///じゃなくて間違えて//にしていた

a1ed13d

Hiroshiba reviewed Sep 14, 2025

View reviewed changes

Update docs/guide/dev/benchmarks.md

eccfbd0

Co-authored-by: Hiroshiba <[email protected]>

qryxip added 2 commits September 15, 2025 04:27

codspeed-macroを使ってみる

df11bc1

諦めてDefaultグループでやる

8235e09

qryxip added 4 commits September 15, 2025 06:13

Revert "諦めてDefaultグループでやる"

d66ba8d

This reverts commit 8235e09.

Revert "codspeed-macroを使ってみる"

9ca9e36

This reverts commit df11bc1.

// warmupのコメントは多分不要なので削る

6633798

Config::iterate_moreの説明が誤っていたので修正

ccf1f84

Hiroshiba approved these changes Sep 16, 2025

View reviewed changes

Merge branch 'main' into pr/test-add-benchmarks-and-use-codspeed

cbf077d

qryxip added a commit to qryxip/voicevox_core that referenced this pull request Sep 16, 2025

CONTRIBUTING.mdに補足を入れる

1e2f893

cf. VOICEVOX#1153 (review)

CONTRIBUTING.mdに補足を入れる

a33b2f0

cf. VOICEVOX#1153 (review)

qryxip force-pushed the pr/test-add-benchmarks-and-use-codspeed branch from 1e2f893 to a33b2f0 Compare September 16, 2025 16:53

sevenc-nanashi approved these changes Sep 16, 2025

View reviewed changes

qryxip merged commit d46a5d0 into VOICEVOX:main Sep 18, 2025
38 checks passed

qryxip mentioned this pull request Sep 19, 2025

chore: update ndarray and voicevox-ort #1147

Merged

qryxip added a commit to qryxip/voicevox_core that referenced this pull request Sep 23, 2025

test: fixup VOICEVOX#1153: 手元実行でのイテレーション数が一部多すぎた

4ff984f

qryxip mentioned this pull request Sep 23, 2025

test: fixup #1153: 手元実行でのイテレーション数が一部多すぎた #1160

Merged

qryxip added a commit that referenced this pull request Sep 24, 2025

test: fixup #1153: 手元実行でのイテレーション数が一部多すぎた (#1160)

868289d

qryxip mentioned this pull request Oct 7, 2025

actionのバージョンをすべてpinする #1166

Open

qryxip added a commit to qryxip/voicevox_core that referenced this pull request Oct 10, 2025

test(codspeed): fixup VOICEVOX#1153: open_and_close_vvmをignoreする

204b08c

qryxip mentioned this pull request Oct 10, 2025

test(codspeed): fixup #1153: open_and_close_vvmをignoreする #1169

Open

test: 手元用兼CodSpeed用のベンチマークを用意する #1153

test: 手元用兼CodSpeed用のベンチマークを用意する #1153

Uh oh!

Conversation

qryxip commented Sep 11, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

内容

関連 Issue

その他

Uh oh!

qryxip commented Sep 11, 2025

Uh oh!

Hiroshiba commented Sep 11, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

qryxip commented Sep 12, 2025

Uh oh!

Hiroshiba commented Sep 12, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

qryxip Sep 13, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Hiroshiba commented Sep 12, 2025

Uh oh!

qryxip commented Sep 13, 2025

Uh oh!

codspeed-hq bot commented Sep 13, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Congrats! CodSpeed is installed 🎉

Detected benchmarks

Uh oh!

qryxip Sep 13, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

qryxip Sep 13, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

qryxip commented Sep 14, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

qryxip commented Sep 14, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

More Free Macro Runners minutes

Open Source Boost

Uh oh!

Hiroshiba commented Sep 14, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

Copilot AI left a comment

Choose a reason for hiding this comment

Pull Request Overview

Reviewed Changes

Uh oh!

Uh oh!

Uh oh!

Hiroshiba left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

qryxip commented Sep 11, 2025 •

edited

Loading

Hiroshiba commented Sep 11, 2025 •

edited

Loading

Hiroshiba commented Sep 12, 2025 •

edited

Loading

qryxip Sep 13, 2025 •

edited

Loading

codspeed-hq bot commented Sep 13, 2025 •

edited

Loading

qryxip Sep 13, 2025 •

edited

Loading

qryxip Sep 13, 2025 •

edited

Loading

qryxip commented Sep 14, 2025 •

edited

Loading

qryxip commented Sep 14, 2025 •

edited

Loading

Hiroshiba commented Sep 14, 2025 •

edited

Loading

Hiroshiba Sep 14, 2025 •

edited

Loading

qryxip commented Sep 14, 2025 •

edited

Loading

Hiroshiba left a comment •

edited

Loading

Hiroshiba commented Sep 16, 2025 •

edited

Loading