potiuk commented on issue #25088: URL: https://github.com/apache/datafusion/issues/25088#issuecomment-6374277834
No. It means that we have 10x more PRs opened from our contributors. Note - that it is 10x than we usually had, We are just a very popular project and we have more than 400 contributors. Look from how many PRs those jobs come. On Fri, Oct 23, 2026 at 10:32 PM Andrew Lamb ***@***.***> wrote: > *alamb* left a comment (apache/datafusion#25088) > <https://github.com/apache/datafusion/issues/25088#issuecomment-6374158018> > > There is an interesting script that @potiuk <https://github.com/potiuk> > pointed me me at in apache/airflow#75395 (reply in thread) > <https://github.com/apache/airflow/discussions/75395#discussioncomment-19153161> > > > https://github.com/apache/infrastructure-actions/blob/main/utils/actions-queue-status.py > > It took 30 minutes to run and here is the output. > > Summary line from the script: 677 jobs running, 2073 queued across 151 of 1253 apache repos with Actions. > > Top 30 by running > > ┌──────────────────┬────────┬─────────┬──────────────────────────────────────────────────────────────┐ > │ repo │ queued │ running │ workflows │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ airflow │ 0 │ 120 │ Tests (AMD)=112; Tests (ARM)=8 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ grails-core │ 19 │ 77 │ CI=81; Build Health=2; CodeQL=2; ... │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ beam │ 0 │ 53 │ Build python source distribution and wheels=4; ... │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ cloudstack │ 9 │ 45 │ CodeQL Analysis=9; Build=1; Coverage Check=1; ... │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ superset │ 12 │ 40 │ Build & publish docker images=3; CodeQL=1; ... │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ groovy │ 94 │ 36 │ Build and test=61; Build and test for coverage=5; ... │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ nifi │ 0 │ 29 │ build=12; code-compliance=3; docker-tests=1; ... │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ ozone │ 2 │ 28 │ build-branch=28; Running Copilot Code Review=1; ... │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ iotdb │ 0 │ 23 │ Daily IT=21; Daily UT=2 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ nuttx-apps │ 32 │ 16 │ Build=43; Check=1; Lint=1; ... │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ iggy │ 2 │ 16 │ Pre-merge=17; PR Title=1 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ pulsar │ 6 │ 15 │ Pulsar CI=16; Semantic Pull Request=4; CodeQL=1 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ tinkerpop │ 14 │ 14 │ build-test=28 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ commons-io │ 37 │ 13 │ Java CI=42; CodeQL=4; Dependency Review=2; ... │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ camel-quarkus │ 30 │ 12 │ Camel Quarkus CI=42 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ paimon │ 67 │ 9 │ CI=76 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ netbeans │ 11 │ 9 │ NetBeans=20 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ hudi │ 0 │ 9 │ Java CI=8; Scheduled Workflow=1 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ fluss │ 30 │ 7 │ CI=24; Check License=3; Check Documentation=1; ... │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ cloudberry │ 3 │ 7 │ Apache Cloudberry Build (Rocky Linux)=6; ... │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ iceberg-rust │ 2 │ 6 │ CI=6; Bindings Python CI=1; pages build=1 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ kafka │ 0 │ 6 │ CI=6 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ camel │ 26 │ 5 │ Build and test=12; Camel launcher native exe build=1; ... │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ datafusion │ 8 │ 5 │ Rust=6; Detect breaking changes=6; Dependencies=1 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ iceberg │ 3 │ 5 │ Spark CI=5; Docs Build CI=2; PR Title Check=1 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ cxf │ 0 │ 5 │ Build and Test=3; CodeQL=2 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ hbase │ 0 │ 5 │ Yetus General Check=1; Yetus JDK17 Hadoop3 Compile Check=... │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ incubator-kie │ 0 │ 5 │ CI :: Build=2; CI :: Examples=3 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ datafusion-comet │ 0 │ 4 │ Comet CI=2; Comet CI (label run)=2 │ > ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ > │ drill │ 0 │ 4 │ Github CI=3; CodeQL=1 │ > └──────────────────┴────────┴─────────┴──────────────────────────────────────────────────────────────┘ > > Top 30 by queued > > ┌────────────────────────┬────────┬─────────┬────────────────────────────────────────────────────────────────┐ > │ repo │ queued │ running │ workflows │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ cassandra-gocql-driver │ 162 │ 0 │ Build=162 │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ nuttx │ 141 │ 0 │ Build=23; Check=3; Build Documentation=1; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ sedona-db │ 135 │ 0 │ Graph Update: pip in /python/sedonadb=1; cargo ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ shenyu │ 125 │ 1 │ it=56; ci=22; it-k8s=21; e2e=7; Issue Manager=2; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ aries │ 120 │ 0 │ Async - CI Build=2; Blueprint - CI Build=2; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ groovy │ 94 │ 36 │ Build and test=61; Build and test for coverage=5; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ texera │ 77 │ 1 │ Backport Approval Check=15; Backport Auto Label=3; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ shardingsphere │ 76 │ 0 │ CI=3; E2E - Agent=3; CI - MCP=1; E2E - MCP=1; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ spark │ 75 │ 0 │ Branch-4.2 CI Scheduler=2; Branch-4.x CI Scheduler=2; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ iceberg-go │ 68 │ 3 │ Audit and Verify=8; API compatibility=7; CodeQL=1; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ paimon │ 67 │ 9 │ CI=76 │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ gravitino │ 59 │ 3 │ Access Control Integration Test=1; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ pinot │ 51 │ 0 │ PR flow=9; PR flow signal=4; Pinot Compatibility Checks=1; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ commons-io │ 37 │ 13 │ Java CI=42; CodeQL=4; Dependency Review=2; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ calcite │ 37 │ 1 │ CI=35; Validate Gradle Wrapper=3 │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ tika │ 36 │ 2 │ Docker snapshot - tika-server and tika-grpc=7; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ nuttx-apps │ 32 │ 16 │ Build=43; Check=1; Lint=1; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ httpd │ 32 │ 1 │ Linux=32; Windows=1 │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ lucenenet │ 31 │ 0 │ Index Compatibility=2; EditorConfig Rules Check=1; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ camel-quarkus │ 30 │ 12 │ Camel Quarkus CI=42 │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ fluss │ 30 │ 7 │ CI=24; Check License=3; Check Documentation=1; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ camel │ 26 │ 5 │ Build and test=12; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ accumulo │ 24 │ 0 │ QA=24 │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ tomcat │ 23 │ 2 │ CodeQL Advanced=6; Manager2 Test=3; Diff Coverage=2; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ grails-core │ 19 │ 77 │ CI=81; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ arrow-rs │ 19 │ 0 │ CI=19 │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ cassandra │ 16 │ 0 │ Ant Check=16 │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ ossie │ 16 │ 0 │ Auto Label PRs=2; Community PR Helper=1; ... │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ poi │ 16 │ 0 │ Java CI with Ant=8; Java CI with Gradle=8 │ > ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ > │ commons-math │ 15 │ 0 │ Java CI=12; Java CI (Legacy only)=3 │ > └────────────────────────┴────────┴─────────┴────────────────────────────────────────────────────────────────┘ > > One thing I think is different than my scripts above is that it counts the > number of jobs but I don't think it reflects the runner time. > > So you can see that airflow has 120 running jobs and I suspect the reason > it ends up with so many jobs is that each takes many minutes. Other > projects have many jobs but I think each job takes much less time and thus > doesn't consume so many runner hours > > — > Reply to this email directly, view it on GitHub > <https://github.com/apache/datafusion/issues/25088?email_source=notifications&email_token=AAERMI57PMQVU36N3GRFEGL5VO56JA5CNFSNUABFM5UWIORPF5TWS5BNNB2WEL2JONZXKZKDN5WW2ZLOOQXTMMZXGQYTKOBQGE4KM4TFMFZW63VHNVSW45DJN5XKKZLWMVXHJLDGN5XXIZLSL5RWY2LDNM#issuecomment-6374158018>, > or unsubscribe > <https://github.com/notifications/unsubscribe-auth/AAERMI5VYSUSUKTQQK77IS35VO56JAVCNFSNUABFKJSXA33TNF2G64TZHMZTKOBZGE3TGMJYHNEXG43VMU5TKMZYHE2DEMBQGY4KC5QC> > . > You are receiving this because you were mentioned.Message ID: > ***@***.***> > -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected] --------------------------------------------------------------------- To unsubscribe, e-mail: [email protected] For additional commands, e-mail: [email protected]
