alamb commented on issue #25088: URL: https://github.com/apache/datafusion/issues/25088#issuecomment-6374158018
There is an interesting script that @potiuk pointed me me at in https://github.com/apache/airflow/discussions/75395#discussioncomment-19153161 https://github.com/apache/infrastructure-actions/blob/main/utils/actions-queue-status.py It took 30 minutes to run and here is the output. ``` Summary line from the script: 677 jobs running, 2073 queued across 151 of 1253 apache repos with Actions. Top 30 by running ┌──────────────────┬────────┬─────────┬──────────────────────────────────────────────────────────────┐ │ repo │ queued │ running │ workflows │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ airflow │ 0 │ 120 │ Tests (AMD)=112; Tests (ARM)=8 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ grails-core │ 19 │ 77 │ CI=81; Build Health=2; CodeQL=2; ... │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ beam │ 0 │ 53 │ Build python source distribution and wheels=4; ... │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ cloudstack │ 9 │ 45 │ CodeQL Analysis=9; Build=1; Coverage Check=1; ... │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ superset │ 12 │ 40 │ Build & publish docker images=3; CodeQL=1; ... │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ groovy │ 94 │ 36 │ Build and test=61; Build and test for coverage=5; ... │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ nifi │ 0 │ 29 │ build=12; code-compliance=3; docker-tests=1; ... │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ ozone │ 2 │ 28 │ build-branch=28; Running Copilot Code Review=1; ... │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ iotdb │ 0 │ 23 │ Daily IT=21; Daily UT=2 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ nuttx-apps │ 32 │ 16 │ Build=43; Check=1; Lint=1; ... │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ iggy │ 2 │ 16 │ Pre-merge=17; PR Title=1 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ pulsar │ 6 │ 15 │ Pulsar CI=16; Semantic Pull Request=4; CodeQL=1 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ tinkerpop │ 14 │ 14 │ build-test=28 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ commons-io │ 37 │ 13 │ Java CI=42; CodeQL=4; Dependency Review=2; ... │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ camel-quarkus │ 30 │ 12 │ Camel Quarkus CI=42 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ paimon │ 67 │ 9 │ CI=76 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ netbeans │ 11 │ 9 │ NetBeans=20 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ hudi │ 0 │ 9 │ Java CI=8; Scheduled Workflow=1 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ fluss │ 30 │ 7 │ CI=24; Check License=3; Check Documentation=1; ... │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ cloudberry │ 3 │ 7 │ Apache Cloudberry Build (Rocky Linux)=6; ... │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ iceberg-rust │ 2 │ 6 │ CI=6; Bindings Python CI=1; pages build=1 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ kafka │ 0 │ 6 │ CI=6 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ camel │ 26 │ 5 │ Build and test=12; Camel launcher native exe build=1; ... │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ datafusion │ 8 │ 5 │ Rust=6; Detect breaking changes=6; Dependencies=1 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ iceberg │ 3 │ 5 │ Spark CI=5; Docs Build CI=2; PR Title Check=1 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ cxf │ 0 │ 5 │ Build and Test=3; CodeQL=2 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ hbase │ 0 │ 5 │ Yetus General Check=1; Yetus JDK17 Hadoop3 Compile Check=... │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ incubator-kie │ 0 │ 5 │ CI :: Build=2; CI :: Examples=3 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ datafusion-comet │ 0 │ 4 │ Comet CI=2; Comet CI (label run)=2 │ ├──────────────────┼────────┼─────────┼──────────────────────────────────────────────────────────────┤ │ drill │ 0 │ 4 │ Github CI=3; CodeQL=1 │ └──────────────────┴────────┴─────────┴──────────────────────────────────────────────────────────────┘ Top 30 by queued ┌────────────────────────┬────────┬─────────┬────────────────────────────────────────────────────────────────┐ │ repo │ queued │ running │ workflows │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ cassandra-gocql-driver │ 162 │ 0 │ Build=162 │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ nuttx │ 141 │ 0 │ Build=23; Check=3; Build Documentation=1; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ sedona-db │ 135 │ 0 │ Graph Update: pip in /python/sedonadb=1; cargo ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ shenyu │ 125 │ 1 │ it=56; ci=22; it-k8s=21; e2e=7; Issue Manager=2; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ aries │ 120 │ 0 │ Async - CI Build=2; Blueprint - CI Build=2; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ groovy │ 94 │ 36 │ Build and test=61; Build and test for coverage=5; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ texera │ 77 │ 1 │ Backport Approval Check=15; Backport Auto Label=3; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ shardingsphere │ 76 │ 0 │ CI=3; E2E - Agent=3; CI - MCP=1; E2E - MCP=1; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ spark │ 75 │ 0 │ Branch-4.2 CI Scheduler=2; Branch-4.x CI Scheduler=2; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ iceberg-go │ 68 │ 3 │ Audit and Verify=8; API compatibility=7; CodeQL=1; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ paimon │ 67 │ 9 │ CI=76 │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ gravitino │ 59 │ 3 │ Access Control Integration Test=1; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ pinot │ 51 │ 0 │ PR flow=9; PR flow signal=4; Pinot Compatibility Checks=1; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ commons-io │ 37 │ 13 │ Java CI=42; CodeQL=4; Dependency Review=2; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ calcite │ 37 │ 1 │ CI=35; Validate Gradle Wrapper=3 │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ tika │ 36 │ 2 │ Docker snapshot - tika-server and tika-grpc=7; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ nuttx-apps │ 32 │ 16 │ Build=43; Check=1; Lint=1; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ httpd │ 32 │ 1 │ Linux=32; Windows=1 │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ lucenenet │ 31 │ 0 │ Index Compatibility=2; EditorConfig Rules Check=1; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ camel-quarkus │ 30 │ 12 │ Camel Quarkus CI=42 │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ fluss │ 30 │ 7 │ CI=24; Check License=3; Check Documentation=1; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ camel │ 26 │ 5 │ Build and test=12; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ accumulo │ 24 │ 0 │ QA=24 │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ tomcat │ 23 │ 2 │ CodeQL Advanced=6; Manager2 Test=3; Diff Coverage=2; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ grails-core │ 19 │ 77 │ CI=81; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ arrow-rs │ 19 │ 0 │ CI=19 │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ cassandra │ 16 │ 0 │ Ant Check=16 │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ ossie │ 16 │ 0 │ Auto Label PRs=2; Community PR Helper=1; ... │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ poi │ 16 │ 0 │ Java CI with Ant=8; Java CI with Gradle=8 │ ├────────────────────────┼────────┼─────────┼────────────────────────────────────────────────────────────────┤ │ commons-math │ 15 │ 0 │ Java CI=12; Java CI (Legacy only)=3 │ └────────────────────────┴────────┴─────────┴────────────────────────────────────────────────────────────────┘ ``` One thing I think is different than my scripts above is that it counts the number of jobs but I don't think it reflects the runner time. So you can see that airflow has 120 running jobs and I suspect the reason it ends up with so many jobs is that each takes many minutes. Other projects have many jobs but I think each job takes much less time and thus doesn't consume so many runner hours -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected] --------------------------------------------------------------------- To unsubscribe, e-mail: [email protected] For additional commands, e-mail: [email protected]
