dongjoon-hyun commented on code in PR #1141:
URL: https://github.com/apache/orc/pull/1141#discussion_r884324617
##########
java/bench/README.md:
##########
@@ -24,7 +24,7 @@ To fetch the source data:
```% ./fetch-data.sh```
-> :warning: Script will fetch 7GB of data
+> :warning: Script will fetch 500MB of data
Review Comment:
During the final verification at the merging step, I found that this is
wrong. Maybe, you didn't run `fetch-data.sh` successfully?
```
$ ./fetch-data.sh
...
FINISHED --2022-05-29 14:08:32--
Total wall clock time: 7m 21s
Downloaded: 360 files, 3.5G in 4m 34s (13.2 MB/s)
$ du -h data
3.6G data/sources/github
321M data/sources/taxi
3.9G data/sources
3.9G data
$ tree data
data
└── sources
├── github
│ ├── 2015-11-01-0.json.gz
│ ├── 2015-11-01-1.json.gz
│ ├── 2015-11-01-10.json.gz
│ ├── 2015-11-01-11.json.gz
│ ├── 2015-11-01-12.json.gz
│ ├── 2015-11-01-13.json.gz
│ ├── 2015-11-01-14.json.gz
│ ├── 2015-11-01-15.json.gz
│ ├── 2015-11-01-16.json.gz
│ ├── 2015-11-01-17.json.gz
│ ├── 2015-11-01-18.json.gz
│ ├── 2015-11-01-19.json.gz
│ ├── 2015-11-01-2.json.gz
│ ├── 2015-11-01-20.json.gz
│ ├── 2015-11-01-21.json.gz
│ ├── 2015-11-01-22.json.gz
│ ├── 2015-11-01-23.json.gz
│ ├── 2015-11-01-3.json.gz
│ ├── 2015-11-01-4.json.gz
│ ├── 2015-11-01-5.json.gz
│ ├── 2015-11-01-6.json.gz
│ ├── 2015-11-01-7.json.gz
│ ├── 2015-11-01-8.json.gz
│ ├── 2015-11-01-9.json.gz
│ ├── 2015-11-02-0.json.gz
│ ├── 2015-11-02-1.json.gz
│ ├── 2015-11-02-10.json.gz
│ ├── 2015-11-02-11.json.gz
│ ├── 2015-11-02-12.json.gz
│ ├── 2015-11-02-13.json.gz
│ ├── 2015-11-02-14.json.gz
│ ├── 2015-11-02-15.json.gz
│ ├── 2015-11-02-16.json.gz
│ ├── 2015-11-02-17.json.gz
│ ├── 2015-11-02-18.json.gz
│ ├── 2015-11-02-19.json.gz
│ ├── 2015-11-02-2.json.gz
│ ├── 2015-11-02-20.json.gz
│ ├── 2015-11-02-21.json.gz
│ ├── 2015-11-02-22.json.gz
│ ├── 2015-11-02-23.json.gz
│ ├── 2015-11-02-3.json.gz
│ ├── 2015-11-02-4.json.gz
│ ├── 2015-11-02-5.json.gz
│ ├── 2015-11-02-6.json.gz
│ ├── 2015-11-02-7.json.gz
│ ├── 2015-11-02-8.json.gz
│ ├── 2015-11-02-9.json.gz
│ ├── 2015-11-03-0.json.gz
│ ├── 2015-11-03-1.json.gz
│ ├── 2015-11-03-10.json.gz
│ ├── 2015-11-03-11.json.gz
│ ├── 2015-11-03-12.json.gz
│ ├── 2015-11-03-13.json.gz
│ ├── 2015-11-03-14.json.gz
│ ├── 2015-11-03-15.json.gz
│ ├── 2015-11-03-16.json.gz
│ ├── 2015-11-03-17.json.gz
│ ├── 2015-11-03-18.json.gz
│ ├── 2015-11-03-19.json.gz
│ ├── 2015-11-03-2.json.gz
│ ├── 2015-11-03-20.json.gz
│ ├── 2015-11-03-21.json.gz
│ ├── 2015-11-03-22.json.gz
│ ├── 2015-11-03-23.json.gz
│ ├── 2015-11-03-3.json.gz
│ ├── 2015-11-03-4.json.gz
│ ├── 2015-11-03-5.json.gz
│ ├── 2015-11-03-6.json.gz
│ ├── 2015-11-03-7.json.gz
│ ├── 2015-11-03-8.json.gz
│ ├── 2015-11-03-9.json.gz
│ ├── 2015-11-04-0.json.gz
│ ├── 2015-11-04-1.json.gz
│ ├── 2015-11-04-10.json.gz
│ ├── 2015-11-04-11.json.gz
│ ├── 2015-11-04-12.json.gz
│ ├── 2015-11-04-13.json.gz
│ ├── 2015-11-04-14.json.gz
│ ├── 2015-11-04-15.json.gz
│ ├── 2015-11-04-16.json.gz
│ ├── 2015-11-04-17.json.gz
│ ├── 2015-11-04-18.json.gz
│ ├── 2015-11-04-19.json.gz
│ ├── 2015-11-04-2.json.gz
│ ├── 2015-11-04-20.json.gz
│ ├── 2015-11-04-21.json.gz
│ ├── 2015-11-04-22.json.gz
│ ├── 2015-11-04-23.json.gz
│ ├── 2015-11-04-3.json.gz
│ ├── 2015-11-04-4.json.gz
│ ├── 2015-11-04-5.json.gz
│ ├── 2015-11-04-6.json.gz
│ ├── 2015-11-04-7.json.gz
│ ├── 2015-11-04-8.json.gz
│ ├── 2015-11-04-9.json.gz
│ ├── 2015-11-05-0.json.gz
│ ├── 2015-11-05-1.json.gz
│ ├── 2015-11-05-10.json.gz
│ ├── 2015-11-05-11.json.gz
│ ├── 2015-11-05-12.json.gz
│ ├── 2015-11-05-13.json.gz
│ ├── 2015-11-05-14.json.gz
│ ├── 2015-11-05-15.json.gz
│ ├── 2015-11-05-16.json.gz
│ ├── 2015-11-05-17.json.gz
│ ├── 2015-11-05-18.json.gz
│ ├── 2015-11-05-19.json.gz
│ ├── 2015-11-05-2.json.gz
│ ├── 2015-11-05-20.json.gz
│ ├── 2015-11-05-21.json.gz
│ ├── 2015-11-05-22.json.gz
│ ├── 2015-11-05-23.json.gz
│ ├── 2015-11-05-3.json.gz
│ ├── 2015-11-05-4.json.gz
│ ├── 2015-11-05-5.json.gz
│ ├── 2015-11-05-6.json.gz
│ ├── 2015-11-05-7.json.gz
│ ├── 2015-11-05-8.json.gz
│ ├── 2015-11-05-9.json.gz
│ ├── 2015-11-06-0.json.gz
│ ├── 2015-11-06-1.json.gz
│ ├── 2015-11-06-10.json.gz
│ ├── 2015-11-06-11.json.gz
│ ├── 2015-11-06-12.json.gz
│ ├── 2015-11-06-13.json.gz
│ ├── 2015-11-06-14.json.gz
│ ├── 2015-11-06-15.json.gz
│ ├── 2015-11-06-16.json.gz
│ ├── 2015-11-06-17.json.gz
│ ├── 2015-11-06-18.json.gz
│ ├── 2015-11-06-19.json.gz
│ ├── 2015-11-06-2.json.gz
│ ├── 2015-11-06-20.json.gz
│ ├── 2015-11-06-21.json.gz
│ ├── 2015-11-06-22.json.gz
│ ├── 2015-11-06-23.json.gz
│ ├── 2015-11-06-3.json.gz
│ ├── 2015-11-06-4.json.gz
│ ├── 2015-11-06-5.json.gz
│ ├── 2015-11-06-6.json.gz
│ ├── 2015-11-06-7.json.gz
│ ├── 2015-11-06-8.json.gz
│ ├── 2015-11-06-9.json.gz
│ ├── 2015-11-07-0.json.gz
│ ├── 2015-11-07-1.json.gz
│ ├── 2015-11-07-10.json.gz
│ ├── 2015-11-07-11.json.gz
│ ├── 2015-11-07-12.json.gz
│ ├── 2015-11-07-13.json.gz
│ ├── 2015-11-07-14.json.gz
│ ├── 2015-11-07-15.json.gz
│ ├── 2015-11-07-16.json.gz
│ ├── 2015-11-07-17.json.gz
│ ├── 2015-11-07-18.json.gz
│ ├── 2015-11-07-19.json.gz
│ ├── 2015-11-07-2.json.gz
│ ├── 2015-11-07-20.json.gz
│ ├── 2015-11-07-21.json.gz
│ ├── 2015-11-07-22.json.gz
│ ├── 2015-11-07-23.json.gz
│ ├── 2015-11-07-3.json.gz
│ ├── 2015-11-07-4.json.gz
│ ├── 2015-11-07-5.json.gz
│ ├── 2015-11-07-6.json.gz
│ ├── 2015-11-07-7.json.gz
│ ├── 2015-11-07-8.json.gz
│ ├── 2015-11-07-9.json.gz
│ ├── 2015-11-08-0.json.gz
│ ├── 2015-11-08-1.json.gz
│ ├── 2015-11-08-10.json.gz
│ ├── 2015-11-08-11.json.gz
│ ├── 2015-11-08-12.json.gz
│ ├── 2015-11-08-13.json.gz
│ ├── 2015-11-08-14.json.gz
│ ├── 2015-11-08-15.json.gz
│ ├── 2015-11-08-16.json.gz
│ ├── 2015-11-08-17.json.gz
│ ├── 2015-11-08-18.json.gz
│ ├── 2015-11-08-19.json.gz
│ ├── 2015-11-08-2.json.gz
│ ├── 2015-11-08-20.json.gz
│ ├── 2015-11-08-21.json.gz
│ ├── 2015-11-08-22.json.gz
│ ├── 2015-11-08-23.json.gz
│ ├── 2015-11-08-3.json.gz
│ ├── 2015-11-08-4.json.gz
│ ├── 2015-11-08-5.json.gz
│ ├── 2015-11-08-6.json.gz
│ ├── 2015-11-08-7.json.gz
│ ├── 2015-11-08-8.json.gz
│ ├── 2015-11-08-9.json.gz
│ ├── 2015-11-09-0.json.gz
│ ├── 2015-11-09-1.json.gz
│ ├── 2015-11-09-10.json.gz
│ ├── 2015-11-09-11.json.gz
│ ├── 2015-11-09-12.json.gz
│ ├── 2015-11-09-13.json.gz
│ ├── 2015-11-09-14.json.gz
│ ├── 2015-11-09-15.json.gz
│ ├── 2015-11-09-16.json.gz
│ ├── 2015-11-09-17.json.gz
│ ├── 2015-11-09-18.json.gz
│ ├── 2015-11-09-19.json.gz
│ ├── 2015-11-09-2.json.gz
│ ├── 2015-11-09-20.json.gz
│ ├── 2015-11-09-21.json.gz
│ ├── 2015-11-09-22.json.gz
│ ├── 2015-11-09-23.json.gz
│ ├── 2015-11-09-3.json.gz
│ ├── 2015-11-09-4.json.gz
│ ├── 2015-11-09-5.json.gz
│ ├── 2015-11-09-6.json.gz
│ ├── 2015-11-09-7.json.gz
│ ├── 2015-11-09-8.json.gz
│ ├── 2015-11-09-9.json.gz
│ ├── 2015-11-10-0.json.gz
│ ├── 2015-11-10-1.json.gz
│ ├── 2015-11-10-10.json.gz
│ ├── 2015-11-10-11.json.gz
│ ├── 2015-11-10-12.json.gz
│ ├── 2015-11-10-13.json.gz
│ ├── 2015-11-10-14.json.gz
│ ├── 2015-11-10-15.json.gz
│ ├── 2015-11-10-16.json.gz
│ ├── 2015-11-10-17.json.gz
│ ├── 2015-11-10-18.json.gz
│ ├── 2015-11-10-19.json.gz
│ ├── 2015-11-10-2.json.gz
│ ├── 2015-11-10-20.json.gz
│ ├── 2015-11-10-21.json.gz
│ ├── 2015-11-10-22.json.gz
│ ├── 2015-11-10-23.json.gz
│ ├── 2015-11-10-3.json.gz
│ ├── 2015-11-10-4.json.gz
│ ├── 2015-11-10-5.json.gz
│ ├── 2015-11-10-6.json.gz
│ ├── 2015-11-10-7.json.gz
│ ├── 2015-11-10-8.json.gz
│ ├── 2015-11-10-9.json.gz
│ ├── 2015-11-11-0.json.gz
│ ├── 2015-11-11-1.json.gz
│ ├── 2015-11-11-10.json.gz
│ ├── 2015-11-11-11.json.gz
│ ├── 2015-11-11-12.json.gz
│ ├── 2015-11-11-13.json.gz
│ ├── 2015-11-11-14.json.gz
│ ├── 2015-11-11-15.json.gz
│ ├── 2015-11-11-16.json.gz
│ ├── 2015-11-11-17.json.gz
│ ├── 2015-11-11-18.json.gz
│ ├── 2015-11-11-19.json.gz
│ ├── 2015-11-11-2.json.gz
│ ├── 2015-11-11-20.json.gz
│ ├── 2015-11-11-21.json.gz
│ ├── 2015-11-11-22.json.gz
│ ├── 2015-11-11-23.json.gz
│ ├── 2015-11-11-3.json.gz
│ ├── 2015-11-11-4.json.gz
│ ├── 2015-11-11-5.json.gz
│ ├── 2015-11-11-6.json.gz
│ ├── 2015-11-11-7.json.gz
│ ├── 2015-11-11-8.json.gz
│ ├── 2015-11-11-9.json.gz
│ ├── 2015-11-12-0.json.gz
│ ├── 2015-11-12-1.json.gz
│ ├── 2015-11-12-10.json.gz
│ ├── 2015-11-12-11.json.gz
│ ├── 2015-11-12-12.json.gz
│ ├── 2015-11-12-13.json.gz
│ ├── 2015-11-12-14.json.gz
│ ├── 2015-11-12-15.json.gz
│ ├── 2015-11-12-16.json.gz
│ ├── 2015-11-12-17.json.gz
│ ├── 2015-11-12-18.json.gz
│ ├── 2015-11-12-19.json.gz
│ ├── 2015-11-12-2.json.gz
│ ├── 2015-11-12-20.json.gz
│ ├── 2015-11-12-21.json.gz
│ ├── 2015-11-12-22.json.gz
│ ├── 2015-11-12-23.json.gz
│ ├── 2015-11-12-3.json.gz
│ ├── 2015-11-12-4.json.gz
│ ├── 2015-11-12-5.json.gz
│ ├── 2015-11-12-6.json.gz
│ ├── 2015-11-12-7.json.gz
│ ├── 2015-11-12-8.json.gz
│ ├── 2015-11-12-9.json.gz
│ ├── 2015-11-13-0.json.gz
│ ├── 2015-11-13-1.json.gz
│ ├── 2015-11-13-10.json.gz
│ ├── 2015-11-13-11.json.gz
│ ├── 2015-11-13-12.json.gz
│ ├── 2015-11-13-13.json.gz
│ ├── 2015-11-13-14.json.gz
│ ├── 2015-11-13-15.json.gz
│ ├── 2015-11-13-16.json.gz
│ ├── 2015-11-13-17.json.gz
│ ├── 2015-11-13-18.json.gz
│ ├── 2015-11-13-19.json.gz
│ ├── 2015-11-13-2.json.gz
│ ├── 2015-11-13-20.json.gz
│ ├── 2015-11-13-21.json.gz
│ ├── 2015-11-13-22.json.gz
│ ├── 2015-11-13-23.json.gz
│ ├── 2015-11-13-3.json.gz
│ ├── 2015-11-13-4.json.gz
│ ├── 2015-11-13-5.json.gz
│ ├── 2015-11-13-6.json.gz
│ ├── 2015-11-13-7.json.gz
│ ├── 2015-11-13-8.json.gz
│ ├── 2015-11-13-9.json.gz
│ ├── 2015-11-14-0.json.gz
│ ├── 2015-11-14-1.json.gz
│ ├── 2015-11-14-10.json.gz
│ ├── 2015-11-14-11.json.gz
│ ├── 2015-11-14-12.json.gz
│ ├── 2015-11-14-13.json.gz
│ ├── 2015-11-14-14.json.gz
│ ├── 2015-11-14-15.json.gz
│ ├── 2015-11-14-16.json.gz
│ ├── 2015-11-14-17.json.gz
│ ├── 2015-11-14-18.json.gz
│ ├── 2015-11-14-19.json.gz
│ ├── 2015-11-14-2.json.gz
│ ├── 2015-11-14-20.json.gz
│ ├── 2015-11-14-21.json.gz
│ ├── 2015-11-14-22.json.gz
│ ├── 2015-11-14-23.json.gz
│ ├── 2015-11-14-3.json.gz
│ ├── 2015-11-14-4.json.gz
│ ├── 2015-11-14-5.json.gz
│ ├── 2015-11-14-6.json.gz
│ ├── 2015-11-14-7.json.gz
│ ├── 2015-11-14-8.json.gz
│ ├── 2015-11-14-9.json.gz
│ ├── 2015-11-15-0.json.gz
│ ├── 2015-11-15-1.json.gz
│ ├── 2015-11-15-10.json.gz
│ ├── 2015-11-15-11.json.gz
│ ├── 2015-11-15-12.json.gz
│ ├── 2015-11-15-13.json.gz
│ ├── 2015-11-15-14.json.gz
│ ├── 2015-11-15-15.json.gz
│ ├── 2015-11-15-16.json.gz
│ ├── 2015-11-15-17.json.gz
│ ├── 2015-11-15-18.json.gz
│ ├── 2015-11-15-19.json.gz
│ ├── 2015-11-15-2.json.gz
│ ├── 2015-11-15-20.json.gz
│ ├── 2015-11-15-21.json.gz
│ ├── 2015-11-15-22.json.gz
│ ├── 2015-11-15-23.json.gz
│ ├── 2015-11-15-3.json.gz
│ ├── 2015-11-15-4.json.gz
│ ├── 2015-11-15-5.json.gz
│ ├── 2015-11-15-6.json.gz
│ ├── 2015-11-15-7.json.gz
│ ├── 2015-11-15-8.json.gz
│ └── 2015-11-15-9.json.gz
└── taxi
├── yellow_tripdata_2015-11.parquet
└── yellow_tripdata_2015-12.parquet
3 directories, 362 files
```
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: [email protected]
For queries about this service, please contact Infrastructure at:
[email protected]
