dm-tran commented on issue #2020:
URL: https://github.com/apache/hudi/issues/2020#issuecomment-679481632
Thank you for your answer @bvaradar !
> Can you please add the details of "commit showfiles --commit
20200821153748"
```
╔═══════════════════╤════════════════════════════════════════╤═════════════════╤═══════════════════════╤═══════════════════════╤═════════════════════╤══════════════╤═══════════╗
║ Partition Path │ File ID │ Previous
Commit │ Total Records Updated │ Total Records Written │ Total Bytes Written │
Total Errors │ File Size ║
╠═══════════════════╪════════════════════════════════════════╪═════════════════╪═══════════════════════╪═══════════════════════╪═════════════════════╪══════════════╪═══════════╣
║ daas_date=2020-04 │ 63bacea1-d6af-4ce0-8dc8-6ce9db8df332-0 │
20200821152906 │ 212 │ 534115 │ 22998619
│ 0 │ 22998619 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-04 │ 9c5e022c-feda-4059-84f6-752344cea4a9-0 │
20200821152906 │ 89 │ 460341 │ 18755115
│ 0 │ 18755115 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-04 │ 80be527b-eda7-42f3-8565-c15e9447d731-0 │
20200821152906 │ 39 │ 192455 │ 9112346
│ 0 │ 9112346 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-04 │ 569b2555-5cd6-416a-b7d7-11897603a1e3-0 │
20200821152906 │ 3 │ 483483 │ 19114286
│ 0 │ 19114286 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-05 │ 80be527b-eda7-42f3-8565-c15e9447d731-1 │
20200821152906 │ 106 │ 302728 │ 13385764
│ 0 │ 13385764 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-05 │ 27da8cb6-e4b7-4c29-904b-25d3ba321d0a-0 │
20200821152906 │ 84 │ 482538 │ 19568311
│ 0 │ 19568311 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-05 │ 0c376059-0279-4967-8002-70c3cd9c6b8e-0 │
20200821152906 │ 84 │ 498131 │ 21751990
│ 0 │ 21751990 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-05 │ 9730fe61-5584-4156-b25c-8c8ef41583f4-0 │
20200821152906 │ 76 │ 500352 │ 19812831
│ 0 │ 19812831 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-05 │ c2c3fb95-3e58-4021-80c4-7e48aace8dda-0 │
20200821152906 │ 72 │ 484533 │ 21001957
│ 0 │ 21001957 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-05 │ ec2ba5dc-7dd7-4cc7-93cd-1358476a124f-0 │
20200821152906 │ 61 │ 509569 │ 21960018
│ 0 │ 21960018 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-05 │ bd54d7bb-2fb7-475f-8ca2-47594a1c3206-0 │
20200821152906 │ 46 │ 342451 │ 14678548
│ 0 │ 14678548 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2019-05 │ a0d89a7a-0621-469a-8359-c4c4b8948ff5-1 │
20200821152906 │ 3 │ 445248 │ 16992382
│ 0 │ 16992382 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2019-05 │ bc6f9f87-f16d-410b-b6fa-57abfb666920-0 │
20200821152207 │ 1 │ 456187 │ 17399230
│ 0 │ 17399230 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-02 │ 8f6cdcc9-a0e6-4cb5-91b2-510b5498728f-0 │
20200821145253 │ 3 │ 500228 │ 20060642
│ 0 │ 20060642 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-02 │ b14d49d0-5a5a-4f39-826c-24492428798a-0 │
20200821145904 │ 2 │ 318078 │ 12939981
│ 0 │ 12939981 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-02 │ ddc1d386-4362-4b05-af7e-8bb4de0eecd2-0 │
20200821152906 │ 2 │ 485278 │ 19727682
│ 0 │ 19727682 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-02 │ 48bce3e8-07b1-4122-ba68-7850a63bffaa-0 │
20200821150425 │ 1 │ 499951 │ 20217825
│ 0 │ 20217825 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2019-06 │ 508cb5db-343d-4469-a563-b1718f5c6573-0 │
20200821152207 │ 1 │ 472946 │ 17554600
│ 0 │ 17554600 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2019-06 │ 8ee8be98-3ffc-42de-8256-cf27d721f42f-1 │
20200821143533 │ 1 │ 218185 │ 8371612
│ 0 │ 8371612 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-03 │ aa8afa91-df8a-4ffb-8631-bb2a89d02f08-0 │
20200821144125 │ 2 │ 457587 │ 18147009
│ 0 │ 18147009 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-03 │ 97d32e96-fb5c-440f-9852-a1575079215c-0 │
20200821152906 │ 1 │ 498822 │ 19592479
│ 0 │ 19592479 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-03 │ c558aa0c-a124-4bf7-b9dd-d567e4ee8113-0 │
20200821152207 │ 1 │ 520347 │ 20337019
│ 0 │ 20337019 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2019-11 │ 5b286fd4-9ff2-4153-89f8-4fb7fc7ef02d-0 │
20200821151547 │ 1 │ 520080 │ 20243264
│ 0 │ 20243264 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2019-11 │ 20256a1b-958d-449c-b3a1-f0ab0c453bde-0 │
20200821152207 │ 1 │ 467601 │ 18393947
│ 0 │ 18393947 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2019-12 │ 762a64e7-21e3-4c8a-8e97-8cfb442e70a2-0 │
20200821144717 │ 1 │ 494207 │ 19713725
│ 0 │ 19713725 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2019-12 │ 61561c4a-59b3-4f34-9cab-4c9aeb6f8bdb-0 │
20200821152207 │ 1 │ 496330 │ 20137687
│ 0 │ 20137687 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2019-12 │ e3946c85-4ac3-4b4b-b43a-b2371a4b552a-0 │
20200821151014 │ 1 │ 469533 │ 18865890
│ 0 │ 18865890 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2019-12 │ aaea130f-affc-40dc-b25d-bd0e6b269401-0 │
20200821145904 │ 1 │ 498338 │ 20196834
│ 0 │ 20196834 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2019-10 │ 9eadc3a2-37bd-4f57-90c8-fcd33350c121-0 │
20200821151014 │ 1 │ 487381 │ 19804823
│ 0 │ 19804823 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2019-10 │ 12c2581f-17b8-478f-82d0-d66f042a2846-0 │
20200821152906 │ 1 │ 497778 │ 19899349
│ 0 │ 19899349 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2019-10 │ cf786b7b-863d-4bb5-b36b-9a7459d5da3e-0 │
20200821152906 │ 1 │ 482072 │ 19234653
│ 0 │ 19234653 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-08 │ c50c0657-50bd-4d3e-9c4e-14f6b83f4a47-0 │
20200821152906 │ 89 │ 587055 │ 24543135
│ 0 │ 24543135 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-08 │ 1aeadbe6-c52b-4e96-ade6-c5b692c7b6be-0 │
20200821152906 │ 78 │ 575952 │ 24546899
│ 0 │ 24546899 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-08 │ 62d133ed-0231-44c3-966b-eb30b39a4dee-1 │
20200821152906 │ 62 │ 585495 │ 24545575
│ 0 │ 24545575 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-08 │ 19c055e0-6601-4be2-abaa-f1c937cd4fa8-0 │
20200821152814 │ 57 │ 588315 │ 24562628
│ 0 │ 24562628 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-06 │ 9db9dd32-0b88-49d3-9620-a13d25d1a7a6-0 │
20200821152906 │ 93 │ 500121 │ 20943670
│ 0 │ 20943670 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-06 │ c48e8b31-5e78-4314-9ad6-74b38b471912-0 │
20200821152906 │ 78 │ 483713 │ 20575447
│ 0 │ 20575447 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-06 │ cb058aae-0e88-4bbc-adf3-1a481e876200-0 │
20200821152906 │ 74 │ 511153 │ 21077515
│ 0 │ 21077515 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-06 │ 5e3f4be1-e7d6-4608-8622-7a9284d2dd0e-0 │
20200821152906 │ 62 │ 472906 │ 19983800
│ 0 │ 19983800 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-06 │ 26ace4dc-4e9c-4d3d-94be-d01964462fca-0 │
20200821152906 │ 53 │ 500369 │ 20743099
│ 0 │ 20743099 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-06 │ 06046bb8-dc24-44a5-95cd-3a5c0aa9a904-0 │
20200821152906 │ 43 │ 237650 │ 10979197
│ 0 │ 10979197 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-06 │ bd54d7bb-2fb7-475f-8ca2-47594a1c3206-1 │
20200821152906 │ 13 │ 133180 │ 6523322
│ 0 │ 6523322 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-07 │ b1d0acc3-0e72-4798-8b26-1c93d9a8a3a9-0 │
20200821152906 │ 60 │ 499450 │ 21280641
│ 0 │ 21280641 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-07 │ 96e33f65-8ed9-4198-8141-fd6b4211c58e-0 │
20200821152906 │ 58 │ 505448 │ 21342125
│ 0 │ 21342125 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-07 │ 541ef666-271d-4b34-ac84-a023fae33338-0 │
20200821152906 │ 56 │ 500421 │ 21352889
│ 0 │ 21352889 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-07 │ 372c42b0-612c-4644-8ebe-baec3ce18192-0 │
20200821152906 │ 49 │ 487464 │ 20588883
│ 0 │ 20588883 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-07 │ f1f2c008-4d29-48e9-a6af-ecbe42f1753e-0 │
20200821152906 │ 48 │ 500438 │ 21573335
│ 0 │ 21573335 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-07 │ f1d99d5c-6f2f-446b-9389-5be5987896c8-0 │
20200821152906 │ 47 │ 494778 │ 20824372
│ 0 │ 20824372 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-07 │ 6e89f5b2-e3c6-4bdf-9bee-fc2f08f38624-0 │
20200821152906 │ 47 │ 493837 │ 20219635
│ 0 │ 20219635 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-07 │ 37b67db6-d444-45b4-948d-ffc3d96a122f-0 │
20200821152906 │ 46 │ 487084 │ 20394802
│ 0 │ 20394802 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-07 │ afb52cc2-5a34-4db0-854f-292fda6fc8da-0 │
20200821152906 │ 37 │ 495374 │ 21544700
│ 0 │ 21544700 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-07 │ e22586c6-0890-4f01-9862-81b0f59d1195-0 │
20200821152906 │ 34 │ 476130 │ 20039658
│ 0 │ 20039658 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-07 │ 06046bb8-dc24-44a5-95cd-3a5c0aa9a904-1 │
20200821152906 │ 12 │ 252056 │ 11086635
│ 0 │ 11086635 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2020-07 │ 62d133ed-0231-44c3-966b-eb30b39a4dee-0 │
20200821152906 │ 5 │ 33545 │ 1932342
│ 0 │ 1932342 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2019-09 │ 8721bc6c-1eef-497b-ad3f-a6f9b1a1656c-0 │
20200821142335 │ 2 │ 529694 │ 20268183
│ 0 │ 20268183 ║
╟───────────────────┼────────────────────────────────────────┼─────────────────┼───────────────────────┼───────────────────────┼─────────────────────┼──────────────┼───────────╢
║ daas_date=2019-09 │ d4f2c861-6493-4185-9c1c-5f41b60abf15-1 │
20200821142335 │ 1 │ 256409 │ 10268763
│ 0 │ 10268763 ║
╚═══════════════════╧════════════════════════════════════════╧═════════════════╧═══════════════════════╧═══════════════════════╧═════════════════════╧══════════════╧═══════════╝
```
> Are you running with consistency check enabled ?
No, `hoodie.consistency.check.enabled` wasn't set. I will try to run the
structured streaming job with `hoodie.consistency.check.enabled = true`.
> Can you also check if the file is actually absent by listing the folder
s3://myBucket/absolute_path_to/daas_date=2020-05/
Yes, the file is actually absent.
> Also, paste the output of listing in this issue.
Parquet files with fileId "0c376059-0279-4967-8002-70c3cd9c6b8e-0":
```
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_10-3360-221478_20200821152906.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_11-2909-192474_20200821142335.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_13-3032-200435_20200821144125.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_2-3073-203081_20200821144717.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_3-2581-171166_20200821133908.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_3-3114-205741_20200821145253.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_4-2950-195120_20200821142949.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_4-3155-208347_20200821145904.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_4-3237-213604_20200821151014.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_5-2786-184435_20200821140554.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_5-2827-187104_20200821141202.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_5-2991-197774_20200821143533.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_6-3196-210983_20200821150425.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_6-3278-216229_20200821151547.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_6-39-2575_20200821153748.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_7-2745-181775_20200821140025.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_7-39-2576_20200821154520.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_7-39-2578_20200821154520.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_7-39-2580_20200821154520.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_7-39-2582_20200821154520.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_8-3319-218872_20200821152207.parquet
s3://myBucket/absolute_path_to/daas_date=2020-05/0c376059-0279-4967-8002-70c3cd9c6b8e-0_9-2540-168511_20200821133319.parquet
```
There are around 5000 files, so I attached a text file, which contains the
result of `s4cmd ls s3://myBucket/absolute_path_to/daas_date=2020-05` (this
folder is actually a copy of the original s3 folder, so the date and time of
each file are not the original ones).
[2020-05_files.txt](https://github.com/apache/hudi/files/5121126/2020-05_files.txt)
There are lots of files, because of the following process:
1. the structured streaming job reads messages from Kafka and saves log
files to s3
2. the compaction which previously failed is retried but fails, and the
structured streaming job fails
3. the structured streaming job is re-launched by an external process: steps
1 and 2 are repeated (step 1 keeps adding log files)
----------------------------------------------------------------
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
For queries about this service, please contact Infrastructure at:
us...@infra.apache.org
