(2011/07/08 14:21), Huan Truong wrote:
2011/7/8 Nguyen Vu Hung (VNC)<vuh...@vinicorp.com.vn>:
IMO, nén/giải nén nhanh hay chậm phụ thuộc nhiều vào thuật toán,
chứ không phải là pass từ tar sang compression app bằng cách nào
(như pipe chẳng hạn)
Em có đọc được từ tác giả của bsdtar ở đây:
http://code.google.com/p/libarchive/wiki/LibarchiveAddingReadFilter
But there are two good reasons why you might want to directly handle
the filtering within libarchive rather than call out to an external
program:
<snip>
libarchive có *ý định* dùng shared để cải thiện (đáng kể) tốc độ
http://code.google.com/p/libarchive/wiki/WishList#MMap_and_async_I/O_performance_experiments
<quote>
Async I/O would seem to improve performance with streaming tape drives.
Joerg Schilling has had good results with /star/ using two processes and
a shared-memory buffer
to smooth out data flow when talking to tape drives. I think async I/O
could provide
comparable performance without forking.
(Clients can easily get confused when callbacks get invoked in different
processes,
so I'm reluctant to fork within libarchive.)
</quote>
Em chưa bao giờ đo là việc dùng stdin/out có ảnh hưởng đến tốc độ như
thế nào, nhưng với những thuật toán tốt như lzo, snappy hay lz4 chắc
chắn việc này sẽ ảnh hưởng nhiều đến tốc độ.
Về lý thuyết stdin/out < socket < pipe < memory.
Tốc độ của socket (tham khảo) 904 Mpbs.
Với tốc độ nhanh như vậy thì khoảng dữ liệu khoảng vài chục GB không gây
dung sai
lớn khi dùng stdin/out pipe hay mem (các bác đính chính nếu sai, hơi võ
đoán tí)
http://blog.jamieisaacs.com/2009/08/28/linux-pipe-viewer-network-speed-test/
Các thuật toán chậm hơn như gzip và tất cả các tác vụ bình thường nó
phụ thuộc nhiều vào khả năng tính toán của CPU, cho nên việc copy ra
pipe một hai lần không ảnh hưởng lắm, cho nên mình không để ý, em đồ
rằng như thế.
+1
Xem trên.
Thực ra lz4 executable có thể dùng 1 lần pipe, chỉ pipe in không pipe
out (lz4 -c std outfile.tar.lz4) nhưng vì gzip chỉ có thể hoặc là 2
lần pipe hoặc là không lần nào cho nên em cảm thấy đó sẽ là một so
sánh không được khách quan.
+1
Xem trên.
Có lẽ không ảnh hưởng đến tốc độ
Nguyễn Vũ Hưng
_______________________________________________
POST RULES : http://wiki.hanoilug.org/hanoilug:mailing_list_guidelines
_______________________________________________
HanoiLUG mailing lists: http://lists.hanoilug.org/
HanoiLUG wiki: http://wiki.hanoilug.org/
HanoiLUG blog: http://blog.hanoilug.org/
