Re: Аналог утилиты tac для сжатого файла
On Tue, Feb 14, 2012 at 01:01:04AM +0400, Alexey Pechnikov wrote: > Чтобы за просто так "порвать" диск? Очень сильно думаю, что в любом > скриптовом языке fsync зовется после записи каждого файла... так что > никак не вариант. А вообще хватило бы и двух файлов - с блоками и со > смещениями блоков, но это некрасиво. Еще вариант, файловая система поддерживающая компрессию. Это самое простое и, думаю, быстродействующее решение, но не слишком переносимое. -- Иван Лох -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20120213213118.gd23...@nano.ioffe.rssi.ru
Re: Аналог утилиты tac для сжатого файла
14 февраля 2012 г. 0:01 пользователь Alexander Galanin написал: > Раз уж допустимо менять формат входных данных, то почему бы не хранить > информацию в виде россыпи из гзипнутых файлов по N строк? Чтобы за просто так "порвать" диск? Очень сильно думаю, что в любом скриптовом языке fsync зовется после записи каждого файла... так что никак не вариант. А вообще хватило бы и двух файлов - с блоками и со смещениями блоков, но это некрасиво. Пришло в голову, что zip архив позволяет добавлять файлы к архиву, и утилитка для этого дела есть, любезно написанная когда-то Anton Kovalenko: | zipput archive.zip file-name Интересно, какая производительность такого решения, если туда поблочно/построчно данные пихать, может, и сойдет. P.S. В личку это как раз хорошо, чтобы ответить на это сообщение рассылку читаю в вебе. -- Best regards, Alexey Pechnikov. http://pechnikov.tel/
Re: Аналог утилиты tac для сжатого файла
On Mon, 13 Feb 2012 23:34:30 +0400 Alexey Pechnikov wrote: > Кажется, стоит дополнить - разумеется, сжимаются строки ненулевой > длины, но достаточно малые для того, чтобы имело смысл применить > построчное сжатие; скажем, длина строк от 100 до 1000 байт. Раз уж допустимо менять формат входных данных, то почему бы не хранить информацию в виде россыпи из гзипнутых файлов по N строк? P.S. пардон за «личку» -- Alexander Galanin -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20120214000140.d929299a68e57c7322e5f...@galanin.nnov.ru
Re: Аналог утилиты tac для сжатого файла
Кажется, стоит дополнить - разумеется, сжимаются строки ненулевой длины, но достаточно малые для того, чтобы имело смысл применить построчное сжатие; скажем, длина строк от 100 до 1000 байт. Подойдет и вариант поблочного сжатия (например, блоками по 16...256 килобайт). Как очень простой вариант, можно сжимать по N строк и в хексе их записывать построчно на диск... итоговый файл легко пропустить через tac и далее построчно читать, распаковывая и делая реверс строки. При правильно выбранном N получим и выигрыш от сжатия и простую распаковку. При наличии достаточного объема ОЗУ аналогичное легко проделывается в памяти (без перекодировки в хекс). Наверняка есть готовые библиотеки и утилиты, реализующие данный алгоритм (как минимум, подобное делается во множестве СУБД с поколоночным хранением). -- Best regards, Alexey Pechnikov. http://pechnikov.tel/
Re: Аналог утилиты tac для сжатого файла
> > А в типичном нам нужно хранить не полный вектор отступов, а только > > те, которые еще нужны, а их вряд ли много - один, ну, два. > > Так файл-то надо задом наперёд пройти. Так что сначала дойти до конца, > расставив контрольные точки, а потом идти с конца, когда их можно будет > исключать. Насколько я понимаю, у гзипнутого файла вполне есть структура, которую можно распознать. Он на блоки поделен. Так что не надо будет идти до конца. Как делает tac? Делает seek на глазок поближе к концу, читает блок вперед, ищет концы строк. Целые строки выводит, запоминает только начало блока до первой \n. Задействует, конечно, память под найденные позиции концов, но только в пределах одного прочитанного блока, после вывода смело их забывает. Так же можно делать и тут, только искать надо будет начало гзип-блока, и запоминать его смещение первого из найденных, и начало раззипованного куска до первой \n. Хотя вообще у меня было такое ощущение, что zlib жмет блоки ограниченного размера. Не сжатый блок делает ограниченного размера, а исходный. 32K по умолчанию. Так что если есть уверенность, что файл сжат zlib'ом, то и файла из одних концов строк бояться не надо - там максимальный размер разжатого куска 32K. А вот четкой уверенности в том, что можно, начав с любого места, уверенно найти начало блока, у меня нет, но есть ощущение, что структура у него такова, что да, можно. -- /dev/null-транспортировка -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/87ipjaoa3k.wl%...@ran.pp.ru
Re: Аналог утилиты tac для сжатого файла
On Mon, 13 Feb 2012 19:48:10 +0400 Artem Chuprina wrote: > Ну, в тяжелом случае (файл состоит из одних переводов строки или > чего-то очень близкого, что можно сжать в один блок) нам все равно > придется разжать весь файл, если пользоваться zlib, а не лезть в > структуру уже блока грязными ногами. Да уж, тут все хитрости окажутся бесполезны. > А в типичном нам нужно хранить не полный вектор отступов, а только > те, которые еще нужны, а их вряд ли много - один, ну, два. Так файл-то надо задом наперёд пройти. Так что сначала дойти до конца, расставив контрольные точки, а потом идти с конца, когда их можно будет исключать. -- Alexander Galanin -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20120213210345.bfb61690bfcfbe215b59e...@galanin.nnov.ru
Re: запись образа на флешку
13.02.2012 17:28, Sohin Vyacheslaw пишет: 13.02.2012 13:53, Mikhail A Antonov пишет: zcat boot.img.gz> /dev/sdX Вынул, вставил, смонтировал раздел Закинул на него netinst.iso или образ cd1 Загрузился. Всё. выполнил, перегружаюсь-появляется окно с космической темой "Installer Boot menu" с пунктами: -Install -Graphical Install -Advanced Options -Help при этом всё подвисло-ни 1 из пунктов выбрать нельзя(( p.s. а есть какой-то универсальный способ сделать загрузочную флешку не только для debian, а например, для puppy? -- BW Сохин Вячеслав В debian есть пакет unetbootin - вот оно умеет для кучи дистрибутивов делать, но в стабильной ветке слегка старая версия, так что лучше с сайта качать, там вроде бы 1 бинарник. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/4f3932ae.4060...@gmail.com
Re: Аналог утилиты tac для сжатого файла
> > n^2 это в данном случае бесконечность. Понятно, что надо сохранять вектор > > отступов > > блоков на первом проходе.. > > Тут на интересную задачку можно накопать, если не знать про входные данные > более > ничего :) > > Если хранить вектор отступов, то памяти при работе потребуется M = > (N/K)*sizeof(off_t)+K, где N — размер файла, K — размер блока, который мы > можем > распаковываем единовременно. При этом M может оказаться больше, чем размер > доступной памяти. Ну, в тяжелом случае (файл состоит из одних переводов строки или чего-то очень близкого, что можно сжать в один блок) нам все равно придется разжать весь файл, если пользоваться zlib, а не лезть в структуру уже блока грязными ногами. А в типичном нам нужно хранить не полный вектор отступов, а только те, которые еще нужны, а их вряд ли много - один, ну, два. -- If a `religion' is defined to be a system of ideas that contains unprovable statements, then Godel taught us that mathematics is not only a religion, it is the only religion that can prove itself to be one. -- John Barrow -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/87lio6ohtx.wl%...@ran.pp.ru
Re: запись образа на флешку
> >> Sohin Vyacheslaw writes: > >> sdc, а не sdc1. > > спасибо, действительно... но к сожалению и с sdc не проходит-всё > > происходит без ерроров и варнингов, но видно только меню GRUB после > > перезагрузки... > > > > p.s. может кроме boot еще необходимы какие-то флаги на разделе? > > Мейби. Очень даже верю. > Дело конечно же в загрузчике. На образе, который вы записываете, скорее > всего используется isolinux. При загрузке с флеш-карты разумно > использовать syslinux. > > Вот товарищи Вам правильно советуют поступать для создания флешки, как > написано в п.4.3.3. > Я, вообще говоря, был изрядно удивлен, увидев пункт 4.3.1, т.к. по-моему > это работать не должно. Начиная с некоторого момента, образы ISO у нас стали пригодными для загрузки и с флешки, и с CD/DVD. Не исключу, что только при сравнительно новом биосе. Стоит почитать installation guide от squeeze, это там написано. -- Вам правду резать или кусочком? Кнышев -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/87mx8moi38.wl%...@ran.pp.ru
Re: запись образа на флешку
13.02.2012 16:06, Mikhail A Antonov пишет: > 13.02.2012 17:28, Sohin Vyacheslaw пишет: > Архитектура та? Клавиатура точно работает? USB Legacy включено в BIOS? > архитектура та же, USB Legacy->Enable в биосе... -- BW Сохин Вячеслав -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/4f392351.90...@yandex.ua
Re: запись образа на флешку
13.02.2012 17:28, Sohin Vyacheslaw пишет: > 13.02.2012 13:53, Mikhail A Antonov пишет: >> zcat boot.img.gz > /dev/sdX >> Вынул, вставил, смонтировал раздел >> Закинул на него netinst.iso или образ cd1 >> Загрузился. >> Всё. >> > выполнил, перегружаюсь-появляется окно с космической темой "Installer > Boot menu" с пунктами: > -Install > -Graphical Install > -Advanced Options > -Help > > при этом всё подвисло-ни 1 из пунктов выбрать нельзя(( Архитектура та? Клавиатура точно работает? USB Legacy включено в BIOS? -- Best regards, Mikhail. - XMPP: ant...@stopicq.ru WWW: http://www.antmix.pp.ru/ signature.asc Description: OpenPGP digital signature
Re: Аналог утилиты tac для сжатого файла
13.02.2012 17:12, Иван Лох пишет: n^2 это в данном случае бесконечность. Понятно, что надо сохранять вектор отступов блоков на первом проходе.. Тут на интересную задачку можно накопать, если не знать про входные данные более ничего :) Если хранить вектор отступов, то памяти при работе потребуется M = (N/K)*sizeof(off_t)+K, где N — размер файла, K — размер блока, который мы можем распаковываем единовременно. При этом M может оказаться больше, чем размер доступной памяти. -- Alexander Galanin -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/4f391269.1080...@galanin.nnov.ru
Re: запись образа на флешку
13.02.2012 13:53, Mikhail A Antonov пишет: > zcat boot.img.gz > /dev/sdX > Вынул, вставил, смонтировал раздел > Закинул на него netinst.iso или образ cd1 > Загрузился. > Всё. > выполнил, перегружаюсь-появляется окно с космической темой "Installer Boot menu" с пунктами: -Install -Graphical Install -Advanced Options -Help при этом всё подвисло-ни 1 из пунктов выбрать нельзя(( p.s. а есть какой-то универсальный способ сделать загрузочную флешку не только для debian, а например, для puppy? -- BW Сохин Вячеслав -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/4f390ff7.5060...@yandex.ua
Re: Аналог утилиты tac для сжатого файла
On Mon, Feb 13, 2012 at 05:01:16PM +0400, Alexander Galanin wrote: > 13.02.2012 16:56, Иван Лох пишет: > >On Mon, Feb 13, 2012 at 06:51:48PM +0600, Andrey Rahmatullin wrote: > >>On Mon, Feb 13, 2012 at 04:30:12PM +0400, Alexey Pechnikov wrote: > >>>Большой файл (больше размера ОЗУ и свободного дискового пространства) > >>>сжат, например, с помощью gzip или любого другого потокового > >>>упаковщика. Надо его разжать, причем с реверсом строк "на лету", не > >>>читая весь файл в память и не сохраняя на диск. > >>> > >>>Понятно, что задача выполнима, > >>Нет, непонятно. Обоснуйте. > >Раз в zlib есть gzseek на чтение, то она теоретически выполнима. > >Практически, это > >идиотизм, конечно. > > Всего-то n^2 вместо n. В случае, когда памяти мало, это может быть неплохим > результатом. n^2 это в данном случае бесконечность. Понятно, что надо сохранять вектор отступов блоков на первом проходе.. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20120213131259.gb23...@nano.ioffe.rssi.ru
Re: запись образа на флешку
Sohin Vyacheslaw writes: > 13.02.2012 12:33, Dmitrii Kashin пишет: >> Sohin Vyacheslaw writes: >> sdc, а не sdc1. > спасибо, действительно... но к сожалению и с sdc не проходит-всё > происходит без ерроров и варнингов, но видно только меню GRUB после > перезагрузки... > > p.s. может кроме boot еще необходимы какие-то флаги на разделе? Мейби. Очень даже верю. Дело конечно же в загрузчике. На образе, который вы записываете, скорее всего используется isolinux. При загрузке с флеш-карты разумно использовать syslinux. Вот товарищи Вам правильно советуют поступать для создания флешки, как написано в п.4.3.3. Я, вообще говоря, был изрядно удивлен, увидев пункт 4.3.1, т.к. по-моему это работать не должно. -- ** * jabber: free...@jabber.mipt.ru * * Registered linux user #546240* ** -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/87k43qc253@gmail.com
Re: Аналог утилиты tac для сжатого файла
On Mon, Feb 13, 2012 at 04:56:53PM +0400, Иван Лох wrote: > > > Большой файл (больше размера ОЗУ и свободного дискового пространства) > > > сжат, например, с помощью gzip или любого другого потокового > > > упаковщика. Надо его разжать, причем с реверсом строк "на лету", не > > > читая весь файл в память и не сохраняя на диск. > > > > > > Понятно, что задача выполнима, > > Нет, непонятно. Обоснуйте. > > Раз в zlib есть gzseek на чтение, то она теоретически выполнима. If the file is opened for reading, this function is emulated but can be extremely slow. -- WBR, wRAR signature.asc Description: Digital signature
Re: Аналог утилиты tac для сжатого файла
13.02.2012 16:56, Иван Лох пишет: On Mon, Feb 13, 2012 at 06:51:48PM +0600, Andrey Rahmatullin wrote: On Mon, Feb 13, 2012 at 04:30:12PM +0400, Alexey Pechnikov wrote: Большой файл (больше размера ОЗУ и свободного дискового пространства) сжат, например, с помощью gzip или любого другого потокового упаковщика. Надо его разжать, причем с реверсом строк "на лету", не читая весь файл в память и не сохраняя на диск. Понятно, что задача выполнима, Нет, непонятно. Обоснуйте. Раз в zlib есть gzseek на чтение, то она теоретически выполнима. Практически, это идиотизм, конечно. Всего-то n^2 вместо n. В случае, когда памяти мало, это может быть неплохим результатом. -- Alexander Galanin -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/4f39099c.3070...@galanin.nnov.ru
Re: Аналог утилиты tac для сжатого файла
On Mon, Feb 13, 2012 at 06:51:48PM +0600, Andrey Rahmatullin wrote: > On Mon, Feb 13, 2012 at 04:30:12PM +0400, Alexey Pechnikov wrote: > > Большой файл (больше размера ОЗУ и свободного дискового пространства) > > сжат, например, с помощью gzip или любого другого потокового > > упаковщика. Надо его разжать, причем с реверсом строк "на лету", не > > читая весь файл в память и не сохраняя на диск. > > > > Понятно, что задача выполнима, > Нет, непонятно. Обоснуйте. Раз в zlib есть gzseek на чтение, то она теоретически выполнима. Практически, это идиотизм, конечно. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20120213125653.ga23...@nano.ioffe.rssi.ru
Re: Аналог утилиты tac для сжатого файла
On Mon, Feb 13, 2012 at 04:30:12PM +0400, Alexey Pechnikov wrote: > Большой файл (больше размера ОЗУ и свободного дискового пространства) > сжат, например, с помощью gzip или любого другого потокового > упаковщика. Надо его разжать, причем с реверсом строк "на лету", не > читая весь файл в память и не сохраняя на диск. > > Понятно, что задача выполнима, Нет, непонятно. Обоснуйте. -- WBR, wRAR signature.asc Description: Digital signature
Аналог утилиты tac для сжатого файла
Большой файл (больше размера ОЗУ и свободного дискового пространства) сжат, например, с помощью gzip или любого другого потокового упаковщика. Надо его разжать, причем с реверсом строк "на лету", не читая весь файл в память и не сохраняя на диск. Понятно, что задача выполнима, вопрос, существует ли стандартное решение или надо свою утилиту писать? Примечание: конвейер zcat + tac может выполнить операцию, но увы, файл в процессе разжимается целиком. -- Best regards, Alexey Pechnikov. http://pechnikov.tel/
Re: запись образа на флешку
13.02.2012 14:27, Sohin Vyacheslaw пишет: > День добрый, > подскажите плз, что делаю не так: хочу записать загрузочный iso-образ на > флешку и установить с него систему по > указаниям с http://www.debian.org/releases/stable/i386/ch04s03.html.ru : > > 1. отмонтируем флешку > 2. # cat debian.iso > /dev/sdc1 > # sync > 3. смотрим в Gparted свойства раздела-стоит флаг 'boot' > 4. перегружаемся, выставив в биосе загрузку с USB > после этого ничего не происходит-несколько секунд пауза+меню GRUB > появляется. > > p.s. если использую для этой цели Unetbootin и Usb-creator-gtk всё ок... > можно ли исп-ть для этой цели dd, например так: > #dd if=debian.iso of=/dev/sdb bs=1M ? zcat boot.img.gz > /dev/sdX Вынул, вставил, смонтировал раздел Закинул на него netinst.iso или образ cd1 Загрузился. Всё. -- Best regards, Mikhail. - XMPP: ant...@stopicq.ru WWW: http://www.antmix.pp.ru/ signature.asc Description: OpenPGP digital signature
Re: запись образа на флешку
,-[Sohin Vyacheslaw, 13 February 2012 15:13]: > 13.02.2012 12:33, Dmitrii Kashin пишет: >> Sohin Vyacheslaw writes: >> sdc, а не sdc1. > спасибо, действительно... но к сожалению и с sdc не проходит-всё > происходит без ерроров и варнингов, но видно только меню GRUB после > перезагрузки... > > p.s. может кроме boot еще необходимы какие-то флаги на разделе? > я делал через syslinx (п. 4.3.3). прям вот как в статье. вполне работало. -- __ mpd status: [paused] Dream Evil - Chasing The Dragon ** * jabber: devil_ins...@jabber.ru * * Registered linux user #450844* ** -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/jhat2i$it4$1...@dough.gmane.org
Re: запись образа на флешку
13.02.2012 12:33, Dmitrii Kashin пишет: > Sohin Vyacheslaw writes: > sdc, а не sdc1. спасибо, действительно... но к сожалению и с sdc не проходит-всё происходит без ерроров и варнингов, но видно только меню GRUB после перезагрузки... p.s. может кроме boot еще необходимы какие-то флаги на разделе? -- BW Сохин Вячеслав -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/4f38f063.9020...@yandex.ua
Re: запись образа на флешку
Sohin Vyacheslaw writes: > День добрый, > подскажите плз, что делаю не так: хочу записать загрузочный iso-образ на > флешку и установить с него систему по > указаниям с http://www.debian.org/releases/stable/i386/ch04s03.html.ru : > > 1. отмонтируем флешку > 2. # cat debian.iso > /dev/sdc1 > # sync > 3. смотрим в Gparted свойства раздела-стоит флаг 'boot' > 4. перегружаемся, выставив в биосе загрузку с USB > после этого ничего не происходит-несколько секунд пауза+меню GRUB > появляется. > > p.s. если использую для этой цели Unetbootin и Usb-creator-gtk всё ок... > можно ли исп-ть для этой цели dd, например так: > #dd if=debian.iso of=/dev/sdb bs=1M ? По приведенной Вами же ссылке явно написано: > cat debian.iso > /dev/sdX sdc, а не sdc1. -- ** * jabber: free...@jabber.mipt.ru * * Registered linux user #546240* ** -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/87obt381lr@gmail.com
hylafax + iaxmodem + asterisk 1.6 = не проходит CID в hylafax
День добрый. Использую связку, указанную в сабже. По какой-то причине не проходит callerid в hylafax. Видимо затык где-то в iaxmodem. Конфиг следующий: device /dev/ttyIAX0 owner uucp:uucp mode660 port4570 refresh 600 server 127.0.0.1 peernameiaxmodem0 secret 1234567 cidname FaxKA cidnumber 7812123456 codec alaw Какие подводные камни могут быть? -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of "unsubscribe". Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/4f38d488.2020...@korona-auto.com
