ПОИСКОВЫЙ ИНТЕРНЕТ-ПОРТАЛ <<НАУЧНО-ПОПУЛЯРНОЕ, ДОКУМЕНТАЛЬНОЕ И УЧЕБНОЕ КИНО>>

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.


Вы здесь » ПОИСКОВЫЙ ИНТЕРНЕТ-ПОРТАЛ <<НАУЧНО-ПОПУЛЯРНОЕ, ДОКУМЕНТАЛЬНОЕ И УЧЕБНОЕ КИНО>> » Школа раздающих » О избыточной информации для восстановления повреждённых данных


О избыточной информации для восстановления повреждённых данных

Сообщений 1 страница 17 из 17

1

Обратил внимание, что в последнее время везде стали выкладывать RAR-архивы c информацией для восстановления, это вроде как стандартом стало, хотят люди как лучше, но кто задумывался о полезности всего этого?
В раздачах гордо пишут 3-5-10% сабжа!
Лично я проводил эксперименты - намеренно портил архивы, далеко не всегда архиваторы могут их восстановить (естественно, что я портил гораздо меньше, чем там заложено было избыточной информации, т.е. в пределах разумного и обещаемого разработчиком), увы :(
В старых версиях RAR'а дела в этом плане обстояли намного лучше, кстати, почему-то...
Та же история у RAR'а с дополнительными избыточными томами для восстановления, точнее они-то (в пределах заявленных возможностей) на радость работают безотказно, НО! при условии, что они сами не повреждены - если повреждён хоть один бит любого из этих томов, то они уже ни за что не помогут, всем им вместе дорога в мусорку! Это проверено мной в многочисленных эскпериментах.
Попробуйте сами и попытайтесь опровергнуть меня, если я не прав - буду очень рад :)

Так есть ли смысл раздающим заливать, а страждущим зря качать лишнее?, тем более что в огромном большинстве случаев эта избыточная информация так и не понадобится (в случае успешного скачивания).
ЕСТЬ! Но для этого следует использовать сторонние программы.
На сегодняшний день выбор не очень большой, я использую ICE EСС.

ICE ECC использует распределённый механизм для хранения файлов с кодами коррекции ошибок (.ecc). Восстановление информации возможно даже, если файлы с кодами коррекции ошибок сильно повреждены.

Это тоже проверено мной на практике и соответствует действительности :)
Интерфейс английский, хелп английский, но там и понимать особо нечего :)
Если что - там же на форуме поддержки помогут/подскажут.
Программка сия абсолютно бесплатна.
Модераторов прошу не сочти всё это за рекламу, я к этой проге никаким боком не отношусь, разве что как благодарный пользователь :)  - с недавних пор я ни один диск не пишу без неё - всё оставшееся от файлов/фильмов полезное место на дисках забиваю этой избыточной инфой, горький опыт преждевремнной потери инфы научил, это только на словах оно может храниться долгими годами  :/ .
Есть специальные режимы создания таких файлов с разными размерами (каждый последующий больше предыдущего) для случаев именно наших потребностей, можно скачать для восстановления кусок нужного размера под размер повреждений (однако я не представаляю себе как можно вычислить размер повреждений, кроме случаев снятия с CD/DVD повреждёных файлов, там хоть видно сколько пропускаем битого при копировании), но эта фишка таки заслуживает внимания.
Можно создавать избыточной инфы на сколько пожелаете процентов, и это (по аналогии как у RAR'а с дополнительными избыточными томами для восстановления) всё отдельными файлами. Т.е. раздающий залил куда-то фильм в любом виде и + это добро рядом (не архивируя, в чистом виде, а то не дай бог архив поврежден... читайте с самого начала :) , в случае с ICE ECC это абсолютно не требуется и даже противопоказано, пусть даже они там скачаются повреждёнными, перекачивать их не нужно, и так пойдёт, толк всегда будет от них!).
Человек скачивает фильм, тестирует целостность архива (а в случае цельного *.AVI, *.VOB etc - конечно же при помощи прилагаемого *.SFV или *.MD5, или любого другого хеша, кто на что горазд, я упомянул 2 самых ходовых). Если всё ОК, значит ОК :) , если нет, то лишь тогда скачивает, заботливо приготовленные, предварительно протестированные раздающим (только Full Test !!!) и залитые им файлы с избыточной инфой для восстановления.

0

2

Не совсем понял чем же не понравилась информация для восстановления самого RAR.
У меня несколько раз уже попадались битые файлы при скачивании и всегда все восстанавливалось (не помню, чтобы не восстановилось). Зато было несколько случае, когда не было информации для восстановления и разархивировать не получалось - вот обидно-то было :(

0

3

skirter
не понравилось тем, что лишние проценты качать приходится всегда, независимо от необходимости, и восстановить повреждения не всегда умеет почему-то.
В предлагаемом же мной варианте качать это "лишнее" (не внедрённое в основной файл) пришлось бы только в случае необходимости восстановления.

0

4

А-а-а, в данном смысле, чтобы этот файл для восстановления был отдельно. Тогда понятно о чем речь.

0

5

skirter
более того, как я уже писал выше, в отличие от томов RAR'а подобного назначения, даже если этот отдельныый файл(ы), тоже будет повреждён(ы), то его(их) всё равно можно использовать для восстановления, правда с соответственно уменьшившимся КПД, если можно так выразиться :) , т.е. живучесть таких файлов очень велика, оторвут ему ногу - он на одной будет прыгать, выбьют ему зубы - он не пережевывая будет глотать :)

0

6

Это я читал. Хотя интересно как восстановить при повреждении CRC, ну видимо есть методика, например, какое-нибудь поблочное (например, покилобайтное или по 64 байта) CRC, так как мала вероятность повреждения исходного файла и файла CRC в одинаковых блоках, плюс общее CRC для самого файла CRC :)

А на счет последнего предложения есть анекдот: Надпись на заборе "Осторожно злая собака", кто-то внизу приписал "Но без зубов", еще ниже приписали "Зато засасывает насметрь".

0

7

IMHO, нецелесообразно делать информацию для восстановления, больше 3%, мелкие повреждения CRC при закачке это исправит,
а при серьёзных и 10% не помогут, придется перезакачивать поврежденное...   
Ну и связанные с этим увеличения размеров файлов и траффика, то же это подтверждают...
Другое дело, всегда надо добавлять проверочные файлы - sfv, что далеко не все ещё делают,

0

8

проверочные файлы - sfv

А ещё лучше в формате MD5, т.к. теоретически вполне возможен случай (хоть и чрезвычайно маловероятный), что файл будет повреждён, но его CRC32 при этом не изменится ;) , а вот с MD5 вряд ли (не знаю как там дело с AVI контейнерами, вышесказанное мной основано на примере с образами CD дистрибутивов MS Windows - там CRC32 родного диска, при генерировании ISO-шника их родной утилой CDIMAGE, была такой - FFFFFFFF, красиво? ;) , при этом их содержимое могло быть различным, и вот когда народ самостоятельно собирал такие "оригинальные" образы чем-то иным, то "гурманы" частенько применяли спецпатчи для того, чтобы изменить CRC32 готового образа и сделать его как у родного от MS, хотя на содержимое самого контейнера (*.iso) и его функциональность это абсолютно никак не влияло, но слишком уж хотелось, чтобы образ был "фирменным" :) ).

Пусть будет хоть и 1%, я говорил о том, что инфу для восстановления можно не внедрять в целевые файлы, а выкладывать отдельно (в предлагаемом мной способе это отдельные файлы), если всё ОК, то не придётся качать эти лишние проценты, если есть проблема целостности, то можно скачать файлы восстановления и попытаться пофиксить повреждения, если же повреждения больше, чем возможно восстановить при помощи избыточной инфы, то качай с нуля.

Отредактировано Kalex (2006-11-28 03:15:36)

0

9

Я не совсем понимаю, а зачем нужны проверочные файлы.
Если при скачивании произойдет повреждение, то это выяснится в момент распаковки архива и проверочный файл по любому не поможет.
А если файл распаковался нормально, то значит проверочник опять не нужен :(

Таким образом, проверочник нужен только если качается фильм целиком, что сейчас редкость, или если фильм разбит не архиватором, а разрезан кусками соединяемыми HJSplit (вроде так называется), что также нечасто встречается.

0

10

skirter написал(а):

Таким образом, проверочник нужен только если качается фильм целиком, что сейчас редкость, или если фильм разбит не архиватором, а разрезан кусками соединяемыми HJSplit (вроде так называется), что также нечасто встречается.

целиком - давно не редкость, не у всех такие худые каналы, кто-то может и позволить себе удовольствие.
контролька/проверочник (называйте его как угодно, смысл понян всем) удобен и тогда, когда наш фильм разбит и архиватором на тома, само собой разумеется - весь архив можно протестировать самим архиватором!, но только тогда, когда ты его полностью слил, а до тех пор всегда остаёшься в неведении всё ли в порядке, а так можно каждый кусок проверять.

0

11

Kalex написал(а):

целиком - давно не редкость, не у всех такие худые каналы, кто-то может и позволить себе удовольствие.

Скачать-то могут многие, выкладывают не все, даже очень мало :)
Обычно обмен идет через файлообменники, а они ставят ограничение на размер файла.

Kalex написал(а):

а так можно каждый кусок проверять.

А зачем проверять куски архивов до окончания скачивания всех кусков? Я так никода не делал, да вряд ли буду это делать. Все равно потом выяснишь и сможешь перекачать заново (если нет информации о восстановлении, а если она будет отдельно, как предлагал ты, то и не надо будет заново качать).

0

12

skirter написал(а):

А зачем проверять куски архивов до окончания скачивания всех кусков

Случаи разные бывают..., и у меня есть привычка вредная - не удалять из очереди ничего непроверенного, скачал - по свободе проверил, ОК - удалил из очереди, чтобы не засорялась.
Агитация закончена, можете считать ВСЁ вышесказанное моими личными убеждениями и предпочтениями из соображений моих же удобств и привычек.

0

13

Manag написал(а):

Другое дело, всегда надо добавлять проверочные файлы - sfv, что далеко не все ещё делают

не подскажете, где надо поставить галочку, чтобы эти проверочные файлы сформировались?
вроде в винраре все просмотрела, но не нашла.
или это вообще не в нем делается?

0

14

не в WinRAR'е, для этого используются сторонние утилиты, их море всякоразных..., как консольных, так и GUI'шных, как бесплатных, так и плохих, но за деньги :)
напр.:
hkSFV 2.0.1 (build 84) http://www.big-o-software.com/download. … duct=hkSFV
http://www.big-o-software.com/products/hksfv/

QuickSFV version 2.33a http://quicksfv.org/qsfv233a.exe
http://www.quicksfv.org/

WinSFV32 http://nosetup.org/_programas/archivos/winsfv.zip
домашней страницы нет, якобы

0

15

А я ВООБЩЕ не понимаю, зачем нужно архивировать выкладываемые видеофайлы? Видео и аудио потоки и так уже сжаты, и сжатие или даст очень незначительную экономию (порядка нескольких процентов), либо вообще увеличит размер файла. Но зато добавится большой геморрой в случае если скачаный файл будет повреждён (тогда либо будет невозможно распаковать один повреждённый блок, либо (что более вероятно) невозможно будет распаквовать всё начиная с места повреждения). Если же повреждён будет "сырой" (несжатый) видеофайл, то с вероятностью 99% это приведёт только к "помехам" на небольшом участке видео, что гораздо лучше вышеописанного.

В общем, мой совет - не архивируйте видео. Если нужно просто разрезать файл на куски - воспользуйтесь программами, которые делают это без сжатия (под юниксами - программа split, под виндой, говорят, total commander это умеет)

0

16

Как я понимаю, использование архиваторов служит для нескольких целей:
1. Уменьшение размера файла, понятно, что небольшое, но хоть сколько.
2. Разбиение файла на куски нужного размера.
3. Возможность задания пароля - такое невозможно при простом разбиении файла на куски.
4. Добавление информации о восстановления - такое тоже невозможно при простом разбиении файла на куски, только если с помощью каких-либо внешних средств, так что если какой-то файл скачался с небольшой ошибкой, то узнаешь об этом только во время проигрывания фильма.

Понятно, что почти для каждого пункта можно найти другой способ решения проблемы, но, используя архиватор, мы получаем комплексное решение нескольких проблем :)

0

17

спасибо разобрался

0


Вы здесь » ПОИСКОВЫЙ ИНТЕРНЕТ-ПОРТАЛ <<НАУЧНО-ПОПУЛЯРНОЕ, ДОКУМЕНТАЛЬНОЕ И УЧЕБНОЕ КИНО>> » Школа раздающих » О избыточной информации для восстановления повреждённых данных