@Светлин , аз не говоря за preprocessing ами за reducing по някакъв начин.Виж вътри ми се една идея в главата още не съм я написал немога да твърдя ,че е приложима.Има два варианта Компресия+(намаляне на битовете или моята идея да проработи и да даде резултат).В момента пиша други неща ,незнам дали ти си реализирал алгоритъма на Пайтън защото аз го направих и имам/х проблем с бързодействието ,който сега решавам и чак след това ще реализирам идеята си чак след като всичко работи и остана пред избора "моята идея" или намаляващ код.

Имам същия проблем , след като направих cProfile и аз видях ,че len и chr и понякога ord ми заемат необичайно много време , но ще видим :)

Ето и един съвет от мен. Ако ползвате функции в циклите, където обхождате входния файл, ги присвоете към локални променливи и ги извиквайте чрез тях. Особено, ако в имената им има точки. Например:

import struct
...
for i in f.read():
    b = struct.pack('B', i)
    ...
    l = len(b)
    ...
    outfile.write(b)
...

го направете така:

import struct
...
pack = struct.pack
ln = len
write = output.write
for i in f.read():
    b = pack('B', i)
    ...
    l = ln(b)
    ...
    write(b)
...

По-късно може да постна и други дребни хитринки за ускоряване.

За колко време приблизително комресирате 50 мб файл?

Деляне, добре казано: сходни размисли пише и в книгите по въпроса. А засега само размишлявахме с колегата Руслан. За перформънса трябва още малко да го понацъкам, за да кажа реално как върви.

Ами аз успях да смъкна компресиране на 800 мб файл до 20 минути. Наистина readе доста бавен, особено ако четеш по един байт. Това, което на мен ми помогна е следното:

...
buffer = f.read(1024*1024)
for i in buffer:
    b = int_to_byte[i]
    ...

По този начин можеш да се обходи много бързо файла, но за съжаление i` е от тип `int. Затова предварително създадох речник от 256 елемента, който ми map-ва на всяко число съответстащия байт. И сега работата с байтове е доста по-лека от това да се правят разни списъци и прочие.

Ами ако използвам достатъчно голям речник (разбирай 65536*8 и нагоре) стигнах 28.7% на големия файл. Иначе на други файлчета от по 50 мб дето тествам ми е падало и до 12%. Но не ми е чист LZW алгоритъма, тъй като съм добавял 1-2 оптимизациики.

И този съм го пробвал (какво ли не съм), но методът с речника е просто най-бърз от всичко.

Деляне, благоооодаря за идеята!

Сега бачка бързо и компресира повече, само че е за сметка на RAM-а.

Оттеглям въпроса си.