@Руслан, да ти кажа честно с LZ78 също имам резултати, но там пък има други мизерии. Сега пробвам просто да приложа Huffman върху произведените кодове. Иначе алтернативата с Deflate ми изглежда гадничка. Ама все пак ще опростяваме, каквото можем и ще усложняваем, каквото не можем.
@Светлин , да ти кажа и аз честно - Huffman не ми се струва много надеждно ,незнам мисля ,че няма да намали много ентропията все пак говорим за незнам около 100-тина срещащи се символа средно във файл.Аз си мислех и аз за някакво кодиране било то с Хъфман код или аритметично кодиране ,но извинявай Пайтън не е никак подходящ според мен за толкова low-level операции.Гледах реализирани класове на BitStream или нещо подобно струва ми се много много детайлно.Незнам гледах и други алгоритми за компресия има някакъв много добър 7-z но те са компресия + deflate и.... :).
Deflate принципно е LZ77+Huffman+Huffman+RLE. Шантава работа.
Huffman може доста да намали нещата в някои случаи. Примерно при Deflate имаме две huffman дървета, където distance offset-а е 0-32k. Тия числа можеш да ги заместиш с по-кратки кодове.
Проблемът с Huffman е, че трябва да работиш с битове, което не е съвсем удобно. Аз не виждам никакъв друг начин да слезем до 30%, освен с Dictionary + Bit Reduction и най-простия начин за реализация ми се струва LZW+Huffman.
От друга страна с LZW с variable-width codes стана 29.7% :-D Това поне прави unix-кия compress и се замислям доста по въпроса...
Виж говорим за 30% при XML - замисли се неможе ли нещо да се пипне в XML-а така ,че той ПРЕДИ компресията да стане по-малък :).Следователно декомпресията'=истинската_декомпресия+"обратната функция на това ,което си направил преди компресията";).Аз също мисля ,че Bit Reduction не е много удачен точно би бил с Хъфман код или аритметичен код поради тази прицина ,че трябва да работиш "яко" с битове:)
Моето мнение е:
1. Preprocessing на XML файлове с цел съкращаване на имена не бива да се прави. Нали същото се опитва да направи и LZ? Кодът ще стане боза.
2. Размерът на файла се определя от крайните байтове, които записваш и в този смисъл Bit Reduction ще е полезен. Без работа с битове няма да се мине, казвам ти. То дефакто това реално е половината от идеята.
Всъщност, preprocessing на XML файл-а е добра идея (донякъде). Тъй като повечето алгоритми за компресиране, включително и LZ и неговите варианти, работят изключително добре, ако има повтарящи се или сходни блокове текст непосредственно едни до други. Затова някои алгоритми дори прилагат Burrows–Wheeler transform, чиято цел е именно тази. XML файл-овете са даже доста добре структурирани, че такива трансформации да работят ефективно. Проблемът тук, обаче, пак опира до performance.
Относно конзолните бележки: Употребата на exec законна ли е?
И още ... може ли за интерфейс на системата се ползва красивия Python shell, като функционалностите на системата да се достъпват с любезното съдействие на ... функции и методи?
Т.е търсенето, примерно, да се реализира горе-долу така:
>>> search('Label1', 'Label2', ..., type='Note', text='Part of
the text in the note')
Като разбира се съответната фунцкионалност е подкрепена от лесно достъпен и достатъчно описателен HELP
По този начин избягваме директното четене от клавиатурата и главоболията свързани с визуализирането на цялата работа.
""" Аз имам въпрос по 'Система за генериране на тестове'
'да е възможно да се добавят лесно други формати за вход въпросите (да се четат от база от данни, JSON или YAML например)'
Тия неща аз ли трябва да реализирам, или просто трябва да спазвам някакви дизайнерски принципи и добавянето на нова функционалност да е лесно? """
*bump
Също още по тази тема, всеки въпрос е в отделен файл или може да има много въпроси в един файл.
А има ли информация за втората дата за защита?
По време на второто контролно бяха казали, че ще е след 12-ти.
Ако може втората дата за защита на проекти да е на 13-ти най-късно, защото на 14-ти е последния срок за подаване на молби за общежитие и ще е хубаво изпита да нее в последния ден. Благодаря предварително.
Хора, кажете поне кои дати се опитвате да запазите, за да можем да си направим някакви планове/уговорки за отпуски(ако трябва) и т.н.
Понякога е трудно днес да кажеш, че утре или дригиден ще отсъстваш от работа и да те пуснат...
@Атанас
Ако сега подадеш молба за общежитие и вътре излъжеш, че изпита си го взел с 6-ца (примерно), никой няма да провери на момента. Тая проверка се прави най-рано октомври месец, когато си изваждаш удостоверение за успех от ФМИ и го носиш в студентски. Ерго имаш 2 опита (сега и септемврийска сесия) да добуташ оценката, която си декларирал. Освен това никога (по някакво тяхно си правило) не правят проблем, ако си декларирал по-НИСКА оценка, отколкото пише на удостоверението. С други думи, ако излъжеш, че изпита си го взел с 4-ка, а ти го вземеш с 5 или 6 примерно, светът е цветя и рози
Disclaimer:
Нали се сещаш че ако си на ръба и си влезнал заради лъжата ти ще си имаш доста проблеми. В другите случаи съм склонен да се съглася донякъде с теб.
@Георги
Граничен случай, hence Disclaimer 1 ("еволюционно неоптимална стратегия" покрива както личните, така и общите(социалните) импликации при нарушаването на Нашовото равновесие)
@Никола Шекерев Много добре знаеш че ако изпита е преди последната дата за подаване за общежития това ще ми спести много главоболия на по късен етап. Така че отвново ще помоля датата за изпита да е преди 14-ти.
@Атанас Разбира се. Мисълта ми е, че ако пичовете по някаква уважителна причина не могат да направят изпита по-рано и те прецакат (както и другите от студентски), имаш някаква задна вратичка, която студентите редовно използват с много по-користни причини от твоята. Имам познати дето като стане въпрос за молби и общежития, се панират супер жестоко и исках да ти спестя малко нерви. Нищо повече
А ако защитата ще е след 14 защо направо не я отложите за септември :?
Относно django и python, ако съм решил да правя интернет сайт, който не е twiter ще може ли да използваме по ниска версия от python 3?
Всички уеб неща могат да са на 2.6+.
Ако не се явиш сега на защита... точките от тестове и домашни запазват ли се за септември?
Въпрос:
Търся си вероятностно разпределение, което да отговаря на следните условия:
Написах си един Chi-square, ама не ми върши - трябва ми и контрол върху стандартното отклонение
Идеи ?
Защитата е преди 14ти - както бяхме обещали.
За хората, които са на работа - можете да дойдете извън работно време. Защитата ще продължи поне до 8-9 вечерта.
В много екстремни случаи ще можете да защитите на 13ти. Но това - само в случай, че имате уважителна причина. Освен това трябва да ни съобщтите предварително, за да се разберем за някакъв час.
