Text Compression

1
Text Compression

• In Managing Gigabytes
• ?? ?????
• ?? ????? ???

2
Contents

• Compression Models and Coding
• Adaptive Model
• Huffman Coding
• Arithmetic Coding

3
Preview

• ??? ?? ??? ?? ??? ??? ??? ???? ???? ???? ??,
  ???? ? ?? ???? ??? ?? ??? ?? ????. ???, ??? ????
  ???? ???? ?? ??? ? ?? ??? ??? ??.
• Text compression ?? ??? ??? ????. ??? ??? ?? ?
  ??? ??? ??? ????? ??? ???. ??? ???? ??? ???? ??
  ??? ??? ??? ????
• ?? ??? ??
• 50?? ?? Huffman coding (5bits/character)
• 70??? Adaptive model
• Ziv-Lempel compression(4bits/character)
• arithmetic coding
• 80?? ?? Prediction by Partial Matching(PPM)

4
Model? Coding

• Model ??? ????? ??? ???? ??. ?? ???? ????
  Modeling? ? ?? ??.
• ltExamplegt
• static model
• semi-static model
• adaptive model
• Coding ??? ???? ??? ??? ??? ?
• ltExamplegt
• Huffman coding
• Arithmetic coding

5
Compression Models

• ?? ?? ?????? ??? ???? ?? ?? ??? ????? ?? ????
  ???.
• ????? ??? ??? ??? ???? ???.
• ??? ?? ? ?? ? sample text??? ????( relative
  frequency )

6
?? ??? entropy

• ?? ??? entropy(H)
• ???? ?? ???(???)
• H ? PrsI(s) ? -Prslog Prs
• I(s) s? encode? ?? ?
• Prs s? ??? ??
• I(s) -logPrs
• ?? ?? ? ?? entropy
• ?? ?? ? ?? entropy

7
Compression Model? ??

• - static model ? ??? ?? ??? ?? ???? ??.
• - semi-static model Compress? ?? ??? ??
  ???
• ?? ??? ???.
• - adaptive model ?? ?? ??? ??? ??? ?? ??
• ? ????.
• - finite-context model ??? ? ?? ?? ??? ?? ?
• ? ?? ??
• - finite-state model ? state? ?? ?? ??? ??
  ??
• ?? ???.
• - Symbolwise model ??? ??? ???? ?? ???
• ? ??? ??. ??? ??? ??? ???? ???? ?
• ?? ????.
• - Dictionary model ??? ??? ???? ????.

8
Adaptive Model

• static modeling
• ???? ??? ???? ?? ?? ??? ???? ??.
• ?? ??? ???? ???? ?? ??.
• semi-static modeling
• Compress? ?? ??? ?? ??? model? ???.
• adaptive modeling
• ??? ?? ??? ??? ?? ?? ??
• - ??? ?? ??, ??? ??? ?? ??? ?? ??? ?
• ???? ???.
• - ??? ??? ?? ?? encode? ??? ????.

9
Adaptive Model(Cont.)

• zero-order model(character level model)
• ??? ???? ??, character ??, ?? ??? ??? ?
• ??? ????.
• zero-frequency problem
• ?? 0? ??? ??.
• - extra count? ??.
• - ??? ??? 1? ?? ??.
• higher-order model ?? ???? ??? ??
• - first-order model ??? ??? ??? ???? ?? ??
• - second-order model ??? ? ?? ??? ???? ??
• ??

10
Coding

• Coding
• ????? ?? ???? ????? ???? ??? Code??? ??
• ??
• ??? ?? ?? codeword? ??
• ?? ?? ?? encode, decode
• Huffman coding full-text Retrieval? ??
• random access? ??
• ??? ???.
• Canonical Huffman Coding
• ?? ???? ????.
• codeword? ??? ????.
• codeword? ?? ??? ????.
• decode tree? ??.
• Arithmetic coding
• ?? ???
• ?? ????? ??? ????.

11
Huffman Coding
12
Arithmetic Coding

• Arithmetic coding? ??
• ? symbol? ?? ??? ??? ??.
• Symbol stream? ??? ??? ????.
• Prefix ??
• Coding? ??? ?? ???? ?? ??.
• ?? ?? ??.
• Prefix ??? ?

13
(No Transcript)
14
(No Transcript)
15
(No Transcript)
16
(No Transcript)
17
Huffman Coding? Arithmetic Coding? ??