ASCII(American Standard Code for Information Interchange) ? ANSI

1
??????

• ASCII(American Standard Code for Information
  Interchange) ? ANSI
• ISO 646 95????????
• ?????????????
• ????? LF, CR ???????? ACK,DEL ??????? ???
• JISX0201??ASCII????????????(??????)

2
ISO 646 (ASCII) ?????
0 1 2 3 4 5 6 7 8 9 A B C D E F
2 ! ( ) , . /
3 0 1 2 3 4 5 6 7 8 9 lt gt ?
4 _at_ A B C D E F G H I J K L M N O
5 P Q R S T U V W X Y Z \ _
6 a b c d e f g h i j k l m n o
7 p q r s t u v w x y z
3
????????

• 1???????256??
• ????????????????
• 1??????????????????????????????????????????
• ???????????????????????????????

4
ISO2022

• ???????????????????????????????
• ???ISO646 (??????ASCII?????JIS X 0201)
  ???????????????????????
• ????????????????ISO8859/1

5
ISO2022 ??????????
????????? ??????????
ASCII ESC ( B
JIS X0201(ASCII????) ESC ( J
JIS ???? ESC ( I
JIS 0208 ESC B
6
JIS??????

• JISX0208(1978) ???JISC6226 ????(??????????)???????
  ???????????????
• ????????????97JIS????????????
• ???JIS
• 78JIS ? 83JIS ? 90JIS ? 97JIS

7
??????????????????????

• 1???????ASCII???????
• 2?????????????????????????
• ?????????????????? ISO2022 ???????????????
• ????????????????

8
JIS?????????

• 78JIS??1?? 2965?????? ???????????????
  ?2?? 3384??
• JISX 0212 ????? 5801??

9
???EUC

• Unix??????2??????
• ?1?????????0 ? JIS X0201(ASCII????)
• ?1?????????1 ???2?????????1 ? JIS??
• ?1???8E ???2?????????1 ? JIS????
• ?1???8E ???2?????????1???3?????????1 ? JIS????
• ???????????????????

10
???JIS

• JISX0208??????????????1?????????????
• 1?????
• ??????0 ?JIS X0201(????? ASCII????)
• ??????1 ?JIS????
• x81-9F(JIS X 0201?????), E0-EF(ISO2022???????)
  ???
• 2?????x40-EF
• ??24576??
• ???????????? Big5, GBK,UHC

11
?2??? 00
21 40 7E 80
JIS???
00 21 5E 5F 7E 81 9F E0 EF

JIS?? JIS??
JIS?? JIS??

sjis sjis sjis

sjis sjis sjis

?????(1??????2?????????)??????(ISO2022??????????)?
??
?1???(???????)
JIS???? JIS X0201? ???1????? ???JIS(sjis)?????
????
SJIS???
12
????

• ???? ?? ???????????????? ????????????????????????
• ??????????????????????
• ????????????????????

13
??????????????
??
??
????? ? ???????
?????? ??????? ?????? ?????????
?????
14
????????????????

• ????????????????????????????????
• A ? a ?????????????????????????
• ????????????????????????????????????????????????

15
???????????

• ?????????????????????????????????????????????????
• ?????????????????????????????????????
• ??????CJK(??????????)??3??????????????????????????
  ????????

16
?? ??

• ?? ????????? ????????
• ???????????????
• ????????????????????????????????
• ? ??(plain text) vs ?????

17
Plain Text vs ?????

• Plain text ????????????????????????????
• ???????????????????? Plain text ????????????
• ??????????????????????????????????????????????
  LaTex,SGML?XML?HTML??

18
?????????

• ISO2022??????????????
• JIS?SJIS?EUC?????????????????????????????????
• ???????
• ????????N-gram????????

19
??????????(UNIX)

• nkf -?????? ?????
• ??????? j?s?e?m

20
?????????

• ??????http//www.e-words.ne.jp/

21
???????

• ??????????????????????????????????????
• ??????
• ??????????????????
• ????????????
• ???????? (n-gram)????
• ????????