The Space Complexity of Approximating the Frequency Moments

1

• The Space Complexity of Approximating the
  Frequency Moments
• Noga Alon
• Yossi Matias
• Mario Szegedy

2
???? ?????

• ??? A(a1,a2,,am) ???? ?????? ??????, ???
  ??????? aj?N1,2,,n ??? 1jm.
• ????? ?? mi ????? ???? ??????? ?? ????? i ?????
  A, ????? mij aji.
• ????? ??????? ???? k ????? ??
• (k0)

3
???? ????? - ????

• A(a1,a2,,am), aj?N1,2,,n ??? 1jm.
• mi - ???? ??????? ?? ????? i ????? A, ?????
  mij aji.
• ????? ??????? / ?????? ???? k ????? ??

• ??? F0 ?
• ??? F1 ?
• ??? F8 ?

???? ??????? ?????? ?-A.
???? ?????, m.
.F8 max mi 1in
4
???? ????? - ????

• Fk ???? ?????? ?????????? ?? ?????? O(nlogm).
• Fk ???? ?????? ?? ?????????? ?? ??????
  O(nloglogm).
• ???????? ????????, ??? ???? ????? ???? Z, ?????
  ????? ?????? ?????.
• ??????
• ????? Fk.
• ????? ????.
• Z ???? ???? ?- Fk ??? ???? ?????Fk ???????? ??
  ????? 1-?.
• ???? ???? ?? ???? ??????? A.

??? ???? ?? ? ??? ?
5
????????? ??????

• ???? ???????? ????? ???? p ???? 1,,m.
• ???? ?-b ?? ????? ????? ?????? ??????? p, ?????
  ap b.
• ???? ?-r ?? ???? ??????? ?? b ??? ?????? ?-p
  (????), ????? rq qp, aq b .
• ????????? ???? ?? ???? Xm(rk-(r-1)k).

??? ???? ???? ??? ??? ???? ?? X ?
O(logn) ?????? b
O(logm) ?????? p, r
???"? O(lognlogm)
6
????? X

• ???? ???????? ????? ???? p ???? 1,,m.
• ???? ?-b ?? ????? ????? ?????? ??????? p, ?????
  ap b.
• ???? ?-r ?? ???? ??????? ?? b ??? ?????? ?-p
  (????).
• ????????? ???? ?? ???? Xm(rk-(r-1)k).

7
????? X

• ???? ???????? ????? ???? p ???? 1,,m.
• ???? ?-b ?? ????? ????? ?????? ??????? p, ?????
  ap b.
• ???? ?-r ?? ???? ??????? ?? b ??? ?????? ?-p
  (????).
• ????????? ???? ?? ???? Xm(rk-(r-1)k).

8
???? ??????

• ?? ????????? ????? ???? s1 ????? ????? ????-????.
• ???? ?? X1, X2, , Xs1 ??? s1 ?????? ?????? ????
  ??????, ????-??????? ?????? ?? Y ?????? ????.

?? ????? ????????? ?????
E(Y)E(Xi)Fk
?? ????? ????????? ?????
????? ?? ????!
9
???? ?????? - ?????

• ???? ?? ????????
• ??-?????? Chebyshev
• ????
• ??? ???? ?? s1 ?

???? ?????? ????????
10
??? ???? ??????

• ?? ????????? ????? (???? ??????) ???? s2 ?????
  ????? ????-????.
• ???? ?? Y1, Y2, , Ys2 ??? s2 ?????? ?????? ????
  ??????, ????-??????? ?????? ?? Z ?????? ????.

??????? ?- O(s1s2 (lognlogm)) ????? ???????.
???? ????? ??
11
???? ????? ?????? - ?????

• ??-?????? Chernoff
• ?? X ??? ???? ?????? ?????? ???????????
  ????-?????? ?????? X ??? µ, ??? ??? 0ltß ??????
• ??? ?????? ????????? ???? ????? ?- Fk ??? ????
  ???? ?Fk ???? ???? ??????? ???? ????? ½s2
  ???????? Yi.
• ??? ???? ?? s2 ?

ß3
12
??? m ???? ???? ????...

• ???? ???? ?? ?????????, ?? ?? m ???? ???? ????.

????????? ?? p ??????? ?? r ?-1
13
?? ???????

• ????
• ??? 1k, 0lt?, 0lt? ???? ???????? ??????, ???????
  A(a1,a2,,am) ???? ?????? ??????, ?? ?-
  aj?N1,2,,n ?- 1jm ???? ????? ??? ??? ?????
  ?-
• ?????? ??????, ???? Z, ?? ????????? ?-Z ???? ?-
  Fk ??? ???? ???? ?Fk ??? ??? ????? ?.

14
????? F2

• ?????? ???? ???????? ?????????.
• ??? ????????? ????? ???? 0lt?, 0lt? ?????? ????
  ?????? ?? F2 ??? ????? ?- .......................
  .. ?????? ??????.
• ?????? ??? ????????? ?????
• ???? Y ??? ?????? ?? Y1, Y2, , Ys2, ??? ?? ???
  ??? ??? ????? ?? s1 ?????? ?????? Xij 1js1
  ???? ????-??????? ?????-??????.

15
????? F2 - ????

• ??? H ???? ?? kO(n2) ???????? Hash h
  1,2,,n ? 1,-1.
• ????????? ?????? X
• ??? p ???? ???? ??? 1 ?-k ???????? ?????.
• ???? h ??????? ?-Hash ??????? ????? ????? p
  h(i)?i.
• ???? ??
• ????? ?? XZ2.

???? ?????? ????? ???? ?? A
??? ???? ???? ??? ??? ???? ?? X ?
O(logm) ?????? Z
O(logn) ?????? p
???"? O(lognlogm)
16
????? F2 - ?????

• ????? X
• ????? X

??-???? ??????
??-???? ????????
17
????? F2 ?????

• ??????
• ???-?????? Chebyshev ????
• ???? ?? s1 ?????
• ??????
• ??-?????? Chernoff.

• ??????
• ???-?????? Chebyshev ????
• ???? ?? s1 ?????
• ??????
• ??-?????? Chernoff.

???? ??? 0lt?, 0lt? ???? ???????? ??????, ???????
A(a1,a2,,am) ???? ?????? ??????, ?? ?-
aj?N1,2,,n ?- 1jm ???? ????? ??? ??? ?????
?- ?????? ??????, ???? Y, ?? ????????? ?-Y
???? ?- F2 ??? ???? ???? ?F2 ??? ??? ????? ?.
18
????? F0

• ?????? F0 ??? ???? ??????? ?????? ?-A.
• ??? ????? N1,2,,n, A(a1,a2,,am).
• ???? ?-d ?? ?-d ????????, ?? ?- 2dgtn.
• ?????? ?????? N ??? ????? ???? FGF(2d).

???? ??????? ?? ???? FGF(2d) ??? ???? ??????????
????? d-1 ??? Z2, ?? ?????? ????? ???? ??????
2. ????? ???? - ???? ???????? ????? d ??? 0,1.
19
????? F0 - ????

• ?????????
• ???? a,b?F ???????, ???????? ????? ?????
  ????-????.
• ??? ai ?-A, ????? ziaaib.
• ???? ?-r(z) ?? ????? ????? ????? r, ?? ?-r ??????
  ??????? ????? ?-z ?? ???? 0.
• ???? rir(zi).
• ??? R ???????? ?? ri (1im).
• ???? ?? Y2R.

20
????? F0 - ?????

• ?????? ???????? f(x)axb
• ????? ????? Pr(zi)r(½)r
• ??-???? ?????? Pr(zi)r and r(zj)r(½)2r
• ??? r ?????.
• ??? x?N, ??? ????? ?-A ????? ????????? Wx.
• Wx1 ?? r(axb)r, ?-0 ????.
• ???? ZrSWx (????? ??? ?? ?? ?-x-?? ??-A).

21
????? F0 ???? ??????

• ??? r ?????.
• ??? x?N, ??? ????? ?-A ????? ????????? Wx.
• Wx1 ?? r(axb)r, ?-0 ????.
• ???? ZrSWx (????? ??? ?? ?? ?-x-?? ??-A).

• ????? E(Zr)F0(½)r
• ??? cgt3.
• ??? r ?-r ???? ????? ?????? 2rgtcF0.

22
????? F0 ???? ??????

• ??? r ?????.
• ??? x?N, ??? ????? ?-A ????? ????????? Wx.
• Wx1 ?? r(axb)r, ?-0 ????.
• ???? ZrSWx (????? ??? ?? ?? ?-x-?? ??-A).

• ????? Var(Zr) F0(½)r1- (½)r lt
  F0(½)r
• ??? r ?-r ????? ????? ?????? c2rltF0.

Chebyshev
23
?? ???????

• ????
• ??? cgt3 ???? ????????, ??? ?????? A(a1,a2,,am)
  ???? ?????? ??????, ???? ????? ??? ???? Y ???
  ????? ?-O(logn) ?????? ??????, ?? ????????? ???
  ????? ??? Y ???? F0 ???? ??? 1/c ???? c ??? ???
  ????? 3/c.

24
?-error Probabilistic Communication Complexity
f0,1n0,1n?0,1
y
x
.. ..
.. ..
?????? ????? ???????? 1-? ??? x,y !
f(x,y)?
C?(f) ????? ???? ?????? ???????? ????? ???
?????, ??? ????????? ???? ?????.
25
Disjointness function
DISn(x,y) 0,1n0,1n ? 0,1

• x,y ??????? ??-?????? Ax, Ay ?? N1,2,,n.
• DISn(x,y)1 ?? ??? ?? Ax n Ay ? ?.

????? N1,2,3,4,5,6 x010100 y110011 Ax n Ay
2,4 n 1,2,5,6 ? ? DISn(x,y)1
???? ??? ?lt½ - C?(DISn) ?(n)
26
??? ????? ?????? F8
???? ???? ???????? M ??"? ?????? ?-s ??????
??????. ???? ?- y,x ?? ???? ??????? ??? 1 ?-
x,y ??????. ????? ??? A ????? yx ????? ??
????? N ???????? x ?-y.

• ????
• ?? ???????? ??????, ??? ?????? ??? A ?? ???
  ????? 2n ?????? ???? N1,2,,n ???? ????? ???
  ???? X ?? ?- F8/3)lt? P(X-F8 ???? ?lt½ ?????,
  ????? ????? ?(n) ?????? ??????.

????!
??? ???? ?? ????????? M ?? x
??? ????? ????? ?? M. ?? ?????? ??? 4/3 ???
????? 1.
?? ?? ?? ??? ?? ??????? ................
??????
27
??? ????? ?????? F8 - ????
????? ?' N1,2,3,4,5,6 x011100 y110011 A
(2,3,4,1,2,5,6) F82
????? ?' N1,2,3,4,5,6 x011100 y100011 A
(2,3,4,1,5,6) F81
F8 ???? ????? ?? 1 ?? 2. ???????? ?? 1-? ??????
?????.
P(X-F8lt F8/3)1-?
????? ?(nlglgm)
28
????? ?????????? ??? ?????

• ????
• ??? k?1 ??-?????, ?? ???????? ?????????? ???????
  ??? A ?? ½n ?????? ???? N1,2,,n ???? ?????
  ??? ???? X, ?? ?-X ???? ?- Fk ??? ???? ????
  0.1Fk ???? ????? ?????? ?(n) ?????? ??????.
• ????? G
• ???? ?? t2?(n) ???-?????? ?? N.
• ?? ????? ?????? ¼n.
• ??? ??? ?????? ?? ??? ????? ?n ?????? ???????.

????? G ?????
29
????? ?????????? - ????

• ????? G
• ???? ?? t2?(n) ???-?????? ?? N.
• ?? ????? ?????? ¼n.
• ??? ??? ?????? ?? ??? ????? ?n ?????? ???????.

• ???? ?????? ???? ???????? ?????? X ?? ?- X-Fk
  0.1Fk.
• ???? g1,g2?G, ???? ?- A(g1,g2) ?? ???? ?? ½n
  ??????? ??? ?-g1 ??-g2.
• ???? ???? ????????? ?? ¼n ??????? ???????? ??
  A(g1,g2) ??? ??????? ???? ?? ??? ?-g1.
• ?? ??????? ?? ???? ?- lgt ?????, ?? ???? g2 ????
  ??????? ???? ???? ???? ??? ???? ??????? ???? ????
  ?? g1.
• ????????? ???? ???? ??? ???? A(g1,g1) , A(g2,g1) .

30
????? ?????????? - ????

• ????? G
• ???? ?? t2?(n) ???-?????? ?? N.
• ?? ????? ?????? ¼n.
• ??? ??? ?????? ?? ??? ????? ?n ?????? ???????.

X-Fk 0.1Fk

• ????????? ???? ???? ??? ???? A(g1,g1) , A(g2,g1)
  .
• ???? ?? ??????
• ??? ????? ?????????? ????? ?? ??? ????? lgt?(n).

A(g2,g1) F0 Fk
A(g1,g1) F0 Fk
¼n 2k ¼n
?n ¼n 2k ?n
31
??? ????? ?????? Fk

• ???? s,t ?????? ????? ???? DIS(s,t) ?? s ??????

A1 A2 A3 A4 A5
................................................
As
Ai ??-?????? ????? t ?? N1,2,,n ????
n(2t-1)s1.

• ???? ????? ??? ?????? ???
• ??????? (A1,A2,,As) ???? ??????.
• ??????? (A1,A2,,As) ?????? ????? ????.
• ????? - ?????? ???? ????? x ?- Ai\x ????
  ??????.

32
??? ????? ?????? Fk - ????
sn1/k tT(n1-1/k)

• ??? kgt5.
• ???? A ??? ???????? ?????? ?????? Fk ??? ????
  ????? ??? ????? n ?? ?????? ?-1,2,,n ????
  n(2t-1)s1, ????? ????? ?-M ????? ???????.
• ???? ???????? ?????? DIS(s,t)

??? ???? ?? A ?? t ??????? ??? ????? ?? ???
??????? ????? ????.
??? ???? ?? A ?? t ??????? ???. ?? ?????? ???
1.1st ??? ???? "??????? ???? ??????" ????
"??????? ?????? ????? ????".
??? ???? ?? A ?? t ??????? ??? ????? ?? ???
??????? ????? ??????.
??????
33
??? ????? ?????? Fk - ????
sn1/k tT(n1-1/k) n(2t-1)s1

• ?? ??????? ???? ??????, ?? Fkst.
• ?? ??????? ?????? ????? ????, ??
• Fksks(t-1)ns(t-1)gt(3t-2)s(1½o(1))n.
• ??? ????? ???? ?????????? sMgt(s-1)M
• ????
• ??? ?lt½ ???? ts4, ????? ?? ?? ????????
• ?????? ????? ?? ??? ? ???? ????? DIS(s,t) ???
• ????? ?(t/s3).
• ??? M?(t/s4)?(n/s5)?(n1-5/k).

kgt5
34
?? "??????"?

• ????
• ??? kgt5, ßlt½?? ???????? ??????, ??????? ????
  ?????? ?????? A ?? ??? ????? n ?????? ?-
  N1,2,,n ???? ????? ??? ???? Zk, ?? ?-
• ????? ?????? ?(n1-5/k) ?????? ??????.

35
??? !