/ Hex Artifact Content
Login

Artifact 2e65633d58a1c525d5af0f6c01e5a59155bb3487:


0000: 23 20 32 30 31 34 20 44 65 63 20 32 30 0a 23 0a  # 2014 Dec 20.#.
0010: 23 20 54 68 65 20 61 75 74 68 6f 72 20 64 69 73  # The author dis
0020: 63 6c 61 69 6d 73 20 63 6f 70 79 72 69 67 68 74  claims copyright
0030: 20 74 6f 20 74 68 69 73 20 73 6f 75 72 63 65 20   to this source 
0040: 63 6f 64 65 2e 20 20 49 6e 20 70 6c 61 63 65 20  code.  In place 
0050: 6f 66 0a 23 20 61 20 6c 65 67 61 6c 20 6e 6f 74  of.# a legal not
0060: 69 63 65 2c 20 68 65 72 65 20 69 73 20 61 20 62  ice, here is a b
0070: 6c 65 73 73 69 6e 67 3a 0a 23 0a 23 20 20 20 20  lessing:.#.#    
0080: 4d 61 79 20 79 6f 75 20 64 6f 20 67 6f 6f 64 20  May you do good 
0090: 61 6e 64 20 6e 6f 74 20 65 76 69 6c 2e 0a 23 20  and not evil..# 
00a0: 20 20 20 4d 61 79 20 79 6f 75 20 66 69 6e 64 20     May you find 
00b0: 66 6f 72 67 69 76 65 6e 65 73 73 20 66 6f 72 20  forgiveness for 
00c0: 79 6f 75 72 73 65 6c 66 20 61 6e 64 20 66 6f 72  yourself and for
00d0: 67 69 76 65 20 6f 74 68 65 72 73 2e 0a 23 20 20  give others..#  
00e0: 20 20 4d 61 79 20 79 6f 75 20 73 68 61 72 65 20    May you share 
00f0: 66 72 65 65 6c 79 2c 20 6e 65 76 65 72 20 74 61  freely, never ta
0100: 6b 69 6e 67 20 6d 6f 72 65 20 74 68 61 6e 20 79  king more than y
0110: 6f 75 20 67 69 76 65 2e 0a 23 0a 23 2a 2a 2a 2a  ou give..#.#****
0120: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 0a 23 0a 23 20 54 65 73 74 73 20 66 6f  ***.#.# Tests fo
0170: 63 75 73 69 6e 67 20 6f 6e 20 74 68 65 20 66 74  cusing on the ft
0180: 73 35 20 70 6f 72 74 65 72 20 73 74 65 6d 6d 65  s5 porter stemme
0190: 72 20 69 6d 70 6c 65 6d 65 6e 74 61 74 69 6f 6e  r implementation
01a0: 2e 0a 23 0a 23 20 54 68 65 73 65 20 61 72 65 20  ..#.# These are 
01b0: 65 78 74 72 61 20 74 65 73 74 73 20 61 64 64 65  extra tests adde
01c0: 64 20 74 6f 20 74 68 6f 73 65 20 69 6e 20 66 74  d to those in ft
01d0: 73 35 70 6f 72 74 65 72 2e 74 65 73 74 20 69 6e  s5porter.test in
01e0: 20 6f 72 64 65 72 20 74 6f 0a 23 20 69 6d 70 72   order to.# impr
01f0: 6f 76 65 20 74 65 73 74 20 63 6f 76 65 72 61 67  ove test coverag
0200: 65 20 6f 66 20 74 68 65 20 70 6f 72 74 65 72 20  e of the porter 
0210: 73 74 65 6d 6d 65 72 20 69 6d 70 6c 65 6d 65 6e  stemmer implemen
0220: 74 61 74 69 6f 6e 2e 0a 23 0a 0a 73 6f 75 72 63  tation..#..sourc
0230: 65 20 5b 66 69 6c 65 20 6a 6f 69 6e 20 5b 66 69  e [file join [fi
0240: 6c 65 20 64 69 72 6e 61 6d 65 20 5b 69 6e 66 6f  le dirname [info
0250: 20 73 63 72 69 70 74 5d 5d 20 66 74 73 35 5f 63   script]] fts5_c
0260: 6f 6d 6d 6f 6e 2e 74 63 6c 5d 0a 73 65 74 20 74  ommon.tcl].set t
0270: 65 73 74 70 72 65 66 69 78 20 66 74 73 35 70 6f  estprefix fts5po
0280: 72 74 65 72 32 0a 0a 23 20 49 66 20 53 51 4c 49  rter2..# If SQLI
0290: 54 45 5f 45 4e 41 42 4c 45 5f 46 54 53 35 20 69  TE_ENABLE_FTS5 i
02a0: 73 20 64 65 66 69 6e 65 64 2c 20 6f 6d 69 74 20  s defined, omit 
02b0: 74 68 69 73 20 66 69 6c 65 2e 0a 69 66 63 61 70  this file..ifcap
02c0: 61 62 6c 65 20 21 66 74 73 35 20 7b 0a 20 20 66  able !fts5 {.  f
02d0: 69 6e 69 73 68 5f 74 65 73 74 0a 20 20 72 65 74  inish_test.  ret
02e0: 75 72 6e 0a 7d 0a 0a 73 65 74 20 74 65 73 74 5f  urn.}..set test_
02f0: 76 6f 63 61 62 20 7b 0a 20 20 74 69 6f 6e 20 20  vocab {.  tion  
0300: 20 20 20 20 20 20 20 20 74 69 6f 6e 0a 20 20 61          tion.  a
0310: 74 69 6f 6e 20 20 20 20 20 20 20 20 20 61 74 69  tion         ati
0320: 6f 6e 0a 20 20 76 61 74 69 6f 6e 20 20 20 20 20  on.  vation     
0330: 20 20 20 76 61 74 69 6f 6e 0a 20 20 61 76 61 74     vation.  avat
0340: 69 6f 6e 20 20 20 20 20 20 20 61 76 61 74 0a 20  ion       avat. 
0350: 20 76 69 6f 6e 20 20 20 20 20 20 20 20 20 20 76   vion          v
0360: 69 6f 6e 0a 20 20 69 6f 6e 20 20 20 20 20 20 20  ion.  ion       
0370: 20 20 20 20 69 6f 6e 0a 20 20 72 65 6c 61 74 69      ion.  relati
0380: 6f 6e 61 6c 20 20 20 20 72 65 6c 61 74 0a 20 20  onal    relat.  
0390: 72 65 6c 61 74 69 6f 6e 20 20 20 20 20 20 72 65  relation      re
03a0: 6c 61 74 0a 20 20 72 65 6c 61 74 65 20 20 20 20  lat.  relate    
03b0: 20 20 20 20 72 65 6c 61 74 0a 20 20 7a 7a 7a 20      relat.  zzz 
03c0: 20 20 20 20 20 20 20 20 20 20 7a 7a 7a 0a 20 20            zzz.  
03d0: 69 69 20 20 20 20 20 20 20 20 20 20 20 20 69 69  ii            ii
03e0: 0a 20 20 69 69 69 6e 67 20 20 20 20 20 20 20 20  .  iiing        
03f0: 20 69 69 0a 20 20 78 74 69 6f 6e 61 6c 20 20 20   ii.  xtional   
0400: 20 20 20 20 78 74 69 6f 6e 61 6c 0a 20 20 78 65      xtional.  xe
0410: 6e 63 69 20 20 20 20 20 20 20 20 20 78 65 6e 63  nci         xenc
0420: 69 0a 20 20 78 6c 6f 67 69 20 20 20 20 20 20 20  i.  xlogi       
0430: 20 20 78 6c 6f 67 69 0a 20 20 72 65 61 6c 69 7a    xlogi.  realiz
0440: 61 74 69 6f 6e 20 20 20 72 65 61 6c 69 7a 0a 20  ation   realiz. 
0450: 20 72 65 61 6c 69 7a 65 20 20 20 20 20 20 20 72   realize       r
0460: 65 61 6c 69 7a 0a 20 20 78 69 7a 61 74 69 6f 6e  ealiz.  xization
0470: 20 20 20 20 20 20 78 69 7a 61 74 0a 20 20 63 61        xizat.  ca
0480: 70 69 74 61 6c 69 73 6d 20 20 20 20 63 61 70 69  pitalism    capi
0490: 74 0a 20 20 74 61 6c 69 73 6d 20 20 20 20 20 20  t.  talism      
04a0: 20 20 74 61 6c 69 73 6d 0a 20 20 78 69 76 65 6e    talism.  xiven
04b0: 65 73 73 20 20 20 20 20 20 78 69 76 65 0a 20 20  ess      xive.  
04c0: 78 66 75 6c 6e 65 73 73 20 20 20 20 20 20 78 66  xfulness      xf
04d0: 75 6c 0a 20 20 78 6f 75 73 6e 65 73 73 20 20 20  ul.  xousness   
04e0: 20 20 20 78 6f 75 73 0a 20 20 78 69 63 61 6c 20     xous.  xical 
04f0: 20 20 20 20 20 20 20 20 78 69 63 61 6c 0a 20 20          xical.  
0500: 78 69 63 61 74 65 20 20 20 20 20 20 20 20 78 69  xicate        xi
0510: 63 61 74 0a 20 20 78 69 63 69 74 79 20 20 20 20  cat.  xicity    
0520: 20 20 20 20 78 69 63 69 74 69 0a 20 20 69 65 73      xiciti.  ies
0530: 20 20 20 20 20 20 20 20 20 20 20 69 65 0a 20 20             ie.  
0540: 65 65 64 20 20 20 20 20 20 20 20 20 20 20 65 0a  eed           e.
0550: 20 20 65 69 6e 67 20 20 20 20 20 20 20 20 20 20    eing          
0560: 20 65 0a 20 20 73 20 20 20 20 20 20 20 20 20 20   e.  s          
0570: 20 20 20 73 0a 7d 0a 0a 73 65 74 20 69 20 30 0a     s.}..set i 0.
0580: 66 6f 72 65 61 63 68 20 7b 69 6e 20 6f 75 74 7d  foreach {in out}
0590: 20 24 74 65 73 74 5f 76 6f 63 61 62 20 7b 0a 20   $test_vocab {. 
05a0: 20 64 6f 5f 74 65 73 74 20 22 31 2e 24 69 2e 28   do_test "1.$i.(
05b0: 24 69 6e 20 2d 3e 20 24 6f 75 74 29 22 20 7b 0a  $in -> $out)" {.
05c0: 20 20 20 20 6c 69 6e 64 65 78 20 5b 73 71 6c 69      lindex [sqli
05d0: 74 65 33 5f 66 74 73 35 5f 74 6f 6b 65 6e 69 7a  te3_fts5_tokeniz
05e0: 65 20 64 62 20 70 6f 72 74 65 72 20 24 69 6e 5d  e db porter $in]
05f0: 20 30 0a 20 20 7d 20 24 6f 75 74 0a 20 20 69 6e   0.  } $out.  in
0600: 63 72 20 69 0a 7d 0a 0a 0a 66 69 6e 69 73 68 5f  cr i.}...finish_
0610: 74 65 73 74 0a 0a                                test..