/ Hex Artifact Content
Login

Artifact 4c53c89ce3919003765ff4fd8d98ecf724d97dd3:


0000: 23 20 32 30 30 37 20 4d 61 72 63 68 20 32 38 0a  # 2007 March 28.
0010: 23 0a 23 20 54 68 65 20 61 75 74 68 6f 72 20 64  #.# The author d
0020: 69 73 63 6c 61 69 6d 73 20 63 6f 70 79 72 69 67  isclaims copyrig
0030: 68 74 20 74 6f 20 74 68 69 73 20 73 6f 75 72 63  ht to this sourc
0040: 65 20 63 6f 64 65 2e 0a 23 0a 23 2a 2a 2a 2a 2a  e code..#.#*****
0050: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0060: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0070: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0080: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0090: 2a 2a 2a 2a 0a 23 20 54 68 69 73 20 66 69 6c 65  ****.# This file
00a0: 20 69 6d 70 6c 65 6d 65 6e 74 73 20 72 65 67 72   implements regr
00b0: 65 73 73 69 6f 6e 20 74 65 73 74 73 20 66 6f 72  ession tests for
00c0: 20 53 51 4c 69 74 65 20 6c 69 62 72 61 72 79 2e   SQLite library.
00d0: 20 20 54 68 65 20 66 6f 63 75 73 0a 23 20 6f 66    The focus.# of
00e0: 20 74 68 69 73 20 73 63 72 69 70 74 20 69 73 20   this script is 
00f0: 74 65 73 74 69 6e 67 20 69 73 73 70 61 63 65 2f  testing isspace/
0100: 69 73 61 6c 6e 75 6d 2f 74 6f 6c 6f 77 65 72 20  isalnum/tolower 
0110: 70 72 6f 62 6c 65 6d 73 20 77 69 74 68 20 74 68  problems with th
0120: 65 0a 23 20 46 54 53 32 20 6d 6f 64 75 6c 65 2e  e.# FTS2 module.
0130: 20 20 55 6e 66 6f 72 74 75 6e 61 74 65 6c 79 2c    Unfortunately,
0140: 20 74 68 69 73 20 63 6f 64 65 20 69 73 6e 27 74   this code isn't
0150: 20 61 20 72 65 61 6c 6c 79 20 70 72 69 6e 63 69   a really princi
0160: 70 6c 65 64 20 73 65 74 0a 23 20 6f 66 20 74 65  pled set.# of te
0170: 73 74 73 2c 20 62 65 63 61 75 73 65 20 69 74 27  sts, because it'
0180: 73 20 69 6d 70 6f 73 73 69 62 6c 65 20 74 6f 20  s impossible to 
0190: 6b 6e 6f 77 20 77 68 65 72 65 20 6e 65 77 20 75  know where new u
01a0: 73 65 73 20 6f 66 20 74 68 65 73 65 0a 23 20 66  ses of these.# f
01b0: 75 6e 63 74 69 6f 6e 73 20 6d 69 67 68 74 20 61  unctions might a
01c0: 70 70 65 61 72 2e 0a 23 0a 23 20 24 49 64 3a 20  ppear..#.# $Id: 
01d0: 66 74 73 32 6c 2e 74 65 73 74 2c 76 20 31 2e 31  fts2l.test,v 1.1
01e0: 20 32 30 30 37 2f 30 33 2f 32 39 20 31 36 3a 33   2007/03/29 16:3
01f0: 30 3a 34 31 20 73 68 65 73 73 20 45 78 70 20 24  0:41 shess Exp $
0200: 0a 23 0a 0a 73 65 74 20 74 65 73 74 64 69 72 20  .#..set testdir 
0210: 5b 66 69 6c 65 20 64 69 72 6e 61 6d 65 20 24 61  [file dirname $a
0220: 72 67 76 30 5d 0a 73 6f 75 72 63 65 20 24 74 65  rgv0].source $te
0230: 73 74 64 69 72 2f 74 65 73 74 65 72 2e 74 63 6c  stdir/tester.tcl
0240: 0a 0a 23 20 49 66 20 53 51 4c 49 54 45 5f 45 4e  ..# If SQLITE_EN
0250: 41 42 4c 45 5f 46 54 53 32 20 69 73 20 64 65 66  ABLE_FTS2 is def
0260: 69 6e 65 64 2c 20 6f 6d 69 74 20 74 68 69 73 20  ined, omit this 
0270: 66 69 6c 65 2e 0a 69 66 63 61 70 61 62 6c 65 20  file..ifcapable 
0280: 21 66 74 73 32 20 7b 0a 20 20 66 69 6e 69 73 68  !fts2 {.  finish
0290: 5f 74 65 73 74 0a 20 20 72 65 74 75 72 6e 0a 7d  _test.  return.}
02a0: 0a 0a 23 20 54 65 73 74 73 20 74 68 61 74 20 73  ..# Tests that s
02b0: 74 61 72 74 73 57 69 74 68 28 29 20 28 63 61 6c  tartsWith() (cal
02c0: 6c 73 20 69 73 73 70 61 63 65 2c 20 74 6f 6c 6f  ls isspace, tolo
02d0: 77 65 72 2c 20 69 73 61 6c 6e 75 6d 29 20 63 61  wer, isalnum) ca
02e0: 6e 20 68 61 6e 64 6c 65 0a 23 20 68 69 2d 62 69  n handle.# hi-bi
02f0: 74 20 63 68 61 72 73 2e 20 20 70 61 72 73 65 53  t chars.  parseS
0300: 70 65 63 28 29 20 61 6c 73 6f 20 63 61 6c 6c 73  pec() also calls
0310: 20 69 73 61 6c 6e 75 6d 20 68 65 72 65 2e 0a 64   isalnum here..d
0320: 6f 5f 74 65 73 74 20 66 74 73 32 6c 2d 31 2e 31  o_test fts2l-1.1
0330: 20 7b 0a 20 20 65 78 65 63 73 71 6c 20 22 43 52   {.  execsql "CR
0340: 45 41 54 45 20 56 49 52 54 55 41 4c 20 54 41 42  EATE VIRTUAL TAB
0350: 4c 45 20 74 31 20 55 53 49 4e 47 20 66 74 73 32  LE t1 USING fts2
0360: 28 63 6f 6e 74 65 6e 74 2c 20 5c 78 38 30 29 22  (content, \x80)"
0370: 0a 7d 20 7b 7d 0a 0a 23 20 41 64 64 69 74 69 6f  .} {}..# Additio
0380: 6e 61 6c 6c 79 20 74 65 73 74 73 20 69 73 73 70  nally tests issp
0390: 61 63 65 28 29 20 63 61 6c 6c 20 69 6e 20 67 65  ace() call in ge
03a0: 74 54 6f 6b 65 6e 28 29 2c 20 61 6e 64 20 69 73  tToken(), and is
03b0: 61 6c 6e 75 6d 28 29 20 63 61 6c 6c 0a 23 20 69  alnum() call.# i
03c0: 6e 20 74 6f 6b 65 6e 4c 69 73 74 54 6f 49 64 4c  n tokenListToIdL
03d0: 69 73 74 28 29 2e 0a 64 6f 5f 74 65 73 74 20 66  ist()..do_test f
03e0: 74 73 32 6c 2d 31 2e 32 20 7b 0a 20 20 63 61 74  ts2l-1.2 {.  cat
03f0: 63 68 20 7b 0a 20 20 20 20 65 78 65 63 73 71 6c  ch {.    execsql
0400: 20 22 43 52 45 41 54 45 20 56 49 52 54 55 41 4c   "CREATE VIRTUAL
0410: 20 54 41 42 4c 45 20 74 32 20 55 53 49 4e 47 20   TABLE t2 USING 
0420: 66 74 73 32 28 63 6f 6e 74 65 6e 74 2c 20 74 6f  fts2(content, to
0430: 6b 65 6e 69 7a 65 20 5c 78 38 30 29 22 0a 20 20  kenize \x80)".  
0440: 7d 0a 20 20 73 71 6c 69 74 65 33 5f 65 72 72 6d  }.  sqlite3_errm
0450: 73 67 20 24 44 42 0a 7d 20 22 75 6e 6b 6e 6f 77  sg $DB.} "unknow
0460: 6e 20 74 6f 6b 65 6e 69 7a 65 72 3a 20 5c 78 38  n tokenizer: \x8
0470: 30 22 0a 0a 23 20 41 64 64 69 74 69 6f 6e 61 6c  0"..# Additional
0480: 6c 79 20 74 65 73 74 20 66 69 6e 61 6c 20 69 73  ly test final is
0490: 61 6c 6e 75 6d 28 29 20 69 6e 20 73 74 61 72 74  alnum() in start
04a0: 73 57 69 74 68 28 29 2e 0a 64 6f 5f 74 65 73 74  sWith()..do_test
04b0: 20 66 74 73 32 6c 2d 31 2e 33 20 7b 0a 20 20 65   fts2l-1.3 {.  e
04c0: 78 65 63 73 71 6c 20 22 43 52 45 41 54 45 20 56  xecsql "CREATE V
04d0: 49 52 54 55 41 4c 20 54 41 42 4c 45 20 74 33 20  IRTUAL TABLE t3 
04e0: 55 53 49 4e 47 20 66 74 73 32 28 63 6f 6e 74 65  USING fts2(conte
04f0: 6e 74 2c 20 74 6f 6b 65 6e 69 7a 65 5c 78 38 30  nt, tokenize\x80
0500: 29 22 0a 7d 20 7b 7d 0a 0a 23 20 54 68 65 20 73  )".} {}..# The s
0510: 6e 69 70 70 65 74 2d 67 65 6e 65 72 61 74 69 6f  nippet-generatio
0520: 6e 20 63 6f 64 65 20 68 61 73 20 63 61 6c 6c 73  n code has calls
0530: 20 74 6f 20 69 73 73 70 61 63 65 28 29 20 77 68   to isspace() wh
0540: 69 63 68 20 61 72 65 20 73 6f 72 74 20 6f 66 0a  ich are sort of.
0550: 23 20 68 61 72 64 20 74 6f 20 67 65 74 20 74 6f  # hard to get to
0560: 2e 20 20 49 74 20 66 69 6e 64 73 20 63 6f 6e 76  .  It finds conv
0570: 65 6e 69 65 6e 74 20 62 72 65 61 6b 70 6f 69 6e  enient breakpoin
0580: 74 73 20 62 79 20 73 74 61 72 74 69 6e 67 20 7e  ts by starting ~
0590: 34 30 0a 23 20 63 68 61 72 73 20 62 65 66 6f 72  40.# chars befor
05a0: 65 20 61 6e 64 20 61 66 74 65 72 20 74 68 65 20  e and after the 
05b0: 6d 61 74 63 68 65 64 20 74 65 72 6d 2c 20 61 6e  matched term, an
05c0: 64 20 73 63 61 6e 6e 69 6e 67 20 7e 31 30 20 63  d scanning ~10 c
05d0: 68 61 72 73 0a 23 20 61 72 6f 75 6e 64 20 74 68  hars.# around th
05e0: 61 74 20 70 6f 73 69 74 69 6f 6e 20 66 6f 72 20  at position for 
05f0: 69 73 73 70 61 63 65 28 29 20 63 68 61 72 61 63  isspace() charac
0600: 74 65 72 73 2e 20 20 54 68 65 20 6c 6f 6e 67 20  ters.  The long 
0610: 77 6f 72 64 20 77 69 74 68 0a 23 20 65 6d 62 65  word with.# embe
0620: 64 64 65 64 20 68 69 2d 62 69 74 20 63 68 61 72  dded hi-bit char
0630: 73 20 63 61 75 73 65 73 20 6f 6e 65 20 6f 66 20  s causes one of 
0640: 74 68 65 73 65 20 69 73 73 70 61 63 65 28 29 20  these isspace() 
0650: 63 61 6c 6c 73 20 74 6f 20 62 65 0a 23 20 65 78  calls to be.# ex
0660: 65 72 63 69 73 65 64 2e 20 20 54 68 65 20 76 65  ercised.  The ve
0670: 72 73 69 6f 6e 20 77 69 74 68 20 61 20 63 6f 75  rsion with a cou
0680: 70 6c 65 20 65 78 74 72 61 20 73 70 61 63 65 73  ple extra spaces
0690: 20 73 68 6f 75 6c 64 20 63 61 75 73 65 20 74 68   should cause th
06a0: 65 0a 23 20 6f 74 68 65 72 20 69 73 73 70 61 63  e.# other isspac
06b0: 65 28 29 20 63 61 6c 6c 20 74 6f 20 62 65 20 65  e() call to be e
06c0: 78 65 72 63 69 73 65 64 2e 20 20 5b 42 6f 74 68  xercised.  [Both
06d0: 20 63 61 73 65 73 20 68 61 76 65 20 62 65 65 6e   cases have been
06e0: 20 74 65 73 74 65 64 0a 23 20 69 6e 20 74 68 65   tested.# in the
06f0: 20 64 65 62 75 67 67 65 72 2c 20 62 75 74 20 49   debugger, but I
0700: 27 6d 20 68 6f 70 69 6e 67 20 74 6f 20 63 6f 6e  'm hoping to con
0710: 74 69 6e 75 65 20 74 6f 20 63 61 74 63 68 20 69  tinue to catch i
0720: 74 20 69 66 20 73 69 6d 70 6c 65 0a 23 20 63 6f  t if simple.# co
0730: 6e 73 74 61 6e 74 20 63 68 61 6e 67 65 73 20 63  nstant changes c
0740: 68 61 6e 67 65 20 74 68 69 6e 67 73 20 73 6c 69  hange things sli
0750: 67 68 74 6c 79 2e 0a 23 0a 23 20 54 68 65 20 74  ghtly..#.# The t
0760: 72 61 69 6c 69 6e 67 20 61 6e 64 20 6c 65 61 64  railing and lead
0770: 69 6e 67 20 68 69 2d 62 69 74 20 63 68 61 72 73  ing hi-bit chars
0780: 20 68 65 6c 70 20 77 69 74 68 20 63 6f 64 65 20   help with code 
0790: 77 68 69 63 68 20 74 65 73 74 73 20 66 6f 72 0a  which tests for.
07a0: 23 20 69 73 73 70 61 63 65 28 29 20 74 6f 20 63  # isspace() to c
07b0: 6f 61 6c 65 73 63 65 20 6d 75 6c 74 69 70 6c 65  oalesce multiple
07c0: 20 73 70 61 63 65 73 2e 0a 0a 73 65 74 20 77 6f   spaces...set wo
07d0: 72 64 20 22 5c 78 38 30 78 78 78 78 78 5c 78 38  rd "\x80xxxxx\x8
07e0: 30 78 78 78 78 78 5c 78 38 30 78 78 78 78 78 5c  0xxxxx\x80xxxxx\
07f0: 78 38 30 78 78 78 78 78 5c 78 38 30 78 78 78 78  x80xxxxx\x80xxxx
0800: 78 5c 78 38 30 78 78 78 78 78 5c 78 38 30 22 0a  x\x80xxxxx\x80".
0810: 73 65 74 20 70 68 72 61 73 65 31 20 22 24 77 6f  set phrase1 "$wo
0820: 72 64 20 24 77 6f 72 64 20 24 77 6f 72 64 20 74  rd $word $word t
0830: 61 72 67 65 74 20 24 77 6f 72 64 20 24 77 6f 72  arget $word $wor
0840: 64 20 24 77 6f 72 64 22 0a 73 65 74 20 70 68 72  d $word".set phr
0850: 61 73 65 32 20 22 24 77 6f 72 64 20 24 77 6f 72  ase2 "$word $wor
0860: 64 20 24 77 6f 72 64 20 20 20 20 74 61 72 67 65  d $word    targe
0870: 74 20 20 20 20 24 77 6f 72 64 20 24 77 6f 72 64  t    $word $word
0880: 20 24 77 6f 72 64 22 0a 0a 64 62 20 65 76 61 6c   $word"..db eval
0890: 20 7b 43 52 45 41 54 45 20 56 49 52 54 55 41 4c   {CREATE VIRTUAL
08a0: 20 54 41 42 4c 45 20 74 34 20 55 53 49 4e 47 20   TABLE t4 USING 
08b0: 66 74 73 32 28 63 6f 6e 74 65 6e 74 29 7d 0a 64  fts2(content)}.d
08c0: 62 20 65 76 61 6c 20 22 49 4e 53 45 52 54 20 49  b eval "INSERT I
08d0: 4e 54 4f 20 74 34 20 28 63 6f 6e 74 65 6e 74 29  NTO t4 (content)
08e0: 20 56 41 4c 55 45 53 20 28 27 24 70 68 72 61 73   VALUES ('$phras
08f0: 65 31 27 29 22 0a 64 62 20 65 76 61 6c 20 22 49  e1')".db eval "I
0900: 4e 53 45 52 54 20 49 4e 54 4f 20 74 34 20 28 63  NSERT INTO t4 (c
0910: 6f 6e 74 65 6e 74 29 20 56 41 4c 55 45 53 20 28  ontent) VALUES (
0920: 27 24 70 68 72 61 73 65 32 27 29 22 0a 0a 64 6f  '$phrase2')"..do
0930: 5f 74 65 73 74 20 66 74 73 32 6c 2d 31 2e 34 20  _test fts2l-1.4 
0940: 7b 0a 20 20 65 78 65 63 73 71 6c 20 7b 53 45 4c  {.  execsql {SEL
0950: 45 43 54 20 72 6f 77 69 64 2c 20 6c 65 6e 67 74  ECT rowid, lengt
0960: 68 28 73 6e 69 70 70 65 74 28 74 34 29 29 20 46  h(snippet(t4)) F
0970: 52 4f 4d 20 74 34 20 57 48 45 52 45 20 74 34 20  ROM t4 WHERE t4 
0980: 4d 41 54 43 48 20 27 74 61 72 67 65 74 27 7d 0a  MATCH 'target'}.
0990: 7d 20 7b 31 20 31 31 31 20 32 20 31 31 37 7d 0a  } {1 111 2 117}.
09a0: 0a 66 69 6e 69 73 68 5f 74 65 73 74 0a           .finish_test.