/ Hex Artifact Content
Login

Artifact 65d3b41487b9f738d11b0f00eca375c0ca6bd970:


0000: 23 20 32 30 30 37 20 4d 61 72 63 68 20 32 38 0a  # 2007 March 28.
0010: 23 0a 23 20 54 68 65 20 61 75 74 68 6f 72 20 64  #.# The author d
0020: 69 73 63 6c 61 69 6d 73 20 63 6f 70 79 72 69 67  isclaims copyrig
0030: 68 74 20 74 6f 20 74 68 69 73 20 73 6f 75 72 63  ht to this sourc
0040: 65 20 63 6f 64 65 2e 0a 23 0a 23 2a 2a 2a 2a 2a  e code..#.#*****
0050: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0060: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0070: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0080: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0090: 2a 2a 2a 2a 0a 23 20 54 68 69 73 20 66 69 6c 65  ****.# This file
00a0: 20 69 6d 70 6c 65 6d 65 6e 74 73 20 72 65 67 72   implements regr
00b0: 65 73 73 69 6f 6e 20 74 65 73 74 73 20 66 6f 72  ession tests for
00c0: 20 53 51 4c 69 74 65 20 6c 69 62 72 61 72 79 2e   SQLite library.
00d0: 20 20 54 68 65 20 66 6f 63 75 73 0a 23 20 6f 66    The focus.# of
00e0: 20 74 68 69 73 20 73 63 72 69 70 74 20 69 73 20   this script is 
00f0: 74 65 73 74 69 6e 67 20 69 73 73 70 61 63 65 2f  testing isspace/
0100: 69 73 61 6c 6e 75 6d 2f 74 6f 6c 6f 77 65 72 20  isalnum/tolower 
0110: 70 72 6f 62 6c 65 6d 73 20 77 69 74 68 20 74 68  problems with th
0120: 65 0a 23 20 46 54 53 31 20 6d 6f 64 75 6c 65 2e  e.# FTS1 module.
0130: 20 20 55 6e 66 6f 72 74 75 6e 61 74 65 6c 79 2c    Unfortunately,
0140: 20 74 68 69 73 20 63 6f 64 65 20 69 73 6e 27 74   this code isn't
0150: 20 61 20 72 65 61 6c 6c 79 20 70 72 69 6e 63 69   a really princi
0160: 70 6c 65 64 20 73 65 74 0a 23 20 6f 66 20 74 65  pled set.# of te
0170: 73 74 73 2c 20 62 65 63 61 75 73 65 20 69 74 20  sts, because it 
0180: 69 73 20 69 6d 70 6f 73 73 69 62 6c 65 20 74 6f  is impossible to
0190: 20 6b 6e 6f 77 20 77 68 65 72 65 20 6e 65 77 20   know where new 
01a0: 75 73 65 73 20 6f 66 20 74 68 65 73 65 0a 23 20  uses of these.# 
01b0: 66 75 6e 63 74 69 6f 6e 73 20 6d 69 67 68 74 20  functions might 
01c0: 61 70 70 65 61 72 2e 0a 23 0a 23 20 24 49 64 3a  appear..#.# $Id:
01d0: 20 66 74 73 31 6b 2e 74 65 73 74 2c 76 20 31 2e   fts1k.test,v 1.
01e0: 32 20 32 30 30 37 2f 31 32 2f 31 33 20 32 31 3a  2 2007/12/13 21:
01f0: 35 34 3a 31 31 20 64 72 68 20 45 78 70 20 24 0a  54:11 drh Exp $.
0200: 23 0a 0a 73 65 74 20 74 65 73 74 64 69 72 20 5b  #..set testdir [
0210: 66 69 6c 65 20 64 69 72 6e 61 6d 65 20 24 61 72  file dirname $ar
0220: 67 76 30 5d 0a 73 6f 75 72 63 65 20 24 74 65 73  gv0].source $tes
0230: 74 64 69 72 2f 74 65 73 74 65 72 2e 74 63 6c 0a  tdir/tester.tcl.
0240: 0a 23 20 49 66 20 53 51 4c 49 54 45 5f 45 4e 41  .# If SQLITE_ENA
0250: 42 4c 45 5f 46 54 53 31 20 69 73 20 64 65 66 69  BLE_FTS1 is defi
0260: 6e 65 64 2c 20 6f 6d 69 74 20 74 68 69 73 20 66  ned, omit this f
0270: 69 6c 65 2e 0a 69 66 63 61 70 61 62 6c 65 20 21  ile..ifcapable !
0280: 66 74 73 31 20 7b 0a 20 20 66 69 6e 69 73 68 5f  fts1 {.  finish_
0290: 74 65 73 74 0a 20 20 72 65 74 75 72 6e 0a 7d 0a  test.  return.}.
02a0: 0a 23 20 54 65 73 74 73 20 74 68 61 74 20 73 74  .# Tests that st
02b0: 61 72 74 73 57 69 74 68 28 29 20 28 63 61 6c 6c  artsWith() (call
02c0: 73 20 69 73 73 70 61 63 65 2c 20 74 6f 6c 6f 77  s isspace, tolow
02d0: 65 72 2c 20 69 73 61 6c 6e 75 6d 29 20 63 61 6e  er, isalnum) can
02e0: 20 68 61 6e 64 6c 65 0a 23 20 68 69 2d 62 69 74   handle.# hi-bit
02f0: 20 63 68 61 72 73 2e 20 20 70 61 72 73 65 53 70   chars.  parseSp
0300: 65 63 28 29 20 61 6c 73 6f 20 63 61 6c 6c 73 20  ec() also calls 
0310: 69 73 61 6c 6e 75 6d 20 68 65 72 65 2e 0a 64 6f  isalnum here..do
0320: 5f 74 65 73 74 20 66 74 73 31 6b 2d 31 2e 31 20  _test fts1k-1.1 
0330: 7b 0a 20 20 65 78 65 63 73 71 6c 20 22 43 52 45  {.  execsql "CRE
0340: 41 54 45 20 56 49 52 54 55 41 4c 20 54 41 42 4c  ATE VIRTUAL TABL
0350: 45 20 74 31 20 55 53 49 4e 47 20 66 74 73 31 28  E t1 USING fts1(
0360: 63 6f 6e 74 65 6e 74 2c 20 5c 78 38 30 29 22 0a  content, \x80)".
0370: 7d 20 7b 7d 0a 0a 23 20 41 64 64 69 74 69 6f 6e  } {}..# Addition
0380: 61 6c 6c 79 20 74 65 73 74 73 20 69 73 73 70 61  ally tests isspa
0390: 63 65 28 29 20 63 61 6c 6c 20 69 6e 20 67 65 74  ce() call in get
03a0: 54 6f 6b 65 6e 28 29 2c 20 61 6e 64 20 69 73 61  Token(), and isa
03b0: 6c 6e 75 6d 28 29 20 63 61 6c 6c 0a 23 20 69 6e  lnum() call.# in
03c0: 20 74 6f 6b 65 6e 4c 69 73 74 54 6f 49 64 4c 69   tokenListToIdLi
03d0: 73 74 28 29 2e 0a 64 6f 5f 74 65 73 74 20 66 74  st()..do_test ft
03e0: 73 31 6b 2d 31 2e 32 20 7b 0a 20 20 63 61 74 63  s1k-1.2 {.  catc
03f0: 68 20 7b 0a 20 20 20 20 65 78 65 63 73 71 6c 20  h {.    execsql 
0400: 22 43 52 45 41 54 45 20 56 49 52 54 55 41 4c 20  "CREATE VIRTUAL 
0410: 54 41 42 4c 45 20 74 32 20 55 53 49 4e 47 20 66  TABLE t2 USING f
0420: 74 73 31 28 63 6f 6e 74 65 6e 74 2c 20 74 6f 6b  ts1(content, tok
0430: 65 6e 69 7a 65 20 5c 78 38 30 29 22 0a 20 20 7d  enize \x80)".  }
0440: 0a 20 20 73 71 6c 69 74 65 33 5f 65 72 72 6d 73  .  sqlite3_errms
0450: 67 20 24 44 42 0a 7d 20 22 75 6e 6b 6e 6f 77 6e  g $DB.} "unknown
0460: 20 74 6f 6b 65 6e 69 7a 65 72 3a 20 5c 78 38 30   tokenizer: \x80
0470: 22 0a 0a 23 20 41 64 64 69 74 69 6f 6e 61 6c 6c  "..# Additionall
0480: 79 20 74 65 73 74 20 66 69 6e 61 6c 20 69 73 61  y test final isa
0490: 6c 6e 75 6d 28 29 20 69 6e 20 73 74 61 72 74 73  lnum() in starts
04a0: 57 69 74 68 28 29 2e 0a 64 6f 5f 74 65 73 74 20  With()..do_test 
04b0: 66 74 73 31 6b 2d 31 2e 33 20 7b 0a 20 20 65 78  fts1k-1.3 {.  ex
04c0: 65 63 73 71 6c 20 22 43 52 45 41 54 45 20 56 49  ecsql "CREATE VI
04d0: 52 54 55 41 4c 20 54 41 42 4c 45 20 74 33 20 55  RTUAL TABLE t3 U
04e0: 53 49 4e 47 20 66 74 73 31 28 63 6f 6e 74 65 6e  SING fts1(conten
04f0: 74 2c 20 74 6f 6b 65 6e 69 7a 65 5c 78 38 30 29  t, tokenize\x80)
0500: 22 0a 7d 20 7b 7d 0a 0a 23 20 54 68 65 20 73 6e  ".} {}..# The sn
0510: 69 70 70 65 74 2d 67 65 6e 65 72 61 74 69 6f 6e  ippet-generation
0520: 20 63 6f 64 65 20 68 61 73 20 63 61 6c 6c 73 20   code has calls 
0530: 74 6f 20 69 73 73 70 61 63 65 28 29 20 77 68 69  to isspace() whi
0540: 63 68 20 61 72 65 20 73 6f 72 74 20 6f 66 0a 23  ch are sort of.#
0550: 20 68 61 72 64 20 74 6f 20 67 65 74 20 74 6f 2e   hard to get to.
0560: 20 20 49 74 20 66 69 6e 64 73 20 63 6f 6e 76 65    It finds conve
0570: 6e 69 65 6e 74 20 62 72 65 61 6b 70 6f 69 6e 74  nient breakpoint
0580: 73 20 62 79 20 73 74 61 72 74 69 6e 67 20 7e 34  s by starting ~4
0590: 30 0a 23 20 63 68 61 72 73 20 62 65 66 6f 72 65  0.# chars before
05a0: 20 61 6e 64 20 61 66 74 65 72 20 74 68 65 20 6d   and after the m
05b0: 61 74 63 68 65 64 20 74 65 72 6d 2c 20 61 6e 64  atched term, and
05c0: 20 73 63 61 6e 6e 69 6e 67 20 7e 31 30 20 63 68   scanning ~10 ch
05d0: 61 72 73 0a 23 20 61 72 6f 75 6e 64 20 74 68 61  ars.# around tha
05e0: 74 20 70 6f 73 69 74 69 6f 6e 20 66 6f 72 20 69  t position for i
05f0: 73 73 70 61 63 65 28 29 20 63 68 61 72 61 63 74  sspace() charact
0600: 65 72 73 2e 20 20 54 68 65 20 6c 6f 6e 67 20 77  ers.  The long w
0610: 6f 72 64 20 77 69 74 68 0a 23 20 65 6d 62 65 64  ord with.# embed
0620: 64 65 64 20 68 69 2d 62 69 74 20 63 68 61 72 73  ded hi-bit chars
0630: 20 63 61 75 73 65 73 20 6f 6e 65 20 6f 66 20 74   causes one of t
0640: 68 65 73 65 20 69 73 73 70 61 63 65 28 29 20 63  hese isspace() c
0650: 61 6c 6c 73 20 74 6f 20 62 65 0a 23 20 65 78 65  alls to be.# exe
0660: 72 63 69 73 65 64 2e 20 20 54 68 65 20 76 65 72  rcised.  The ver
0670: 73 69 6f 6e 20 77 69 74 68 20 61 20 63 6f 75 70  sion with a coup
0680: 6c 65 20 65 78 74 72 61 20 73 70 61 63 65 73 20  le extra spaces 
0690: 73 68 6f 75 6c 64 20 63 61 75 73 65 20 74 68 65  should cause the
06a0: 0a 23 20 6f 74 68 65 72 20 69 73 73 70 61 63 65  .# other isspace
06b0: 28 29 20 63 61 6c 6c 20 74 6f 20 62 65 20 65 78  () call to be ex
06c0: 65 72 63 69 73 65 64 2e 20 20 5b 42 6f 74 68 20  ercised.  [Both 
06d0: 63 61 73 65 73 20 68 61 76 65 20 62 65 65 6e 20  cases have been 
06e0: 74 65 73 74 65 64 0a 23 20 69 6e 20 74 68 65 20  tested.# in the 
06f0: 64 65 62 75 67 67 65 72 2c 20 62 75 74 20 49 27  debugger, but I'
0700: 6d 20 68 6f 70 69 6e 67 20 74 6f 20 63 6f 6e 74  m hoping to cont
0710: 69 6e 75 65 20 74 6f 20 63 61 74 63 68 20 69 74  inue to catch it
0720: 20 69 66 20 73 69 6d 70 6c 65 0a 23 20 63 6f 6e   if simple.# con
0730: 73 74 61 6e 74 20 63 68 61 6e 67 65 73 20 63 68  stant changes ch
0740: 61 6e 67 65 20 74 68 69 6e 67 73 20 73 6c 69 67  ange things slig
0750: 68 74 6c 79 2e 0a 23 0a 23 20 54 68 65 20 74 72  htly..#.# The tr
0760: 61 69 6c 69 6e 67 20 61 6e 64 20 6c 65 61 64 69  ailing and leadi
0770: 6e 67 20 68 69 2d 62 69 74 20 63 68 61 72 73 20  ng hi-bit chars 
0780: 68 65 6c 70 20 77 69 74 68 20 63 6f 64 65 20 77  help with code w
0790: 68 69 63 68 20 74 65 73 74 73 20 66 6f 72 0a 23  hich tests for.#
07a0: 20 69 73 73 70 61 63 65 28 29 20 74 6f 20 63 6f   isspace() to co
07b0: 61 6c 65 73 63 65 20 6d 75 6c 74 69 70 6c 65 20  alesce multiple 
07c0: 73 70 61 63 65 73 2e 0a 0a 73 65 74 20 77 6f 72  spaces...set wor
07d0: 64 20 22 5c 78 38 30 78 78 78 78 78 5c 78 38 30  d "\x80xxxxx\x80
07e0: 78 78 78 78 78 5c 78 38 30 78 78 78 78 78 5c 78  xxxxx\x80xxxxx\x
07f0: 38 30 78 78 78 78 78 5c 78 38 30 78 78 78 78 78  80xxxxx\x80xxxxx
0800: 5c 78 38 30 78 78 78 78 78 5c 78 38 30 22 0a 73  \x80xxxxx\x80".s
0810: 65 74 20 70 68 72 61 73 65 31 20 22 24 77 6f 72  et phrase1 "$wor
0820: 64 20 24 77 6f 72 64 20 24 77 6f 72 64 20 74 61  d $word $word ta
0830: 72 67 65 74 20 24 77 6f 72 64 20 24 77 6f 72 64  rget $word $word
0840: 20 24 77 6f 72 64 22 0a 73 65 74 20 70 68 72 61   $word".set phra
0850: 73 65 32 20 22 24 77 6f 72 64 20 24 77 6f 72 64  se2 "$word $word
0860: 20 24 77 6f 72 64 20 20 20 20 74 61 72 67 65 74   $word    target
0870: 20 20 20 20 24 77 6f 72 64 20 24 77 6f 72 64 20      $word $word 
0880: 24 77 6f 72 64 22 0a 0a 64 62 20 65 76 61 6c 20  $word"..db eval 
0890: 7b 43 52 45 41 54 45 20 56 49 52 54 55 41 4c 20  {CREATE VIRTUAL 
08a0: 54 41 42 4c 45 20 74 34 20 55 53 49 4e 47 20 66  TABLE t4 USING f
08b0: 74 73 31 28 63 6f 6e 74 65 6e 74 29 7d 0a 64 62  ts1(content)}.db
08c0: 20 65 76 61 6c 20 22 49 4e 53 45 52 54 20 49 4e   eval "INSERT IN
08d0: 54 4f 20 74 34 20 28 63 6f 6e 74 65 6e 74 29 20  TO t4 (content) 
08e0: 56 41 4c 55 45 53 20 28 27 24 70 68 72 61 73 65  VALUES ('$phrase
08f0: 31 27 29 22 0a 64 62 20 65 76 61 6c 20 22 49 4e  1')".db eval "IN
0900: 53 45 52 54 20 49 4e 54 4f 20 74 34 20 28 63 6f  SERT INTO t4 (co
0910: 6e 74 65 6e 74 29 20 56 41 4c 55 45 53 20 28 27  ntent) VALUES ('
0920: 24 70 68 72 61 73 65 32 27 29 22 0a 0a 64 6f 5f  $phrase2')"..do_
0930: 74 65 73 74 20 66 74 73 31 6b 2d 31 2e 34 20 7b  test fts1k-1.4 {
0940: 0a 20 20 65 78 65 63 73 71 6c 20 7b 53 45 4c 45  .  execsql {SELE
0950: 43 54 20 72 6f 77 69 64 2c 20 6c 65 6e 67 74 68  CT rowid, length
0960: 28 73 6e 69 70 70 65 74 28 74 34 29 29 20 46 52  (snippet(t4)) FR
0970: 4f 4d 20 74 34 20 57 48 45 52 45 20 74 34 20 4d  OM t4 WHERE t4 M
0980: 41 54 43 48 20 27 74 61 72 67 65 74 27 7d 0a 7d  ATCH 'target'}.}
0990: 20 7b 31 20 31 31 31 20 32 20 31 31 37 7d 0a 0a   {1 111 2 117}..
09a0: 66 69 6e 69 73 68 5f 74 65 73 74 0a              finish_test.