/ Hex Artifact Content
Login

Artifact 50e7a69a549ac5882cc1971ee43f66aaabc11395:


0000: 2f 2a 0a 2a 2a 20 32 30 30 37 20 4a 75 6e 65 20  /*.** 2007 June 
0010: 32 32 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74  22.**.** The aut
0020: 68 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f  hor disclaims co
0030: 70 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20  pyright to this 
0040: 73 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e  source code.  In
0050: 20 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c   place of.** a l
0060: 65 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72  egal notice, her
0070: 65 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a  e is a blessing:
0080: 0a 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f  .**.**    May yo
0090: 75 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f  u do good and no
00a0: 74 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61  t evil..**    Ma
00b0: 79 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69  y you find forgi
00c0: 76 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73  veness for yours
00d0: 65 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20  elf and forgive 
00e0: 6f 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61  others..**    Ma
00f0: 79 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65  y you share free
0100: 6c 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67  ly, never taking
0110: 20 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67   more than you g
0120: 69 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a  ive..**.********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 2a 2a 2a 2a 0a 2a 2a 0a 2a 2a 20 54 68 69  ******.**.** Thi
0180: 73 20 69 73 20 70 61 72 74 20 6f 66 20 61 6e 20  s is part of an 
0190: 53 51 4c 69 74 65 20 6d 6f 64 75 6c 65 20 69 6d  SQLite module im
01a0: 70 6c 65 6d 65 6e 74 69 6e 67 20 66 75 6c 6c 2d  plementing full-
01b0: 74 65 78 74 20 73 65 61 72 63 68 2e 0a 2a 2a 20  text search..** 
01c0: 54 68 69 73 20 70 61 72 74 69 63 75 6c 61 72 20  This particular 
01d0: 66 69 6c 65 20 69 6d 70 6c 65 6d 65 6e 74 73 20  file implements 
01e0: 74 68 65 20 67 65 6e 65 72 69 63 20 74 6f 6b 65  the generic toke
01f0: 6e 69 7a 65 72 20 69 6e 74 65 72 66 61 63 65 2e  nizer interface.
0200: 0a 2a 2f 0a 0a 2f 2a 0a 2a 2a 20 54 68 65 20 63  .*/../*.** The c
0210: 6f 64 65 20 69 6e 20 74 68 69 73 20 66 69 6c 65  ode in this file
0220: 20 69 73 20 6f 6e 6c 79 20 63 6f 6d 70 69 6c 65   is only compile
0230: 64 20 69 66 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 20  d if:.**.**     
0240: 2a 20 54 68 65 20 46 54 53 33 20 6d 6f 64 75 6c  * The FTS3 modul
0250: 65 20 69 73 20 62 65 69 6e 67 20 62 75 69 6c 74  e is being built
0260: 20 61 73 20 61 6e 20 65 78 74 65 6e 73 69 6f 6e   as an extension
0270: 0a 2a 2a 20 20 20 20 20 20 20 28 69 6e 20 77 68  .**       (in wh
0280: 69 63 68 20 63 61 73 65 20 53 51 4c 49 54 45 5f  ich case SQLITE_
0290: 43 4f 52 45 20 69 73 20 6e 6f 74 20 64 65 66 69  CORE is not defi
02a0: 6e 65 64 29 2c 20 6f 72 0a 2a 2a 0a 2a 2a 20 20  ned), or.**.**  
02b0: 20 20 20 2a 20 54 68 65 20 46 54 53 33 20 6d 6f     * The FTS3 mo
02c0: 64 75 6c 65 20 69 73 20 62 65 69 6e 67 20 62 75  dule is being bu
02d0: 69 6c 74 20 69 6e 74 6f 20 74 68 65 20 63 6f 72  ilt into the cor
02e0: 65 20 6f 66 0a 2a 2a 20 20 20 20 20 20 20 53 51  e of.**       SQ
02f0: 4c 69 74 65 20 28 69 6e 20 77 68 69 63 68 20 63  Lite (in which c
0300: 61 73 65 20 53 51 4c 49 54 45 5f 45 4e 41 42 4c  ase SQLITE_ENABL
0310: 45 5f 46 54 53 33 20 69 73 20 64 65 66 69 6e 65  E_FTS3 is define
0320: 64 29 2e 0a 2a 2f 0a 23 69 6e 63 6c 75 64 65 20  d)..*/.#include 
0330: 22 66 74 73 33 49 6e 74 2e 68 22 0a 23 69 66 20  "fts3Int.h".#if 
0340: 21 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45 5f  !defined(SQLITE_
0350: 43 4f 52 45 29 20 7c 7c 20 64 65 66 69 6e 65 64  CORE) || defined
0360: 28 53 51 4c 49 54 45 5f 45 4e 41 42 4c 45 5f 46  (SQLITE_ENABLE_F
0370: 54 53 33 29 0a 0a 23 69 6e 63 6c 75 64 65 20 3c  TS3)..#include <
0380: 61 73 73 65 72 74 2e 68 3e 0a 23 69 6e 63 6c 75  assert.h>.#inclu
0390: 64 65 20 3c 73 74 72 69 6e 67 2e 68 3e 0a 0a 2f  de <string.h>../
03a0: 2a 0a 2a 2a 20 49 6d 70 6c 65 6d 65 6e 74 61 74  *.** Implementat
03b0: 69 6f 6e 20 6f 66 20 74 68 65 20 53 51 4c 20 73  ion of the SQL s
03c0: 63 61 6c 61 72 20 66 75 6e 63 74 69 6f 6e 20 66  calar function f
03d0: 6f 72 20 61 63 63 65 73 73 69 6e 67 20 74 68 65  or accessing the
03e0: 20 75 6e 64 65 72 6c 79 69 6e 67 20 0a 2a 2a 20   underlying .** 
03f0: 68 61 73 68 20 74 61 62 6c 65 2e 20 54 68 69 73  hash table. This
0400: 20 66 75 6e 63 74 69 6f 6e 20 6d 61 79 20 62 65   function may be
0410: 20 63 61 6c 6c 65 64 20 61 73 20 66 6f 6c 6c 6f   called as follo
0420: 77 73 3a 0a 2a 2a 0a 2a 2a 20 20 20 53 45 4c 45  ws:.**.**   SELE
0430: 43 54 20 3c 66 75 6e 63 74 69 6f 6e 2d 6e 61 6d  CT <function-nam
0440: 65 3e 28 3c 6b 65 79 2d 6e 61 6d 65 3e 29 3b 0a  e>(<key-name>);.
0450: 2a 2a 20 20 20 53 45 4c 45 43 54 20 3c 66 75 6e  **   SELECT <fun
0460: 63 74 69 6f 6e 2d 6e 61 6d 65 3e 28 3c 6b 65 79  ction-name>(<key
0470: 2d 6e 61 6d 65 3e 2c 20 3c 70 6f 69 6e 74 65 72  -name>, <pointer
0480: 3e 29 3b 0a 2a 2a 0a 2a 2a 20 77 68 65 72 65 20  >);.**.** where 
0490: 3c 66 75 6e 63 74 69 6f 6e 2d 6e 61 6d 65 3e 20  <function-name> 
04a0: 69 73 20 74 68 65 20 6e 61 6d 65 20 70 61 73 73  is the name pass
04b0: 65 64 20 61 73 20 74 68 65 20 73 65 63 6f 6e 64  ed as the second
04c0: 20 61 72 67 75 6d 65 6e 74 0a 2a 2a 20 74 6f 20   argument.** to 
04d0: 74 68 65 20 73 71 6c 69 74 65 33 46 74 73 33 49  the sqlite3Fts3I
04e0: 6e 69 74 48 61 73 68 54 61 62 6c 65 28 29 20 66  nitHashTable() f
04f0: 75 6e 63 74 69 6f 6e 20 28 65 2e 67 2e 20 27 66  unction (e.g. 'f
0500: 74 73 33 5f 74 6f 6b 65 6e 69 7a 65 72 27 29 2e  ts3_tokenizer').
0510: 0a 2a 2a 0a 2a 2a 20 49 66 20 74 68 65 20 3c 70  .**.** If the <p
0520: 6f 69 6e 74 65 72 3e 20 61 72 67 75 6d 65 6e 74  ointer> argument
0530: 20 69 73 20 73 70 65 63 69 66 69 65 64 2c 20 69   is specified, i
0540: 74 20 6d 75 73 74 20 62 65 20 61 20 62 6c 6f 62  t must be a blob
0550: 20 76 61 6c 75 65 0a 2a 2a 20 63 6f 6e 74 61 69   value.** contai
0560: 6e 69 6e 67 20 61 20 70 6f 69 6e 74 65 72 20 74  ning a pointer t
0570: 6f 20 62 65 20 73 74 6f 72 65 64 20 61 73 20 74  o be stored as t
0580: 68 65 20 68 61 73 68 20 64 61 74 61 20 63 6f 72  he hash data cor
0590: 72 65 73 70 6f 6e 64 69 6e 67 0a 2a 2a 20 74 6f  responding.** to
05a0: 20 74 68 65 20 73 74 72 69 6e 67 20 3c 6b 65 79   the string <key
05b0: 2d 6e 61 6d 65 3e 2e 20 49 66 20 3c 70 6f 69 6e  -name>. If <poin
05c0: 74 65 72 3e 20 69 73 20 6e 6f 74 20 73 70 65 63  ter> is not spec
05d0: 69 66 69 65 64 2c 20 74 68 65 6e 0a 2a 2a 20 74  ified, then.** t
05e0: 68 65 20 73 74 72 69 6e 67 20 3c 6b 65 79 2d 6e  he string <key-n
05f0: 61 6d 65 3e 20 6d 75 73 74 20 61 6c 72 65 61 64  ame> must alread
0600: 79 20 65 78 69 73 74 20 69 6e 20 74 68 65 20 68  y exist in the h
0610: 61 73 20 74 61 62 6c 65 2e 20 4f 74 68 65 72 77  as table. Otherw
0620: 69 73 65 2c 0a 2a 2a 20 61 6e 20 65 72 72 6f 72  ise,.** an error
0630: 20 69 73 20 72 65 74 75 72 6e 65 64 2e 0a 2a 2a   is returned..**
0640: 0a 2a 2a 20 57 68 65 74 68 65 72 20 6f 72 20 6e  .** Whether or n
0650: 6f 74 20 74 68 65 20 3c 70 6f 69 6e 74 65 72 3e  ot the <pointer>
0660: 20 61 72 67 75 6d 65 6e 74 20 69 73 20 73 70 65   argument is spe
0670: 63 69 66 69 65 64 2c 20 74 68 65 20 76 61 6c 75  cified, the valu
0680: 65 20 72 65 74 75 72 6e 65 64 0a 2a 2a 20 69 73  e returned.** is
0690: 20 61 20 62 6c 6f 62 20 63 6f 6e 74 61 69 6e 69   a blob containi
06a0: 6e 67 20 74 68 65 20 70 6f 69 6e 74 65 72 20 73  ng the pointer s
06b0: 74 6f 72 65 64 20 61 73 20 74 68 65 20 68 61 73  tored as the has
06c0: 68 20 64 61 74 61 20 63 6f 72 72 65 73 70 6f 6e  h data correspon
06d0: 64 69 6e 67 0a 2a 2a 20 74 6f 20 73 74 72 69 6e  ding.** to strin
06e0: 67 20 3c 6b 65 79 2d 6e 61 6d 65 3e 20 28 61 66  g <key-name> (af
06f0: 74 65 72 20 74 68 65 20 68 61 73 68 2d 74 61 62  ter the hash-tab
0700: 6c 65 20 69 73 20 75 70 64 61 74 65 64 2c 20 69  le is updated, i
0710: 66 20 61 70 70 6c 69 63 61 62 6c 65 29 2e 0a 2a  f applicable)..*
0720: 2f 0a 73 74 61 74 69 63 20 76 6f 69 64 20 73 63  /.static void sc
0730: 61 6c 61 72 46 75 6e 63 28 0a 20 20 73 71 6c 69  alarFunc(.  sqli
0740: 74 65 33 5f 63 6f 6e 74 65 78 74 20 2a 63 6f 6e  te3_context *con
0750: 74 65 78 74 2c 0a 20 20 69 6e 74 20 61 72 67 63  text,.  int argc
0760: 2c 0a 20 20 73 71 6c 69 74 65 33 5f 76 61 6c 75  ,.  sqlite3_valu
0770: 65 20 2a 2a 61 72 67 76 0a 29 7b 0a 20 20 46 74  e **argv.){.  Ft
0780: 73 33 48 61 73 68 20 2a 70 48 61 73 68 3b 0a 20  s3Hash *pHash;. 
0790: 20 76 6f 69 64 20 2a 70 50 74 72 20 3d 20 30 3b   void *pPtr = 0;
07a0: 0a 20 20 63 6f 6e 73 74 20 75 6e 73 69 67 6e 65  .  const unsigne
07b0: 64 20 63 68 61 72 20 2a 7a 4e 61 6d 65 3b 0a 20  d char *zName;. 
07c0: 20 69 6e 74 20 6e 4e 61 6d 65 3b 0a 0a 20 20 61   int nName;..  a
07d0: 73 73 65 72 74 28 20 61 72 67 63 3d 3d 31 20 7c  ssert( argc==1 |
07e0: 7c 20 61 72 67 63 3d 3d 32 20 29 3b 0a 0a 20 20  | argc==2 );..  
07f0: 70 48 61 73 68 20 3d 20 28 46 74 73 33 48 61 73  pHash = (Fts3Has
0800: 68 20 2a 29 73 71 6c 69 74 65 33 5f 75 73 65 72  h *)sqlite3_user
0810: 5f 64 61 74 61 28 63 6f 6e 74 65 78 74 29 3b 0a  _data(context);.
0820: 0a 20 20 7a 4e 61 6d 65 20 3d 20 73 71 6c 69 74  .  zName = sqlit
0830: 65 33 5f 76 61 6c 75 65 5f 74 65 78 74 28 61 72  e3_value_text(ar
0840: 67 76 5b 30 5d 29 3b 0a 20 20 6e 4e 61 6d 65 20  gv[0]);.  nName 
0850: 3d 20 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f  = sqlite3_value_
0860: 62 79 74 65 73 28 61 72 67 76 5b 30 5d 29 2b 31  bytes(argv[0])+1
0870: 3b 0a 0a 20 20 69 66 28 20 61 72 67 63 3d 3d 32  ;..  if( argc==2
0880: 20 29 7b 0a 20 20 20 20 76 6f 69 64 20 2a 70 4f   ){.    void *pO
0890: 6c 64 3b 0a 20 20 20 20 69 6e 74 20 6e 20 3d 20  ld;.    int n = 
08a0: 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f 62 79  sqlite3_value_by
08b0: 74 65 73 28 61 72 67 76 5b 31 5d 29 3b 0a 20 20  tes(argv[1]);.  
08c0: 20 20 69 66 28 20 7a 4e 61 6d 65 3d 3d 30 20 7c    if( zName==0 |
08d0: 7c 20 6e 21 3d 73 69 7a 65 6f 66 28 70 50 74 72  | n!=sizeof(pPtr
08e0: 29 20 29 7b 0a 20 20 20 20 20 20 73 71 6c 69 74  ) ){.      sqlit
08f0: 65 33 5f 72 65 73 75 6c 74 5f 65 72 72 6f 72 28  e3_result_error(
0900: 63 6f 6e 74 65 78 74 2c 20 22 61 72 67 75 6d 65  context, "argume
0910: 6e 74 20 74 79 70 65 20 6d 69 73 6d 61 74 63 68  nt type mismatch
0920: 22 2c 20 2d 31 29 3b 0a 20 20 20 20 20 20 72 65  ", -1);.      re
0930: 74 75 72 6e 3b 0a 20 20 20 20 7d 0a 20 20 20 20  turn;.    }.    
0940: 70 50 74 72 20 3d 20 2a 28 76 6f 69 64 20 2a 2a  pPtr = *(void **
0950: 29 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f 62  )sqlite3_value_b
0960: 6c 6f 62 28 61 72 67 76 5b 31 5d 29 3b 0a 20 20  lob(argv[1]);.  
0970: 20 20 70 4f 6c 64 20 3d 20 73 71 6c 69 74 65 33    pOld = sqlite3
0980: 46 74 73 33 48 61 73 68 49 6e 73 65 72 74 28 70  Fts3HashInsert(p
0990: 48 61 73 68 2c 20 28 76 6f 69 64 20 2a 29 7a 4e  Hash, (void *)zN
09a0: 61 6d 65 2c 20 6e 4e 61 6d 65 2c 20 70 50 74 72  ame, nName, pPtr
09b0: 29 3b 0a 20 20 20 20 69 66 28 20 70 4f 6c 64 3d  );.    if( pOld=
09c0: 3d 70 50 74 72 20 29 7b 0a 20 20 20 20 20 20 73  =pPtr ){.      s
09d0: 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f 65 72  qlite3_result_er
09e0: 72 6f 72 28 63 6f 6e 74 65 78 74 2c 20 22 6f 75  ror(context, "ou
09f0: 74 20 6f 66 20 6d 65 6d 6f 72 79 22 2c 20 2d 31  t of memory", -1
0a00: 29 3b 0a 20 20 20 20 20 20 72 65 74 75 72 6e 3b  );.      return;
0a10: 0a 20 20 20 20 7d 0a 20 20 7d 65 6c 73 65 7b 0a  .    }.  }else{.
0a20: 20 20 20 20 69 66 28 20 7a 4e 61 6d 65 20 29 7b      if( zName ){
0a30: 0a 20 20 20 20 20 20 70 50 74 72 20 3d 20 73 71  .      pPtr = sq
0a40: 6c 69 74 65 33 46 74 73 33 48 61 73 68 46 69 6e  lite3Fts3HashFin
0a50: 64 28 70 48 61 73 68 2c 20 7a 4e 61 6d 65 2c 20  d(pHash, zName, 
0a60: 6e 4e 61 6d 65 29 3b 0a 20 20 20 20 7d 0a 20 20  nName);.    }.  
0a70: 20 20 69 66 28 20 21 70 50 74 72 20 29 7b 0a 20    if( !pPtr ){. 
0a80: 20 20 20 20 20 63 68 61 72 20 2a 7a 45 72 72 20       char *zErr 
0a90: 3d 20 73 71 6c 69 74 65 33 5f 6d 70 72 69 6e 74  = sqlite3_mprint
0aa0: 66 28 22 75 6e 6b 6e 6f 77 6e 20 74 6f 6b 65 6e  f("unknown token
0ab0: 69 7a 65 72 3a 20 25 73 22 2c 20 7a 4e 61 6d 65  izer: %s", zName
0ac0: 29 3b 0a 20 20 20 20 20 20 73 71 6c 69 74 65 33  );.      sqlite3
0ad0: 5f 72 65 73 75 6c 74 5f 65 72 72 6f 72 28 63 6f  _result_error(co
0ae0: 6e 74 65 78 74 2c 20 7a 45 72 72 2c 20 2d 31 29  ntext, zErr, -1)
0af0: 3b 0a 20 20 20 20 20 20 73 71 6c 69 74 65 33 5f  ;.      sqlite3_
0b00: 66 72 65 65 28 7a 45 72 72 29 3b 0a 20 20 20 20  free(zErr);.    
0b10: 20 20 72 65 74 75 72 6e 3b 0a 20 20 20 20 7d 0a    return;.    }.
0b20: 20 20 7d 0a 0a 20 20 73 71 6c 69 74 65 33 5f 72    }..  sqlite3_r
0b30: 65 73 75 6c 74 5f 62 6c 6f 62 28 63 6f 6e 74 65  esult_blob(conte
0b40: 78 74 2c 20 28 76 6f 69 64 20 2a 29 26 70 50 74  xt, (void *)&pPt
0b50: 72 2c 20 73 69 7a 65 6f 66 28 70 50 74 72 29 2c  r, sizeof(pPtr),
0b60: 20 53 51 4c 49 54 45 5f 54 52 41 4e 53 49 45 4e   SQLITE_TRANSIEN
0b70: 54 29 3b 0a 7d 0a 0a 69 6e 74 20 73 71 6c 69 74  T);.}..int sqlit
0b80: 65 33 46 74 73 33 49 73 49 64 43 68 61 72 28 63  e3Fts3IsIdChar(c
0b90: 68 61 72 20 63 29 7b 0a 20 20 73 74 61 74 69 63  har c){.  static
0ba0: 20 63 6f 6e 73 74 20 63 68 61 72 20 69 73 46 74   const char isFt
0bb0: 73 49 64 43 68 61 72 5b 5d 20 3d 20 7b 0a 20 20  sIdChar[] = {.  
0bc0: 20 20 20 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20      0, 0, 0, 0, 
0bd0: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30  0, 0, 0, 0, 0, 0
0be0: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 0, 0, 0, 0, 0,
0bf0: 20 30 2c 20 20 2f 2a 20 30 78 20 2a 2f 0a 20 20   0,  /* 0x */.  
0c00: 20 20 20 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20      0, 0, 0, 0, 
0c10: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30  0, 0, 0, 0, 0, 0
0c20: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 0, 0, 0, 0, 0,
0c30: 20 30 2c 20 20 2f 2a 20 31 78 20 2a 2f 0a 20 20   0,  /* 1x */.  
0c40: 20 20 20 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20      0, 0, 0, 0, 
0c50: 31 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30  1, 0, 0, 0, 0, 0
0c60: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 0, 0, 0, 0, 0,
0c70: 20 30 2c 20 20 2f 2a 20 32 78 20 2a 2f 0a 20 20   0,  /* 2x */.  
0c80: 20 20 20 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20      1, 1, 1, 1, 
0c90: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31  1, 1, 1, 1, 1, 1
0ca0: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 0, 0, 0, 0, 0,
0cb0: 20 30 2c 20 20 2f 2a 20 33 78 20 2a 2f 0a 20 20   0,  /* 3x */.  
0cc0: 20 20 20 20 30 2c 20 31 2c 20 31 2c 20 31 2c 20      0, 1, 1, 1, 
0cd0: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31  1, 1, 1, 1, 1, 1
0ce0: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0cf0: 20 31 2c 20 20 2f 2a 20 34 78 20 2a 2f 0a 20 20   1,  /* 4x */.  
0d00: 20 20 20 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20      1, 1, 1, 1, 
0d10: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31  1, 1, 1, 1, 1, 1
0d20: 2c 20 31 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 1, 0, 0, 0, 0,
0d30: 20 31 2c 20 20 2f 2a 20 35 78 20 2a 2f 0a 20 20   1,  /* 5x */.  
0d40: 20 20 20 20 30 2c 20 31 2c 20 31 2c 20 31 2c 20      0, 1, 1, 1, 
0d50: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31  1, 1, 1, 1, 1, 1
0d60: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0d70: 20 31 2c 20 20 2f 2a 20 36 78 20 2a 2f 0a 20 20   1,  /* 6x */.  
0d80: 20 20 20 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20      1, 1, 1, 1, 
0d90: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31  1, 1, 1, 1, 1, 1
0da0: 2c 20 31 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 1, 0, 0, 0, 0,
0db0: 20 30 2c 20 20 2f 2a 20 37 78 20 2a 2f 0a 20 20   0,  /* 7x */.  
0dc0: 7d 3b 0a 20 20 72 65 74 75 72 6e 20 28 63 26 30  };.  return (c&0
0dd0: 78 38 30 20 7c 7c 20 69 73 46 74 73 49 64 43 68  x80 || isFtsIdCh
0de0: 61 72 5b 28 69 6e 74 29 28 63 29 5d 29 3b 0a 7d  ar[(int)(c)]);.}
0df0: 0a 0a 63 6f 6e 73 74 20 63 68 61 72 20 2a 73 71  ..const char *sq
0e00: 6c 69 74 65 33 46 74 73 33 4e 65 78 74 54 6f 6b  lite3Fts3NextTok
0e10: 65 6e 28 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a  en(const char *z
0e20: 53 74 72 2c 20 69 6e 74 20 2a 70 6e 29 7b 0a 20  Str, int *pn){. 
0e30: 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a 31 3b   const char *z1;
0e40: 0a 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a  .  const char *z
0e50: 32 20 3d 20 30 3b 0a 0a 20 20 2f 2a 20 46 69 6e  2 = 0;..  /* Fin
0e60: 64 20 74 68 65 20 73 74 61 72 74 20 6f 66 20 74  d the start of t
0e70: 68 65 20 6e 65 78 74 20 74 6f 6b 65 6e 2e 20 2a  he next token. *
0e80: 2f 0a 20 20 7a 31 20 3d 20 7a 53 74 72 3b 0a 20  /.  z1 = zStr;. 
0e90: 20 77 68 69 6c 65 28 20 7a 32 3d 3d 30 20 29 7b   while( z2==0 ){
0ea0: 0a 20 20 20 20 63 68 61 72 20 63 20 3d 20 2a 7a  .    char c = *z
0eb0: 31 3b 0a 20 20 20 20 73 77 69 74 63 68 28 20 63  1;.    switch( c
0ec0: 20 29 7b 0a 20 20 20 20 20 20 63 61 73 65 20 27   ){.      case '
0ed0: 5c 30 27 3a 20 72 65 74 75 72 6e 20 30 3b 20 20  \0': return 0;  
0ee0: 20 20 20 20 20 20 2f 2a 20 4e 6f 20 6d 6f 72 65        /* No more
0ef0: 20 74 6f 6b 65 6e 73 20 68 65 72 65 20 2a 2f 0a   tokens here */.
0f00: 20 20 20 20 20 20 63 61 73 65 20 27 5c 27 27 3a        case '\'':
0f10: 0a 20 20 20 20 20 20 63 61 73 65 20 27 22 27 3a  .      case '"':
0f20: 0a 20 20 20 20 20 20 63 61 73 65 20 27 60 27 3a  .      case '`':
0f30: 20 7b 0a 20 20 20 20 20 20 20 20 7a 32 20 3d 20   {.        z2 = 
0f40: 7a 31 3b 0a 20 20 20 20 20 20 20 20 77 68 69 6c  z1;.        whil
0f50: 65 28 20 2a 2b 2b 7a 32 20 26 26 20 28 2a 7a 32  e( *++z2 && (*z2
0f60: 21 3d 63 20 7c 7c 20 2a 2b 2b 7a 32 3d 3d 63 29  !=c || *++z2==c)
0f70: 20 29 3b 0a 20 20 20 20 20 20 20 20 62 72 65 61   );.        brea
0f80: 6b 3b 0a 20 20 20 20 20 20 7d 0a 20 20 20 20 20  k;.      }.     
0f90: 20 63 61 73 65 20 27 5b 27 3a 0a 20 20 20 20 20   case '[':.     
0fa0: 20 20 20 7a 32 20 3d 20 26 7a 31 5b 31 5d 3b 0a     z2 = &z1[1];.
0fb0: 20 20 20 20 20 20 20 20 77 68 69 6c 65 28 20 2a          while( *
0fc0: 7a 32 20 26 26 20 7a 32 5b 30 5d 21 3d 27 5d 27  z2 && z2[0]!=']'
0fd0: 20 29 20 7a 32 2b 2b 3b 0a 20 20 20 20 20 20 20   ) z2++;.       
0fe0: 20 69 66 28 20 2a 7a 32 20 29 20 7a 32 2b 2b 3b   if( *z2 ) z2++;
0ff0: 0a 20 20 20 20 20 20 20 20 62 72 65 61 6b 3b 0a  .        break;.
1000: 0a 20 20 20 20 20 20 64 65 66 61 75 6c 74 3a 0a  .      default:.
1010: 20 20 20 20 20 20 20 20 69 66 28 20 73 71 6c 69          if( sqli
1020: 74 65 33 46 74 73 33 49 73 49 64 43 68 61 72 28  te3Fts3IsIdChar(
1030: 2a 7a 31 29 20 29 7b 0a 20 20 20 20 20 20 20 20  *z1) ){.        
1040: 20 20 7a 32 20 3d 20 26 7a 31 5b 31 5d 3b 0a 20    z2 = &z1[1];. 
1050: 20 20 20 20 20 20 20 20 20 77 68 69 6c 65 28 20           while( 
1060: 73 71 6c 69 74 65 33 46 74 73 33 49 73 49 64 43  sqlite3Fts3IsIdC
1070: 68 61 72 28 2a 7a 32 29 20 29 20 7a 32 2b 2b 3b  har(*z2) ) z2++;
1080: 0a 20 20 20 20 20 20 20 20 7d 65 6c 73 65 7b 0a  .        }else{.
1090: 20 20 20 20 20 20 20 20 20 20 7a 31 2b 2b 3b 0a            z1++;.
10a0: 20 20 20 20 20 20 20 20 7d 0a 20 20 20 20 7d 0a          }.    }.
10b0: 20 20 7d 0a 0a 20 20 2a 70 6e 20 3d 20 28 69 6e    }..  *pn = (in
10c0: 74 29 28 7a 32 2d 7a 31 29 3b 0a 20 20 72 65 74  t)(z2-z1);.  ret
10d0: 75 72 6e 20 7a 31 3b 0a 7d 0a 0a 69 6e 74 20 73  urn z1;.}..int s
10e0: 71 6c 69 74 65 33 46 74 73 33 49 6e 69 74 54 6f  qlite3Fts3InitTo
10f0: 6b 65 6e 69 7a 65 72 28 0a 20 20 46 74 73 33 48  kenizer(.  Fts3H
1100: 61 73 68 20 2a 70 48 61 73 68 2c 20 20 20 20 20  ash *pHash,     
1110: 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 54 6f             /* To
1120: 6b 65 6e 69 7a 65 72 20 68 61 73 68 20 74 61 62  kenizer hash tab
1130: 6c 65 20 2a 2f 0a 20 20 63 6f 6e 73 74 20 63 68  le */.  const ch
1140: 61 72 20 2a 7a 41 72 67 2c 20 20 20 20 20 20 20  ar *zArg,       
1150: 20 20 20 20 20 20 20 20 2f 2a 20 54 6f 6b 65 6e          /* Token
1160: 69 7a 65 72 20 6e 61 6d 65 20 2a 2f 0a 20 20 73  izer name */.  s
1170: 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72  qlite3_tokenizer
1180: 20 2a 2a 70 70 54 6f 6b 2c 20 20 20 20 20 20 2f   **ppTok,      /
1190: 2a 20 4f 55 54 3a 20 54 6f 6b 65 6e 69 7a 65 72  * OUT: Tokenizer
11a0: 20 28 69 66 20 61 70 70 6c 69 63 61 62 6c 65 29   (if applicable)
11b0: 20 2a 2f 0a 20 20 63 68 61 72 20 2a 2a 70 7a 45   */.  char **pzE
11c0: 72 72 20 20 20 20 20 20 20 20 20 20 20 20 20 20  rr              
11d0: 20 20 20 20 20 20 2f 2a 20 4f 55 54 3a 20 53 65        /* OUT: Se
11e0: 74 20 74 6f 20 6d 61 6c 6c 6f 63 65 64 20 65 72  t to malloced er
11f0: 72 6f 72 20 6d 65 73 73 61 67 65 20 2a 2f 0a 29  ror message */.)
1200: 7b 0a 20 20 69 6e 74 20 72 63 3b 0a 20 20 63 68  {.  int rc;.  ch
1210: 61 72 20 2a 7a 20 3d 20 28 63 68 61 72 20 2a 29  ar *z = (char *)
1220: 7a 41 72 67 3b 0a 20 20 69 6e 74 20 6e 20 3d 20  zArg;.  int n = 
1230: 30 3b 0a 20 20 63 68 61 72 20 2a 7a 43 6f 70 79  0;.  char *zCopy
1240: 3b 0a 20 20 63 68 61 72 20 2a 7a 45 6e 64 3b 20  ;.  char *zEnd; 
1250: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1260: 20 20 20 20 2f 2a 20 50 6f 69 6e 74 65 72 20 74      /* Pointer t
1270: 6f 20 6e 75 6c 2d 74 65 72 6d 20 6f 66 20 7a 43  o nul-term of zC
1280: 6f 70 79 20 2a 2f 0a 20 20 73 71 6c 69 74 65 33  opy */.  sqlite3
1290: 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c  _tokenizer_modul
12a0: 65 20 2a 6d 3b 0a 0a 20 20 7a 43 6f 70 79 20 3d  e *m;..  zCopy =
12b0: 20 73 71 6c 69 74 65 33 5f 6d 70 72 69 6e 74 66   sqlite3_mprintf
12c0: 28 22 25 73 22 2c 20 7a 41 72 67 29 3b 0a 20 20  ("%s", zArg);.  
12d0: 69 66 28 20 21 7a 43 6f 70 79 20 29 20 72 65 74  if( !zCopy ) ret
12e0: 75 72 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d  urn SQLITE_NOMEM
12f0: 3b 0a 20 20 7a 45 6e 64 20 3d 20 26 7a 43 6f 70  ;.  zEnd = &zCop
1300: 79 5b 73 74 72 6c 65 6e 28 7a 43 6f 70 79 29 5d  y[strlen(zCopy)]
1310: 3b 0a 0a 20 20 7a 20 3d 20 28 63 68 61 72 20 2a  ;..  z = (char *
1320: 29 73 71 6c 69 74 65 33 46 74 73 33 4e 65 78 74  )sqlite3Fts3Next
1330: 54 6f 6b 65 6e 28 7a 43 6f 70 79 2c 20 26 6e 29  Token(zCopy, &n)
1340: 3b 0a 20 20 69 66 28 20 7a 3d 3d 30 20 29 7b 0a  ;.  if( z==0 ){.
1350: 20 20 20 20 61 73 73 65 72 74 28 20 6e 3d 3d 30      assert( n==0
1360: 20 29 3b 0a 20 20 20 20 7a 20 3d 20 7a 43 6f 70   );.    z = zCop
1370: 79 3b 0a 20 20 7d 0a 20 20 7a 5b 6e 5d 20 3d 20  y;.  }.  z[n] = 
1380: 27 5c 30 27 3b 0a 20 20 73 71 6c 69 74 65 33 46  '\0';.  sqlite3F
1390: 74 73 33 44 65 71 75 6f 74 65 28 7a 29 3b 0a 0a  ts3Dequote(z);..
13a0: 20 20 6d 20 3d 20 28 73 71 6c 69 74 65 33 5f 74    m = (sqlite3_t
13b0: 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65 20  okenizer_module 
13c0: 2a 29 73 71 6c 69 74 65 33 46 74 73 33 48 61 73  *)sqlite3Fts3Has
13d0: 68 46 69 6e 64 28 70 48 61 73 68 2c 7a 2c 28 69  hFind(pHash,z,(i
13e0: 6e 74 29 73 74 72 6c 65 6e 28 7a 29 2b 31 29 3b  nt)strlen(z)+1);
13f0: 0a 20 20 69 66 28 20 21 6d 20 29 7b 0a 20 20 20  .  if( !m ){.   
1400: 20 73 71 6c 69 74 65 33 46 74 73 33 45 72 72 4d   sqlite3Fts3ErrM
1410: 73 67 28 70 7a 45 72 72 2c 20 22 75 6e 6b 6e 6f  sg(pzErr, "unkno
1420: 77 6e 20 74 6f 6b 65 6e 69 7a 65 72 3a 20 25 73  wn tokenizer: %s
1430: 22 2c 20 7a 29 3b 0a 20 20 20 20 72 63 20 3d 20  ", z);.    rc = 
1440: 53 51 4c 49 54 45 5f 45 52 52 4f 52 3b 0a 20 20  SQLITE_ERROR;.  
1450: 7d 65 6c 73 65 7b 0a 20 20 20 20 63 68 61 72 20  }else{.    char 
1460: 63 6f 6e 73 74 20 2a 2a 61 41 72 67 20 3d 20 30  const **aArg = 0
1470: 3b 0a 20 20 20 20 69 6e 74 20 69 41 72 67 20 3d  ;.    int iArg =
1480: 20 30 3b 0a 20 20 20 20 7a 20 3d 20 26 7a 5b 6e   0;.    z = &z[n
1490: 2b 31 5d 3b 0a 20 20 20 20 77 68 69 6c 65 28 20  +1];.    while( 
14a0: 7a 3c 7a 45 6e 64 20 26 26 20 28 4e 55 4c 4c 21  z<zEnd && (NULL!
14b0: 3d 28 7a 20 3d 20 28 63 68 61 72 20 2a 29 73 71  =(z = (char *)sq
14c0: 6c 69 74 65 33 46 74 73 33 4e 65 78 74 54 6f 6b  lite3Fts3NextTok
14d0: 65 6e 28 7a 2c 20 26 6e 29 29 29 20 29 7b 0a 20  en(z, &n))) ){. 
14e0: 20 20 20 20 20 69 6e 74 20 6e 4e 65 77 20 3d 20       int nNew = 
14f0: 73 69 7a 65 6f 66 28 63 68 61 72 20 2a 29 2a 28  sizeof(char *)*(
1500: 69 41 72 67 2b 31 29 3b 0a 20 20 20 20 20 20 63  iArg+1);.      c
1510: 68 61 72 20 63 6f 6e 73 74 20 2a 2a 61 4e 65 77  har const **aNew
1520: 20 3d 20 28 63 6f 6e 73 74 20 63 68 61 72 20 2a   = (const char *
1530: 2a 29 73 71 6c 69 74 65 33 5f 72 65 61 6c 6c 6f  *)sqlite3_reallo
1540: 63 28 28 76 6f 69 64 20 2a 29 61 41 72 67 2c 20  c((void *)aArg, 
1550: 6e 4e 65 77 29 3b 0a 20 20 20 20 20 20 69 66 28  nNew);.      if(
1560: 20 21 61 4e 65 77 20 29 7b 0a 20 20 20 20 20 20   !aNew ){.      
1570: 20 20 73 71 6c 69 74 65 33 5f 66 72 65 65 28 7a    sqlite3_free(z
1580: 43 6f 70 79 29 3b 0a 20 20 20 20 20 20 20 20 73  Copy);.        s
1590: 71 6c 69 74 65 33 5f 66 72 65 65 28 28 76 6f 69  qlite3_free((voi
15a0: 64 20 2a 29 61 41 72 67 29 3b 0a 20 20 20 20 20  d *)aArg);.     
15b0: 20 20 20 72 65 74 75 72 6e 20 53 51 4c 49 54 45     return SQLITE
15c0: 5f 4e 4f 4d 45 4d 3b 0a 20 20 20 20 20 20 7d 0a  _NOMEM;.      }.
15d0: 20 20 20 20 20 20 61 41 72 67 20 3d 20 61 4e 65        aArg = aNe
15e0: 77 3b 0a 20 20 20 20 20 20 61 41 72 67 5b 69 41  w;.      aArg[iA
15f0: 72 67 2b 2b 5d 20 3d 20 7a 3b 0a 20 20 20 20 20  rg++] = z;.     
1600: 20 7a 5b 6e 5d 20 3d 20 27 5c 30 27 3b 0a 20 20   z[n] = '\0';.  
1610: 20 20 20 20 73 71 6c 69 74 65 33 46 74 73 33 44      sqlite3Fts3D
1620: 65 71 75 6f 74 65 28 7a 29 3b 0a 20 20 20 20 20  equote(z);.     
1630: 20 7a 20 3d 20 26 7a 5b 6e 2b 31 5d 3b 0a 20 20   z = &z[n+1];.  
1640: 20 20 7d 0a 20 20 20 20 72 63 20 3d 20 6d 2d 3e    }.    rc = m->
1650: 78 43 72 65 61 74 65 28 69 41 72 67 2c 20 61 41  xCreate(iArg, aA
1660: 72 67 2c 20 70 70 54 6f 6b 29 3b 0a 20 20 20 20  rg, ppTok);.    
1670: 61 73 73 65 72 74 28 20 72 63 21 3d 53 51 4c 49  assert( rc!=SQLI
1680: 54 45 5f 4f 4b 20 7c 7c 20 2a 70 70 54 6f 6b 20  TE_OK || *ppTok 
1690: 29 3b 0a 20 20 20 20 69 66 28 20 72 63 21 3d 53  );.    if( rc!=S
16a0: 51 4c 49 54 45 5f 4f 4b 20 29 7b 0a 20 20 20 20  QLITE_OK ){.    
16b0: 20 20 73 71 6c 69 74 65 33 46 74 73 33 45 72 72    sqlite3Fts3Err
16c0: 4d 73 67 28 70 7a 45 72 72 2c 20 22 75 6e 6b 6e  Msg(pzErr, "unkn
16d0: 6f 77 6e 20 74 6f 6b 65 6e 69 7a 65 72 22 29 3b  own tokenizer");
16e0: 0a 20 20 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20  .    }else{.    
16f0: 20 20 28 2a 70 70 54 6f 6b 29 2d 3e 70 4d 6f 64    (*ppTok)->pMod
1700: 75 6c 65 20 3d 20 6d 3b 20 0a 20 20 20 20 7d 0a  ule = m; .    }.
1710: 20 20 20 20 73 71 6c 69 74 65 33 5f 66 72 65 65      sqlite3_free
1720: 28 28 76 6f 69 64 20 2a 29 61 41 72 67 29 3b 0a  ((void *)aArg);.
1730: 20 20 7d 0a 0a 20 20 73 71 6c 69 74 65 33 5f 66    }..  sqlite3_f
1740: 72 65 65 28 7a 43 6f 70 79 29 3b 0a 20 20 72 65  ree(zCopy);.  re
1750: 74 75 72 6e 20 72 63 3b 0a 7d 0a 0a 0a 23 69 66  turn rc;.}...#if
1760: 64 65 66 20 53 51 4c 49 54 45 5f 54 45 53 54 0a  def SQLITE_TEST.
1770: 0a 23 69 6e 63 6c 75 64 65 20 3c 74 63 6c 2e 68  .#include <tcl.h
1780: 3e 0a 23 69 6e 63 6c 75 64 65 20 3c 73 74 72 69  >.#include <stri
1790: 6e 67 2e 68 3e 0a 0a 2f 2a 0a 2a 2a 20 49 6d 70  ng.h>../*.** Imp
17a0: 6c 65 6d 65 6e 74 61 74 69 6f 6e 20 6f 66 20 61  lementation of a
17b0: 20 73 70 65 63 69 61 6c 20 53 51 4c 20 73 63 61   special SQL sca
17c0: 6c 61 72 20 66 75 6e 63 74 69 6f 6e 20 66 6f 72  lar function for
17d0: 20 74 65 73 74 69 6e 67 20 74 6f 6b 65 6e 69 7a   testing tokeniz
17e0: 65 72 73 20 0a 2a 2a 20 64 65 73 69 67 6e 65 64  ers .** designed
17f0: 20 74 6f 20 62 65 20 75 73 65 64 20 69 6e 20 63   to be used in c
1800: 6f 6e 63 65 72 74 20 77 69 74 68 20 74 68 65 20  oncert with the 
1810: 54 63 6c 20 74 65 73 74 69 6e 67 20 66 72 61 6d  Tcl testing fram
1820: 65 77 6f 72 6b 2e 20 54 68 69 73 0a 2a 2a 20 66  ework. This.** f
1830: 75 6e 63 74 69 6f 6e 20 6d 75 73 74 20 62 65 20  unction must be 
1840: 63 61 6c 6c 65 64 20 77 69 74 68 20 74 77 6f 20  called with two 
1850: 6f 72 20 6d 6f 72 65 20 61 72 67 75 6d 65 6e 74  or more argument
1860: 73 3a 0a 2a 2a 0a 2a 2a 20 20 20 53 45 4c 45 43  s:.**.**   SELEC
1870: 54 20 3c 66 75 6e 63 74 69 6f 6e 2d 6e 61 6d 65  T <function-name
1880: 3e 28 3c 6b 65 79 2d 6e 61 6d 65 3e 2c 20 2e 2e  >(<key-name>, ..
1890: 2e 2c 20 3c 69 6e 70 75 74 2d 73 74 72 69 6e 67  ., <input-string
18a0: 3e 29 3b 0a 2a 2a 0a 2a 2a 20 77 68 65 72 65 20  >);.**.** where 
18b0: 3c 66 75 6e 63 74 69 6f 6e 2d 6e 61 6d 65 3e 20  <function-name> 
18c0: 69 73 20 74 68 65 20 6e 61 6d 65 20 70 61 73 73  is the name pass
18d0: 65 64 20 61 73 20 74 68 65 20 73 65 63 6f 6e 64  ed as the second
18e0: 20 61 72 67 75 6d 65 6e 74 0a 2a 2a 20 74 6f 20   argument.** to 
18f0: 74 68 65 20 73 71 6c 69 74 65 33 46 74 73 33 49  the sqlite3Fts3I
1900: 6e 69 74 48 61 73 68 54 61 62 6c 65 28 29 20 66  nitHashTable() f
1910: 75 6e 63 74 69 6f 6e 20 28 65 2e 67 2e 20 27 66  unction (e.g. 'f
1920: 74 73 33 5f 74 6f 6b 65 6e 69 7a 65 72 27 29 0a  ts3_tokenizer').
1930: 2a 2a 20 63 6f 6e 63 61 74 65 6e 61 74 65 64 20  ** concatenated 
1940: 77 69 74 68 20 74 68 65 20 73 74 72 69 6e 67 20  with the string 
1950: 27 5f 74 65 73 74 27 20 28 65 2e 67 2e 20 27 66  '_test' (e.g. 'f
1960: 74 73 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 74 65  ts3_tokenizer_te
1970: 73 74 27 29 2e 0a 2a 2a 0a 2a 2a 20 54 68 65 20  st')..**.** The 
1980: 72 65 74 75 72 6e 20 76 61 6c 75 65 20 69 73 20  return value is 
1990: 61 20 73 74 72 69 6e 67 20 74 68 61 74 20 6d 61  a string that ma
19a0: 79 20 62 65 20 69 6e 74 65 72 70 72 65 74 65 64  y be interpreted
19b0: 20 61 73 20 61 20 54 63 6c 0a 2a 2a 20 6c 69 73   as a Tcl.** lis
19c0: 74 2e 20 46 6f 72 20 65 61 63 68 20 74 6f 6b 65  t. For each toke
19d0: 6e 20 69 6e 20 74 68 65 20 3c 69 6e 70 75 74 2d  n in the <input-
19e0: 73 74 72 69 6e 67 3e 2c 20 74 68 72 65 65 20 65  string>, three e
19f0: 6c 65 6d 65 6e 74 73 20 61 72 65 0a 2a 2a 20 61  lements are.** a
1a00: 64 64 65 64 20 74 6f 20 74 68 65 20 72 65 74 75  dded to the retu
1a10: 72 6e 65 64 20 6c 69 73 74 2e 20 54 68 65 20 66  rned list. The f
1a20: 69 72 73 74 20 69 73 20 74 68 65 20 74 6f 6b 65  irst is the toke
1a30: 6e 20 70 6f 73 69 74 69 6f 6e 2c 20 74 68 65 20  n position, the 
1a40: 0a 2a 2a 20 73 65 63 6f 6e 64 20 69 73 20 74 68  .** second is th
1a50: 65 20 74 6f 6b 65 6e 20 74 65 78 74 20 28 66 6f  e token text (fo
1a60: 6c 64 65 64 2c 20 73 74 65 6d 6d 65 64 2c 20 65  lded, stemmed, e
1a70: 74 63 2e 29 20 61 6e 64 20 74 68 65 20 74 68 69  tc.) and the thi
1a80: 72 64 20 69 73 20 74 68 65 0a 2a 2a 20 73 75 62  rd is the.** sub
1a90: 73 74 72 69 6e 67 20 6f 66 20 3c 69 6e 70 75 74  string of <input
1aa0: 2d 73 74 72 69 6e 67 3e 20 61 73 73 6f 63 69 61  -string> associa
1ab0: 74 65 64 20 77 69 74 68 20 74 68 65 20 74 6f 6b  ted with the tok
1ac0: 65 6e 2e 20 46 6f 72 20 65 78 61 6d 70 6c 65 2c  en. For example,
1ad0: 20 0a 2a 2a 20 75 73 69 6e 67 20 74 68 65 20 62   .** using the b
1ae0: 75 69 6c 74 2d 69 6e 20 22 73 69 6d 70 6c 65 22  uilt-in "simple"
1af0: 20 74 6f 6b 65 6e 69 7a 65 72 3a 0a 2a 2a 0a 2a   tokenizer:.**.*
1b00: 2a 20 20 20 53 45 4c 45 43 54 20 66 74 73 5f 74  *   SELECT fts_t
1b10: 6f 6b 65 6e 69 7a 65 72 5f 74 65 73 74 28 27 73  okenizer_test('s
1b20: 69 6d 70 6c 65 27 2c 20 27 49 20 64 6f 6e 27 74  imple', 'I don't
1b30: 20 73 65 65 20 68 6f 77 27 29 3b 0a 2a 2a 0a 2a   see how');.**.*
1b40: 2a 20 77 69 6c 6c 20 72 65 74 75 72 6e 20 74 68  * will return th
1b50: 65 20 73 74 72 69 6e 67 3a 0a 2a 2a 0a 2a 2a 20  e string:.**.** 
1b60: 20 20 22 7b 30 20 69 20 49 20 31 20 64 6f 6e 74    "{0 i I 1 dont
1b70: 20 64 6f 6e 27 74 20 32 20 73 65 65 20 73 65 65   don't 2 see see
1b80: 20 33 20 68 6f 77 20 68 6f 77 7d 22 0a 2a 2a 20   3 how how}".** 
1b90: 20 20 0a 2a 2f 0a 73 74 61 74 69 63 20 76 6f 69    .*/.static voi
1ba0: 64 20 74 65 73 74 46 75 6e 63 28 0a 20 20 73 71  d testFunc(.  sq
1bb0: 6c 69 74 65 33 5f 63 6f 6e 74 65 78 74 20 2a 63  lite3_context *c
1bc0: 6f 6e 74 65 78 74 2c 0a 20 20 69 6e 74 20 61 72  ontext,.  int ar
1bd0: 67 63 2c 0a 20 20 73 71 6c 69 74 65 33 5f 76 61  gc,.  sqlite3_va
1be0: 6c 75 65 20 2a 2a 61 72 67 76 0a 29 7b 0a 20 20  lue **argv.){.  
1bf0: 46 74 73 33 48 61 73 68 20 2a 70 48 61 73 68 3b  Fts3Hash *pHash;
1c00: 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e  .  sqlite3_token
1c10: 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 2a 70 3b 0a  izer_module *p;.
1c20: 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69    sqlite3_tokeni
1c30: 7a 65 72 20 2a 70 54 6f 6b 65 6e 69 7a 65 72 20  zer *pTokenizer 
1c40: 3d 20 30 3b 0a 20 20 73 71 6c 69 74 65 33 5f 74  = 0;.  sqlite3_t
1c50: 6f 6b 65 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20  okenizer_cursor 
1c60: 2a 70 43 73 72 20 3d 20 30 3b 0a 0a 20 20 63 6f  *pCsr = 0;..  co
1c70: 6e 73 74 20 63 68 61 72 20 2a 7a 45 72 72 20 3d  nst char *zErr =
1c80: 20 30 3b 0a 0a 20 20 63 6f 6e 73 74 20 63 68 61   0;..  const cha
1c90: 72 20 2a 7a 4e 61 6d 65 3b 0a 20 20 69 6e 74 20  r *zName;.  int 
1ca0: 6e 4e 61 6d 65 3b 0a 20 20 63 6f 6e 73 74 20 63  nName;.  const c
1cb0: 68 61 72 20 2a 7a 49 6e 70 75 74 3b 0a 20 20 69  har *zInput;.  i
1cc0: 6e 74 20 6e 49 6e 70 75 74 3b 0a 0a 20 20 63 6f  nt nInput;..  co
1cd0: 6e 73 74 20 63 68 61 72 20 2a 61 7a 41 72 67 5b  nst char *azArg[
1ce0: 36 34 5d 3b 0a 0a 20 20 63 6f 6e 73 74 20 63 68  64];..  const ch
1cf0: 61 72 20 2a 7a 54 6f 6b 65 6e 3b 0a 20 20 69 6e  ar *zToken;.  in
1d00: 74 20 6e 54 6f 6b 65 6e 20 3d 20 30 3b 0a 20 20  t nToken = 0;.  
1d10: 69 6e 74 20 69 53 74 61 72 74 20 3d 20 30 3b 0a  int iStart = 0;.
1d20: 20 20 69 6e 74 20 69 45 6e 64 20 3d 20 30 3b 0a    int iEnd = 0;.
1d30: 20 20 69 6e 74 20 69 50 6f 73 20 3d 20 30 3b 0a    int iPos = 0;.
1d40: 20 20 69 6e 74 20 69 3b 0a 0a 20 20 54 63 6c 5f    int i;..  Tcl_
1d50: 4f 62 6a 20 2a 70 52 65 74 3b 0a 0a 20 20 69 66  Obj *pRet;..  if
1d60: 28 20 61 72 67 63 3c 32 20 29 7b 0a 20 20 20 20  ( argc<2 ){.    
1d70: 73 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f 65  sqlite3_result_e
1d80: 72 72 6f 72 28 63 6f 6e 74 65 78 74 2c 20 22 69  rror(context, "i
1d90: 6e 73 75 66 66 69 63 69 65 6e 74 20 61 72 67 75  nsufficient argu
1da0: 6d 65 6e 74 73 22 2c 20 2d 31 29 3b 0a 20 20 20  ments", -1);.   
1db0: 20 72 65 74 75 72 6e 3b 0a 20 20 7d 0a 0a 20 20   return;.  }..  
1dc0: 6e 4e 61 6d 65 20 3d 20 73 71 6c 69 74 65 33 5f  nName = sqlite3_
1dd0: 76 61 6c 75 65 5f 62 79 74 65 73 28 61 72 67 76  value_bytes(argv
1de0: 5b 30 5d 29 3b 0a 20 20 7a 4e 61 6d 65 20 3d 20  [0]);.  zName = 
1df0: 28 63 6f 6e 73 74 20 63 68 61 72 20 2a 29 73 71  (const char *)sq
1e00: 6c 69 74 65 33 5f 76 61 6c 75 65 5f 74 65 78 74  lite3_value_text
1e10: 28 61 72 67 76 5b 30 5d 29 3b 0a 20 20 6e 49 6e  (argv[0]);.  nIn
1e20: 70 75 74 20 3d 20 73 71 6c 69 74 65 33 5f 76 61  put = sqlite3_va
1e30: 6c 75 65 5f 62 79 74 65 73 28 61 72 67 76 5b 61  lue_bytes(argv[a
1e40: 72 67 63 2d 31 5d 29 3b 0a 20 20 7a 49 6e 70 75  rgc-1]);.  zInpu
1e50: 74 20 3d 20 28 63 6f 6e 73 74 20 63 68 61 72 20  t = (const char 
1e60: 2a 29 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f  *)sqlite3_value_
1e70: 74 65 78 74 28 61 72 67 76 5b 61 72 67 63 2d 31  text(argv[argc-1
1e80: 5d 29 3b 0a 0a 20 20 70 48 61 73 68 20 3d 20 28  ]);..  pHash = (
1e90: 46 74 73 33 48 61 73 68 20 2a 29 73 71 6c 69 74  Fts3Hash *)sqlit
1ea0: 65 33 5f 75 73 65 72 5f 64 61 74 61 28 63 6f 6e  e3_user_data(con
1eb0: 74 65 78 74 29 3b 0a 20 20 70 20 3d 20 28 73 71  text);.  p = (sq
1ec0: 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f  lite3_tokenizer_
1ed0: 6d 6f 64 75 6c 65 20 2a 29 73 71 6c 69 74 65 33  module *)sqlite3
1ee0: 46 74 73 33 48 61 73 68 46 69 6e 64 28 70 48 61  Fts3HashFind(pHa
1ef0: 73 68 2c 20 7a 4e 61 6d 65 2c 20 6e 4e 61 6d 65  sh, zName, nName
1f00: 2b 31 29 3b 0a 0a 20 20 69 66 28 20 21 70 20 29  +1);..  if( !p )
1f10: 7b 0a 20 20 20 20 63 68 61 72 20 2a 7a 45 72 72  {.    char *zErr
1f20: 32 20 3d 20 73 71 6c 69 74 65 33 5f 6d 70 72 69  2 = sqlite3_mpri
1f30: 6e 74 66 28 22 75 6e 6b 6e 6f 77 6e 20 74 6f 6b  ntf("unknown tok
1f40: 65 6e 69 7a 65 72 3a 20 25 73 22 2c 20 7a 4e 61  enizer: %s", zNa
1f50: 6d 65 29 3b 0a 20 20 20 20 73 71 6c 69 74 65 33  me);.    sqlite3
1f60: 5f 72 65 73 75 6c 74 5f 65 72 72 6f 72 28 63 6f  _result_error(co
1f70: 6e 74 65 78 74 2c 20 7a 45 72 72 32 2c 20 2d 31  ntext, zErr2, -1
1f80: 29 3b 0a 20 20 20 20 73 71 6c 69 74 65 33 5f 66  );.    sqlite3_f
1f90: 72 65 65 28 7a 45 72 72 32 29 3b 0a 20 20 20 20  ree(zErr2);.    
1fa0: 72 65 74 75 72 6e 3b 0a 20 20 7d 0a 0a 20 20 70  return;.  }..  p
1fb0: 52 65 74 20 3d 20 54 63 6c 5f 4e 65 77 4f 62 6a  Ret = Tcl_NewObj
1fc0: 28 29 3b 0a 20 20 54 63 6c 5f 49 6e 63 72 52 65  ();.  Tcl_IncrRe
1fd0: 66 43 6f 75 6e 74 28 70 52 65 74 29 3b 0a 0a 20  fCount(pRet);.. 
1fe0: 20 66 6f 72 28 69 3d 31 3b 20 69 3c 61 72 67 63   for(i=1; i<argc
1ff0: 2d 31 3b 20 69 2b 2b 29 7b 0a 20 20 20 20 61 7a  -1; i++){.    az
2000: 41 72 67 5b 69 2d 31 5d 20 3d 20 28 63 6f 6e 73  Arg[i-1] = (cons
2010: 74 20 63 68 61 72 20 2a 29 73 71 6c 69 74 65 33  t char *)sqlite3
2020: 5f 76 61 6c 75 65 5f 74 65 78 74 28 61 72 67 76  _value_text(argv
2030: 5b 69 5d 29 3b 0a 20 20 7d 0a 0a 20 20 69 66 28  [i]);.  }..  if(
2040: 20 53 51 4c 49 54 45 5f 4f 4b 21 3d 70 2d 3e 78   SQLITE_OK!=p->x
2050: 43 72 65 61 74 65 28 61 72 67 63 2d 32 2c 20 61  Create(argc-2, a
2060: 7a 41 72 67 2c 20 26 70 54 6f 6b 65 6e 69 7a 65  zArg, &pTokenize
2070: 72 29 20 29 7b 0a 20 20 20 20 7a 45 72 72 20 3d  r) ){.    zErr =
2080: 20 22 65 72 72 6f 72 20 69 6e 20 78 43 72 65 61   "error in xCrea
2090: 74 65 28 29 22 3b 0a 20 20 20 20 67 6f 74 6f 20  te()";.    goto 
20a0: 66 69 6e 69 73 68 3b 0a 20 20 7d 0a 20 20 70 54  finish;.  }.  pT
20b0: 6f 6b 65 6e 69 7a 65 72 2d 3e 70 4d 6f 64 75 6c  okenizer->pModul
20c0: 65 20 3d 20 70 3b 0a 20 20 69 66 28 20 73 71 6c  e = p;.  if( sql
20d0: 69 74 65 33 46 74 73 33 4f 70 65 6e 54 6f 6b 65  ite3Fts3OpenToke
20e0: 6e 69 7a 65 72 28 70 54 6f 6b 65 6e 69 7a 65 72  nizer(pTokenizer
20f0: 2c 20 30 2c 20 7a 49 6e 70 75 74 2c 20 6e 49 6e  , 0, zInput, nIn
2100: 70 75 74 2c 20 26 70 43 73 72 29 20 29 7b 0a 20  put, &pCsr) ){. 
2110: 20 20 20 7a 45 72 72 20 3d 20 22 65 72 72 6f 72     zErr = "error
2120: 20 69 6e 20 78 4f 70 65 6e 28 29 22 3b 0a 20 20   in xOpen()";.  
2130: 20 20 67 6f 74 6f 20 66 69 6e 69 73 68 3b 0a 20    goto finish;. 
2140: 20 7d 0a 0a 20 20 77 68 69 6c 65 28 20 53 51 4c   }..  while( SQL
2150: 49 54 45 5f 4f 4b 3d 3d 70 2d 3e 78 4e 65 78 74  ITE_OK==p->xNext
2160: 28 70 43 73 72 2c 20 26 7a 54 6f 6b 65 6e 2c 20  (pCsr, &zToken, 
2170: 26 6e 54 6f 6b 65 6e 2c 20 26 69 53 74 61 72 74  &nToken, &iStart
2180: 2c 20 26 69 45 6e 64 2c 20 26 69 50 6f 73 29 20  , &iEnd, &iPos) 
2190: 29 7b 0a 20 20 20 20 54 63 6c 5f 4c 69 73 74 4f  ){.    Tcl_ListO
21a0: 62 6a 41 70 70 65 6e 64 45 6c 65 6d 65 6e 74 28  bjAppendElement(
21b0: 30 2c 20 70 52 65 74 2c 20 54 63 6c 5f 4e 65 77  0, pRet, Tcl_New
21c0: 49 6e 74 4f 62 6a 28 69 50 6f 73 29 29 3b 0a 20  IntObj(iPos));. 
21d0: 20 20 20 54 63 6c 5f 4c 69 73 74 4f 62 6a 41 70     Tcl_ListObjAp
21e0: 70 65 6e 64 45 6c 65 6d 65 6e 74 28 30 2c 20 70  pendElement(0, p
21f0: 52 65 74 2c 20 54 63 6c 5f 4e 65 77 53 74 72 69  Ret, Tcl_NewStri
2200: 6e 67 4f 62 6a 28 7a 54 6f 6b 65 6e 2c 20 6e 54  ngObj(zToken, nT
2210: 6f 6b 65 6e 29 29 3b 0a 20 20 20 20 7a 54 6f 6b  oken));.    zTok
2220: 65 6e 20 3d 20 26 7a 49 6e 70 75 74 5b 69 53 74  en = &zInput[iSt
2230: 61 72 74 5d 3b 0a 20 20 20 20 6e 54 6f 6b 65 6e  art];.    nToken
2240: 20 3d 20 69 45 6e 64 2d 69 53 74 61 72 74 3b 0a   = iEnd-iStart;.
2250: 20 20 20 20 54 63 6c 5f 4c 69 73 74 4f 62 6a 41      Tcl_ListObjA
2260: 70 70 65 6e 64 45 6c 65 6d 65 6e 74 28 30 2c 20  ppendElement(0, 
2270: 70 52 65 74 2c 20 54 63 6c 5f 4e 65 77 53 74 72  pRet, Tcl_NewStr
2280: 69 6e 67 4f 62 6a 28 7a 54 6f 6b 65 6e 2c 20 6e  ingObj(zToken, n
2290: 54 6f 6b 65 6e 29 29 3b 0a 20 20 7d 0a 0a 20 20  Token));.  }..  
22a0: 69 66 28 20 53 51 4c 49 54 45 5f 4f 4b 21 3d 70  if( SQLITE_OK!=p
22b0: 2d 3e 78 43 6c 6f 73 65 28 70 43 73 72 29 20 29  ->xClose(pCsr) )
22c0: 7b 0a 20 20 20 20 7a 45 72 72 20 3d 20 22 65 72  {.    zErr = "er
22d0: 72 6f 72 20 69 6e 20 78 43 6c 6f 73 65 28 29 22  ror in xClose()"
22e0: 3b 0a 20 20 20 20 67 6f 74 6f 20 66 69 6e 69 73  ;.    goto finis
22f0: 68 3b 0a 20 20 7d 0a 20 20 69 66 28 20 53 51 4c  h;.  }.  if( SQL
2300: 49 54 45 5f 4f 4b 21 3d 70 2d 3e 78 44 65 73 74  ITE_OK!=p->xDest
2310: 72 6f 79 28 70 54 6f 6b 65 6e 69 7a 65 72 29 20  roy(pTokenizer) 
2320: 29 7b 0a 20 20 20 20 7a 45 72 72 20 3d 20 22 65  ){.    zErr = "e
2330: 72 72 6f 72 20 69 6e 20 78 44 65 73 74 72 6f 79  rror in xDestroy
2340: 28 29 22 3b 0a 20 20 20 20 67 6f 74 6f 20 66 69  ()";.    goto fi
2350: 6e 69 73 68 3b 0a 20 20 7d 0a 0a 66 69 6e 69 73  nish;.  }..finis
2360: 68 3a 0a 20 20 69 66 28 20 7a 45 72 72 20 29 7b  h:.  if( zErr ){
2370: 0a 20 20 20 20 73 71 6c 69 74 65 33 5f 72 65 73  .    sqlite3_res
2380: 75 6c 74 5f 65 72 72 6f 72 28 63 6f 6e 74 65 78  ult_error(contex
2390: 74 2c 20 7a 45 72 72 2c 20 2d 31 29 3b 0a 20 20  t, zErr, -1);.  
23a0: 7d 65 6c 73 65 7b 0a 20 20 20 20 73 71 6c 69 74  }else{.    sqlit
23b0: 65 33 5f 72 65 73 75 6c 74 5f 74 65 78 74 28 63  e3_result_text(c
23c0: 6f 6e 74 65 78 74 2c 20 54 63 6c 5f 47 65 74 53  ontext, Tcl_GetS
23d0: 74 72 69 6e 67 28 70 52 65 74 29 2c 20 2d 31 2c  tring(pRet), -1,
23e0: 20 53 51 4c 49 54 45 5f 54 52 41 4e 53 49 45 4e   SQLITE_TRANSIEN
23f0: 54 29 3b 0a 20 20 7d 0a 20 20 54 63 6c 5f 44 65  T);.  }.  Tcl_De
2400: 63 72 52 65 66 43 6f 75 6e 74 28 70 52 65 74 29  crRefCount(pRet)
2410: 3b 0a 7d 0a 0a 73 74 61 74 69 63 0a 69 6e 74 20  ;.}..static.int 
2420: 72 65 67 69 73 74 65 72 54 6f 6b 65 6e 69 7a 65  registerTokenize
2430: 72 28 0a 20 20 73 71 6c 69 74 65 33 20 2a 64 62  r(.  sqlite3 *db
2440: 2c 20 0a 20 20 63 68 61 72 20 2a 7a 4e 61 6d 65  , .  char *zName
2450: 2c 20 0a 20 20 63 6f 6e 73 74 20 73 71 6c 69 74  , .  const sqlit
2460: 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64  e3_tokenizer_mod
2470: 75 6c 65 20 2a 70 0a 29 7b 0a 20 20 69 6e 74 20  ule *p.){.  int 
2480: 72 63 3b 0a 20 20 73 71 6c 69 74 65 33 5f 73 74  rc;.  sqlite3_st
2490: 6d 74 20 2a 70 53 74 6d 74 3b 0a 20 20 63 6f 6e  mt *pStmt;.  con
24a0: 73 74 20 63 68 61 72 20 7a 53 71 6c 5b 5d 20 3d  st char zSql[] =
24b0: 20 22 53 45 4c 45 43 54 20 66 74 73 33 5f 74 6f   "SELECT fts3_to
24c0: 6b 65 6e 69 7a 65 72 28 3f 2c 20 3f 29 22 3b 0a  kenizer(?, ?)";.
24d0: 0a 20 20 72 63 20 3d 20 73 71 6c 69 74 65 33 5f  .  rc = sqlite3_
24e0: 70 72 65 70 61 72 65 5f 76 32 28 64 62 2c 20 7a  prepare_v2(db, z
24f0: 53 71 6c 2c 20 2d 31 2c 20 26 70 53 74 6d 74 2c  Sql, -1, &pStmt,
2500: 20 30 29 3b 0a 20 20 69 66 28 20 72 63 21 3d 53   0);.  if( rc!=S
2510: 51 4c 49 54 45 5f 4f 4b 20 29 7b 0a 20 20 20 20  QLITE_OK ){.    
2520: 72 65 74 75 72 6e 20 72 63 3b 0a 20 20 7d 0a 0a  return rc;.  }..
2530: 20 20 73 71 6c 69 74 65 33 5f 62 69 6e 64 5f 74    sqlite3_bind_t
2540: 65 78 74 28 70 53 74 6d 74 2c 20 31 2c 20 7a 4e  ext(pStmt, 1, zN
2550: 61 6d 65 2c 20 2d 31 2c 20 53 51 4c 49 54 45 5f  ame, -1, SQLITE_
2560: 53 54 41 54 49 43 29 3b 0a 20 20 73 71 6c 69 74  STATIC);.  sqlit
2570: 65 33 5f 62 69 6e 64 5f 62 6c 6f 62 28 70 53 74  e3_bind_blob(pSt
2580: 6d 74 2c 20 32 2c 20 26 70 2c 20 73 69 7a 65 6f  mt, 2, &p, sizeo
2590: 66 28 70 29 2c 20 53 51 4c 49 54 45 5f 53 54 41  f(p), SQLITE_STA
25a0: 54 49 43 29 3b 0a 20 20 73 71 6c 69 74 65 33 5f  TIC);.  sqlite3_
25b0: 73 74 65 70 28 70 53 74 6d 74 29 3b 0a 0a 20 20  step(pStmt);..  
25c0: 72 65 74 75 72 6e 20 73 71 6c 69 74 65 33 5f 66  return sqlite3_f
25d0: 69 6e 61 6c 69 7a 65 28 70 53 74 6d 74 29 3b 0a  inalize(pStmt);.
25e0: 7d 0a 0a 73 74 61 74 69 63 0a 69 6e 74 20 71 75  }..static.int qu
25f0: 65 72 79 54 6f 6b 65 6e 69 7a 65 72 28 0a 20 20  eryTokenizer(.  
2600: 73 71 6c 69 74 65 33 20 2a 64 62 2c 20 0a 20 20  sqlite3 *db, .  
2610: 63 68 61 72 20 2a 7a 4e 61 6d 65 2c 20 20 0a 20  char *zName,  . 
2620: 20 63 6f 6e 73 74 20 73 71 6c 69 74 65 33 5f 74   const sqlite3_t
2630: 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65 20  okenizer_module 
2640: 2a 2a 70 70 0a 29 7b 0a 20 20 69 6e 74 20 72 63  **pp.){.  int rc
2650: 3b 0a 20 20 73 71 6c 69 74 65 33 5f 73 74 6d 74  ;.  sqlite3_stmt
2660: 20 2a 70 53 74 6d 74 3b 0a 20 20 63 6f 6e 73 74   *pStmt;.  const
2670: 20 63 68 61 72 20 7a 53 71 6c 5b 5d 20 3d 20 22   char zSql[] = "
2680: 53 45 4c 45 43 54 20 66 74 73 33 5f 74 6f 6b 65  SELECT fts3_toke
2690: 6e 69 7a 65 72 28 3f 29 22 3b 0a 0a 20 20 2a 70  nizer(?)";..  *p
26a0: 70 20 3d 20 30 3b 0a 20 20 72 63 20 3d 20 73 71  p = 0;.  rc = sq
26b0: 6c 69 74 65 33 5f 70 72 65 70 61 72 65 5f 76 32  lite3_prepare_v2
26c0: 28 64 62 2c 20 7a 53 71 6c 2c 20 2d 31 2c 20 26  (db, zSql, -1, &
26d0: 70 53 74 6d 74 2c 20 30 29 3b 0a 20 20 69 66 28  pStmt, 0);.  if(
26e0: 20 72 63 21 3d 53 51 4c 49 54 45 5f 4f 4b 20 29   rc!=SQLITE_OK )
26f0: 7b 0a 20 20 20 20 72 65 74 75 72 6e 20 72 63 3b  {.    return rc;
2700: 0a 20 20 7d 0a 0a 20 20 73 71 6c 69 74 65 33 5f  .  }..  sqlite3_
2710: 62 69 6e 64 5f 74 65 78 74 28 70 53 74 6d 74 2c  bind_text(pStmt,
2720: 20 31 2c 20 7a 4e 61 6d 65 2c 20 2d 31 2c 20 53   1, zName, -1, S
2730: 51 4c 49 54 45 5f 53 54 41 54 49 43 29 3b 0a 20  QLITE_STATIC);. 
2740: 20 69 66 28 20 53 51 4c 49 54 45 5f 52 4f 57 3d   if( SQLITE_ROW=
2750: 3d 73 71 6c 69 74 65 33 5f 73 74 65 70 28 70 53  =sqlite3_step(pS
2760: 74 6d 74 29 20 29 7b 0a 20 20 20 20 69 66 28 20  tmt) ){.    if( 
2770: 73 71 6c 69 74 65 33 5f 63 6f 6c 75 6d 6e 5f 74  sqlite3_column_t
2780: 79 70 65 28 70 53 74 6d 74 2c 20 30 29 3d 3d 53  ype(pStmt, 0)==S
2790: 51 4c 49 54 45 5f 42 4c 4f 42 20 29 7b 0a 20 20  QLITE_BLOB ){.  
27a0: 20 20 20 20 6d 65 6d 63 70 79 28 28 76 6f 69 64      memcpy((void
27b0: 20 2a 29 70 70 2c 20 73 71 6c 69 74 65 33 5f 63   *)pp, sqlite3_c
27c0: 6f 6c 75 6d 6e 5f 62 6c 6f 62 28 70 53 74 6d 74  olumn_blob(pStmt
27d0: 2c 20 30 29 2c 20 73 69 7a 65 6f 66 28 2a 70 70  , 0), sizeof(*pp
27e0: 29 29 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a 20  ));.    }.  }.. 
27f0: 20 72 65 74 75 72 6e 20 73 71 6c 69 74 65 33 5f   return sqlite3_
2800: 66 69 6e 61 6c 69 7a 65 28 70 53 74 6d 74 29 3b  finalize(pStmt);
2810: 0a 7d 0a 0a 76 6f 69 64 20 73 71 6c 69 74 65 33  .}..void sqlite3
2820: 46 74 73 33 53 69 6d 70 6c 65 54 6f 6b 65 6e 69  Fts3SimpleTokeni
2830: 7a 65 72 4d 6f 64 75 6c 65 28 73 71 6c 69 74 65  zerModule(sqlite
2840: 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75  3_tokenizer_modu
2850: 6c 65 20 63 6f 6e 73 74 2a 2a 70 70 4d 6f 64 75  le const**ppModu
2860: 6c 65 29 3b 0a 0a 2f 2a 0a 2a 2a 20 49 6d 70 6c  le);../*.** Impl
2870: 65 6d 65 6e 74 61 74 69 6f 6e 20 6f 66 20 74 68  ementation of th
2880: 65 20 73 63 61 6c 61 72 20 66 75 6e 63 74 69 6f  e scalar functio
2890: 6e 20 66 74 73 33 5f 74 6f 6b 65 6e 69 7a 65 72  n fts3_tokenizer
28a0: 5f 69 6e 74 65 72 6e 61 6c 5f 74 65 73 74 28 29  _internal_test()
28b0: 2e 0a 2a 2a 20 54 68 69 73 20 66 75 6e 63 74 69  ..** This functi
28c0: 6f 6e 20 69 73 20 75 73 65 64 20 66 6f 72 20 74  on is used for t
28d0: 65 73 74 69 6e 67 20 6f 6e 6c 79 2c 20 69 74 20  esting only, it 
28e0: 69 73 20 6e 6f 74 20 69 6e 63 6c 75 64 65 64 20  is not included 
28f0: 69 6e 20 74 68 65 0a 2a 2a 20 62 75 69 6c 64 20  in the.** build 
2900: 75 6e 6c 65 73 73 20 53 51 4c 49 54 45 5f 54 45  unless SQLITE_TE
2910: 53 54 20 69 73 20 64 65 66 69 6e 65 64 2e 0a 2a  ST is defined..*
2920: 2a 0a 2a 2a 20 54 68 65 20 70 75 72 70 6f 73 65  *.** The purpose
2930: 20 6f 66 20 74 68 69 73 20 69 73 20 74 6f 20 74   of this is to t
2940: 65 73 74 20 74 68 61 74 20 74 68 65 20 66 74 73  est that the fts
2950: 33 5f 74 6f 6b 65 6e 69 7a 65 72 28 29 20 66 75  3_tokenizer() fu
2960: 6e 63 74 69 6f 6e 0a 2a 2a 20 63 61 6e 20 62 65  nction.** can be
2970: 20 75 73 65 64 20 61 73 20 64 65 73 69 67 6e 65   used as designe
2980: 64 20 62 79 20 74 68 65 20 43 2d 63 6f 64 65 20  d by the C-code 
2990: 69 6e 20 74 68 65 20 71 75 65 72 79 54 6f 6b 65  in the queryToke
29a0: 6e 69 7a 65 72 20 61 6e 64 0a 2a 2a 20 72 65 67  nizer and.** reg
29b0: 69 73 74 65 72 54 6f 6b 65 6e 69 7a 65 72 28 29  isterTokenizer()
29c0: 20 66 75 6e 63 74 69 6f 6e 73 20 61 62 6f 76 65   functions above
29d0: 2e 20 54 68 65 73 65 20 74 77 6f 20 66 75 6e 63  . These two func
29e0: 74 69 6f 6e 73 20 61 72 65 20 72 65 70 65 61 74  tions are repeat
29f0: 65 64 0a 2a 2a 20 69 6e 20 74 68 65 20 52 45 41  ed.** in the REA
2a00: 44 4d 45 2e 74 6f 6b 65 6e 69 7a 65 72 20 66 69  DME.tokenizer fi
2a10: 6c 65 20 61 73 20 61 6e 20 65 78 61 6d 70 6c 65  le as an example
2a20: 2c 20 73 6f 20 69 74 20 69 73 20 69 6d 70 6f 72  , so it is impor
2a30: 74 61 6e 74 20 74 6f 0a 2a 2a 20 74 65 73 74 20  tant to.** test 
2a40: 74 68 65 6d 2e 0a 2a 2a 0a 2a 2a 20 54 6f 20 72  them..**.** To r
2a50: 75 6e 20 74 68 65 20 74 65 73 74 73 2c 20 65 76  un the tests, ev
2a60: 61 6c 75 61 74 65 20 74 68 65 20 66 74 73 33 5f  aluate the fts3_
2a70: 74 6f 6b 65 6e 69 7a 65 72 5f 69 6e 74 65 72 6e  tokenizer_intern
2a80: 61 6c 5f 74 65 73 74 28 29 20 73 63 61 6c 61 72  al_test() scalar
2a90: 0a 2a 2a 20 66 75 6e 63 74 69 6f 6e 20 77 69 74  .** function wit
2aa0: 68 20 6e 6f 20 61 72 67 75 6d 65 6e 74 73 2e 20  h no arguments. 
2ab0: 41 6e 20 61 73 73 65 72 74 28 29 20 77 69 6c 6c  An assert() will
2ac0: 20 66 61 69 6c 20 69 66 20 61 20 70 72 6f 62 6c   fail if a probl
2ad0: 65 6d 20 69 73 0a 2a 2a 20 64 65 74 65 63 74 65  em is.** detecte
2ae0: 64 2e 20 69 2e 65 2e 3a 0a 2a 2a 0a 2a 2a 20 20  d. i.e.:.**.**  
2af0: 20 20 20 53 45 4c 45 43 54 20 66 74 73 33 5f 74     SELECT fts3_t
2b00: 6f 6b 65 6e 69 7a 65 72 5f 69 6e 74 65 72 6e 61  okenizer_interna
2b10: 6c 5f 74 65 73 74 28 29 3b 0a 2a 2a 0a 2a 2f 0a  l_test();.**.*/.
2b20: 73 74 61 74 69 63 20 76 6f 69 64 20 69 6e 74 54  static void intT
2b30: 65 73 74 46 75 6e 63 28 0a 20 20 73 71 6c 69 74  estFunc(.  sqlit
2b40: 65 33 5f 63 6f 6e 74 65 78 74 20 2a 63 6f 6e 74  e3_context *cont
2b50: 65 78 74 2c 0a 20 20 69 6e 74 20 61 72 67 63 2c  ext,.  int argc,
2b60: 0a 20 20 73 71 6c 69 74 65 33 5f 76 61 6c 75 65  .  sqlite3_value
2b70: 20 2a 2a 61 72 67 76 0a 29 7b 0a 20 20 69 6e 74   **argv.){.  int
2b80: 20 72 63 3b 0a 20 20 63 6f 6e 73 74 20 73 71 6c   rc;.  const sql
2b90: 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d  ite3_tokenizer_m
2ba0: 6f 64 75 6c 65 20 2a 70 31 3b 0a 20 20 63 6f 6e  odule *p1;.  con
2bb0: 73 74 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e  st sqlite3_token
2bc0: 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 2a 70 32 3b  izer_module *p2;
2bd0: 0a 20 20 73 71 6c 69 74 65 33 20 2a 64 62 20 3d  .  sqlite3 *db =
2be0: 20 28 73 71 6c 69 74 65 33 20 2a 29 73 71 6c 69   (sqlite3 *)sqli
2bf0: 74 65 33 5f 75 73 65 72 5f 64 61 74 61 28 63 6f  te3_user_data(co
2c00: 6e 74 65 78 74 29 3b 0a 0a 20 20 55 4e 55 53 45  ntext);..  UNUSE
2c10: 44 5f 50 41 52 41 4d 45 54 45 52 28 61 72 67 63  D_PARAMETER(argc
2c20: 29 3b 0a 20 20 55 4e 55 53 45 44 5f 50 41 52 41  );.  UNUSED_PARA
2c30: 4d 45 54 45 52 28 61 72 67 76 29 3b 0a 0a 20 20  METER(argv);..  
2c40: 2f 2a 20 54 65 73 74 20 74 68 65 20 71 75 65 72  /* Test the quer
2c50: 79 20 66 75 6e 63 74 69 6f 6e 20 2a 2f 0a 20 20  y function */.  
2c60: 73 71 6c 69 74 65 33 46 74 73 33 53 69 6d 70 6c  sqlite3Fts3Simpl
2c70: 65 54 6f 6b 65 6e 69 7a 65 72 4d 6f 64 75 6c 65  eTokenizerModule
2c80: 28 26 70 31 29 3b 0a 20 20 72 63 20 3d 20 71 75  (&p1);.  rc = qu
2c90: 65 72 79 54 6f 6b 65 6e 69 7a 65 72 28 64 62 2c  eryTokenizer(db,
2ca0: 20 22 73 69 6d 70 6c 65 22 2c 20 26 70 32 29 3b   "simple", &p2);
2cb0: 0a 20 20 61 73 73 65 72 74 28 20 72 63 3d 3d 53  .  assert( rc==S
2cc0: 51 4c 49 54 45 5f 4f 4b 20 29 3b 0a 20 20 61 73  QLITE_OK );.  as
2cd0: 73 65 72 74 28 20 70 31 3d 3d 70 32 20 29 3b 0a  sert( p1==p2 );.
2ce0: 20 20 72 63 20 3d 20 71 75 65 72 79 54 6f 6b 65    rc = queryToke
2cf0: 6e 69 7a 65 72 28 64 62 2c 20 22 6e 6f 73 75 63  nizer(db, "nosuc
2d00: 68 74 6f 6b 65 6e 69 7a 65 72 22 2c 20 26 70 32  htokenizer", &p2
2d10: 29 3b 0a 20 20 61 73 73 65 72 74 28 20 72 63 3d  );.  assert( rc=
2d20: 3d 53 51 4c 49 54 45 5f 45 52 52 4f 52 20 29 3b  =SQLITE_ERROR );
2d30: 0a 20 20 61 73 73 65 72 74 28 20 70 32 3d 3d 30  .  assert( p2==0
2d40: 20 29 3b 0a 20 20 61 73 73 65 72 74 28 20 30 3d   );.  assert( 0=
2d50: 3d 73 74 72 63 6d 70 28 73 71 6c 69 74 65 33 5f  =strcmp(sqlite3_
2d60: 65 72 72 6d 73 67 28 64 62 29 2c 20 22 75 6e 6b  errmsg(db), "unk
2d70: 6e 6f 77 6e 20 74 6f 6b 65 6e 69 7a 65 72 3a 20  nown tokenizer: 
2d80: 6e 6f 73 75 63 68 74 6f 6b 65 6e 69 7a 65 72 22  nosuchtokenizer"
2d90: 29 20 29 3b 0a 0a 20 20 2f 2a 20 54 65 73 74 20  ) );..  /* Test 
2da0: 74 68 65 20 73 74 6f 72 61 67 65 20 66 75 6e 63  the storage func
2db0: 74 69 6f 6e 20 2a 2f 0a 20 20 72 63 20 3d 20 72  tion */.  rc = r
2dc0: 65 67 69 73 74 65 72 54 6f 6b 65 6e 69 7a 65 72  egisterTokenizer
2dd0: 28 64 62 2c 20 22 6e 6f 73 75 63 68 74 6f 6b 65  (db, "nosuchtoke
2de0: 6e 69 7a 65 72 22 2c 20 70 31 29 3b 0a 20 20 61  nizer", p1);.  a
2df0: 73 73 65 72 74 28 20 72 63 3d 3d 53 51 4c 49 54  ssert( rc==SQLIT
2e00: 45 5f 4f 4b 20 29 3b 0a 20 20 72 63 20 3d 20 71  E_OK );.  rc = q
2e10: 75 65 72 79 54 6f 6b 65 6e 69 7a 65 72 28 64 62  ueryTokenizer(db
2e20: 2c 20 22 6e 6f 73 75 63 68 74 6f 6b 65 6e 69 7a  , "nosuchtokeniz
2e30: 65 72 22 2c 20 26 70 32 29 3b 0a 20 20 61 73 73  er", &p2);.  ass
2e40: 65 72 74 28 20 72 63 3d 3d 53 51 4c 49 54 45 5f  ert( rc==SQLITE_
2e50: 4f 4b 20 29 3b 0a 20 20 61 73 73 65 72 74 28 20  OK );.  assert( 
2e60: 70 32 3d 3d 70 31 20 29 3b 0a 0a 20 20 73 71 6c  p2==p1 );..  sql
2e70: 69 74 65 33 5f 72 65 73 75 6c 74 5f 74 65 78 74  ite3_result_text
2e80: 28 63 6f 6e 74 65 78 74 2c 20 22 6f 6b 22 2c 20  (context, "ok", 
2e90: 2d 31 2c 20 53 51 4c 49 54 45 5f 53 54 41 54 49  -1, SQLITE_STATI
2ea0: 43 29 3b 0a 7d 0a 0a 23 65 6e 64 69 66 0a 0a 2f  C);.}..#endif../
2eb0: 2a 0a 2a 2a 20 53 65 74 20 75 70 20 53 51 4c 20  *.** Set up SQL 
2ec0: 6f 62 6a 65 63 74 73 20 69 6e 20 64 61 74 61 62  objects in datab
2ed0: 61 73 65 20 64 62 20 75 73 65 64 20 74 6f 20 61  ase db used to a
2ee0: 63 63 65 73 73 20 74 68 65 20 63 6f 6e 74 65 6e  ccess the conten
2ef0: 74 73 20 6f 66 0a 2a 2a 20 74 68 65 20 68 61 73  ts of.** the has
2f00: 68 20 74 61 62 6c 65 20 70 6f 69 6e 74 65 64 20  h table pointed 
2f10: 74 6f 20 62 79 20 61 72 67 75 6d 65 6e 74 20 70  to by argument p
2f20: 48 61 73 68 2e 20 54 68 65 20 68 61 73 68 20 74  Hash. The hash t
2f30: 61 62 6c 65 20 6d 75 73 74 0a 2a 2a 20 62 65 65  able must.** bee
2f40: 6e 20 69 6e 69 74 69 61 6c 69 7a 65 64 20 74 6f  n initialized to
2f50: 20 75 73 65 20 73 74 72 69 6e 67 20 6b 65 79 73   use string keys
2f60: 2c 20 61 6e 64 20 74 6f 20 74 61 6b 65 20 61 20  , and to take a 
2f70: 70 72 69 76 61 74 65 20 63 6f 70 79 20 0a 2a 2a  private copy .**
2f80: 20 6f 66 20 74 68 65 20 6b 65 79 20 77 68 65 6e   of the key when
2f90: 20 61 20 76 61 6c 75 65 20 69 73 20 69 6e 73 65   a value is inse
2fa0: 72 74 65 64 2e 20 69 2e 65 2e 20 62 79 20 61 20  rted. i.e. by a 
2fb0: 63 61 6c 6c 20 73 69 6d 69 6c 61 72 20 74 6f 3a  call similar to:
2fc0: 0a 2a 2a 0a 2a 2a 20 20 20 20 73 71 6c 69 74 65  .**.**    sqlite
2fd0: 33 46 74 73 33 48 61 73 68 49 6e 69 74 28 70 48  3Fts3HashInit(pH
2fe0: 61 73 68 2c 20 46 54 53 33 5f 48 41 53 48 5f 53  ash, FTS3_HASH_S
2ff0: 54 52 49 4e 47 2c 20 31 29 3b 0a 2a 2a 0a 2a 2a  TRING, 1);.**.**
3000: 20 54 68 69 73 20 66 75 6e 63 74 69 6f 6e 20 61   This function a
3010: 64 64 73 20 61 20 73 63 61 6c 61 72 20 66 75 6e  dds a scalar fun
3020: 63 74 69 6f 6e 20 28 73 65 65 20 68 65 61 64 65  ction (see heade
3030: 72 20 63 6f 6d 6d 65 6e 74 20 61 62 6f 76 65 0a  r comment above.
3040: 2a 2a 20 73 63 61 6c 61 72 46 75 6e 63 28 29 20  ** scalarFunc() 
3050: 69 6e 20 74 68 69 73 20 66 69 6c 65 20 66 6f 72  in this file for
3060: 20 64 65 74 61 69 6c 73 29 20 61 6e 64 2c 20 69   details) and, i
3070: 66 20 45 4e 41 42 4c 45 5f 54 41 42 4c 45 20 69  f ENABLE_TABLE i
3080: 73 0a 2a 2a 20 64 65 66 69 6e 65 64 20 61 74 20  s.** defined at 
3090: 63 6f 6d 70 69 6c 61 74 69 6f 6e 20 74 69 6d 65  compilation time
30a0: 2c 20 61 20 74 65 6d 70 6f 72 61 72 79 20 76 69  , a temporary vi
30b0: 72 74 75 61 6c 20 74 61 62 6c 65 20 28 73 65 65  rtual table (see
30c0: 20 68 65 61 64 65 72 20 0a 2a 2a 20 63 6f 6d 6d   header .** comm
30d0: 65 6e 74 20 61 62 6f 76 65 20 73 74 72 75 63 74  ent above struct
30e0: 20 48 61 73 68 54 61 62 6c 65 56 74 61 62 29 20   HashTableVtab) 
30f0: 74 6f 20 74 68 65 20 64 61 74 61 62 61 73 65 20  to the database 
3100: 73 63 68 65 6d 61 2e 20 42 6f 74 68 20 0a 2a 2a  schema. Both .**
3110: 20 70 72 6f 76 69 64 65 20 72 65 61 64 2f 77 72   provide read/wr
3120: 69 74 65 20 61 63 63 65 73 73 20 74 6f 20 74 68  ite access to th
3130: 65 20 63 6f 6e 74 65 6e 74 73 20 6f 66 20 2a 70  e contents of *p
3140: 48 61 73 68 2e 0a 2a 2a 0a 2a 2a 20 54 68 65 20  Hash..**.** The 
3150: 74 68 69 72 64 20 61 72 67 75 6d 65 6e 74 20 74  third argument t
3160: 6f 20 74 68 69 73 20 66 75 6e 63 74 69 6f 6e 2c  o this function,
3170: 20 7a 4e 61 6d 65 2c 20 69 73 20 75 73 65 64 20   zName, is used 
3180: 61 73 20 74 68 65 20 6e 61 6d 65 0a 2a 2a 20 6f  as the name.** o
3190: 66 20 62 6f 74 68 20 74 68 65 20 73 63 61 6c 61  f both the scala
31a0: 72 20 61 6e 64 2c 20 69 66 20 63 72 65 61 74 65  r and, if create
31b0: 64 2c 20 74 68 65 20 76 69 72 74 75 61 6c 20 74  d, the virtual t
31c0: 61 62 6c 65 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c  able..*/.int sql
31d0: 69 74 65 33 46 74 73 33 49 6e 69 74 48 61 73 68  ite3Fts3InitHash
31e0: 54 61 62 6c 65 28 0a 20 20 73 71 6c 69 74 65 33  Table(.  sqlite3
31f0: 20 2a 64 62 2c 20 0a 20 20 46 74 73 33 48 61 73   *db, .  Fts3Has
3200: 68 20 2a 70 48 61 73 68 2c 20 0a 20 20 63 6f 6e  h *pHash, .  con
3210: 73 74 20 63 68 61 72 20 2a 7a 4e 61 6d 65 0a 29  st char *zName.)
3220: 7b 0a 20 20 69 6e 74 20 72 63 20 3d 20 53 51 4c  {.  int rc = SQL
3230: 49 54 45 5f 4f 4b 3b 0a 20 20 76 6f 69 64 20 2a  ITE_OK;.  void *
3240: 70 20 3d 20 28 76 6f 69 64 20 2a 29 70 48 61 73  p = (void *)pHas
3250: 68 3b 0a 20 20 63 6f 6e 73 74 20 69 6e 74 20 61  h;.  const int a
3260: 6e 79 20 3d 20 53 51 4c 49 54 45 5f 41 4e 59 3b  ny = SQLITE_ANY;
3270: 0a 0a 23 69 66 64 65 66 20 53 51 4c 49 54 45 5f  ..#ifdef SQLITE_
3280: 54 45 53 54 0a 20 20 63 68 61 72 20 2a 7a 54 65  TEST.  char *zTe
3290: 73 74 20 3d 20 30 3b 0a 20 20 63 68 61 72 20 2a  st = 0;.  char *
32a0: 7a 54 65 73 74 32 20 3d 20 30 3b 0a 20 20 76 6f  zTest2 = 0;.  vo
32b0: 69 64 20 2a 70 64 62 20 3d 20 28 76 6f 69 64 20  id *pdb = (void 
32c0: 2a 29 64 62 3b 0a 20 20 7a 54 65 73 74 20 3d 20  *)db;.  zTest = 
32d0: 73 71 6c 69 74 65 33 5f 6d 70 72 69 6e 74 66 28  sqlite3_mprintf(
32e0: 22 25 73 5f 74 65 73 74 22 2c 20 7a 4e 61 6d 65  "%s_test", zName
32f0: 29 3b 0a 20 20 7a 54 65 73 74 32 20 3d 20 73 71  );.  zTest2 = sq
3300: 6c 69 74 65 33 5f 6d 70 72 69 6e 74 66 28 22 25  lite3_mprintf("%
3310: 73 5f 69 6e 74 65 72 6e 61 6c 5f 74 65 73 74 22  s_internal_test"
3320: 2c 20 7a 4e 61 6d 65 29 3b 0a 20 20 69 66 28 20  , zName);.  if( 
3330: 21 7a 54 65 73 74 20 7c 7c 20 21 7a 54 65 73 74  !zTest || !zTest
3340: 32 20 29 7b 0a 20 20 20 20 72 63 20 3d 20 53 51  2 ){.    rc = SQ
3350: 4c 49 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20 7d 0a  LITE_NOMEM;.  }.
3360: 23 65 6e 64 69 66 0a 0a 20 20 69 66 28 20 53 51  #endif..  if( SQ
3370: 4c 49 54 45 5f 4f 4b 3d 3d 72 63 20 29 7b 0a 20  LITE_OK==rc ){. 
3380: 20 20 20 72 63 20 3d 20 73 71 6c 69 74 65 33 5f     rc = sqlite3_
3390: 63 72 65 61 74 65 5f 66 75 6e 63 74 69 6f 6e 28  create_function(
33a0: 64 62 2c 20 7a 4e 61 6d 65 2c 20 31 2c 20 61 6e  db, zName, 1, an
33b0: 79 2c 20 70 2c 20 73 63 61 6c 61 72 46 75 6e 63  y, p, scalarFunc
33c0: 2c 20 30 2c 20 30 29 3b 0a 20 20 7d 0a 20 20 69  , 0, 0);.  }.  i
33d0: 66 28 20 53 51 4c 49 54 45 5f 4f 4b 3d 3d 72 63  f( SQLITE_OK==rc
33e0: 20 29 7b 0a 20 20 20 20 72 63 20 3d 20 73 71 6c   ){.    rc = sql
33f0: 69 74 65 33 5f 63 72 65 61 74 65 5f 66 75 6e 63  ite3_create_func
3400: 74 69 6f 6e 28 64 62 2c 20 7a 4e 61 6d 65 2c 20  tion(db, zName, 
3410: 32 2c 20 61 6e 79 2c 20 70 2c 20 73 63 61 6c 61  2, any, p, scala
3420: 72 46 75 6e 63 2c 20 30 2c 20 30 29 3b 0a 20 20  rFunc, 0, 0);.  
3430: 7d 0a 23 69 66 64 65 66 20 53 51 4c 49 54 45 5f  }.#ifdef SQLITE_
3440: 54 45 53 54 0a 20 20 69 66 28 20 53 51 4c 49 54  TEST.  if( SQLIT
3450: 45 5f 4f 4b 3d 3d 72 63 20 29 7b 0a 20 20 20 20  E_OK==rc ){.    
3460: 72 63 20 3d 20 73 71 6c 69 74 65 33 5f 63 72 65  rc = sqlite3_cre
3470: 61 74 65 5f 66 75 6e 63 74 69 6f 6e 28 64 62 2c  ate_function(db,
3480: 20 7a 54 65 73 74 2c 20 2d 31 2c 20 61 6e 79 2c   zTest, -1, any,
3490: 20 70 2c 20 74 65 73 74 46 75 6e 63 2c 20 30 2c   p, testFunc, 0,
34a0: 20 30 29 3b 0a 20 20 7d 0a 20 20 69 66 28 20 53   0);.  }.  if( S
34b0: 51 4c 49 54 45 5f 4f 4b 3d 3d 72 63 20 29 7b 0a  QLITE_OK==rc ){.
34c0: 20 20 20 20 72 63 20 3d 20 73 71 6c 69 74 65 33      rc = sqlite3
34d0: 5f 63 72 65 61 74 65 5f 66 75 6e 63 74 69 6f 6e  _create_function
34e0: 28 64 62 2c 20 7a 54 65 73 74 32 2c 20 30 2c 20  (db, zTest2, 0, 
34f0: 61 6e 79 2c 20 70 64 62 2c 20 69 6e 74 54 65 73  any, pdb, intTes
3500: 74 46 75 6e 63 2c 20 30 2c 20 30 29 3b 0a 20 20  tFunc, 0, 0);.  
3510: 7d 0a 23 65 6e 64 69 66 0a 0a 23 69 66 64 65 66  }.#endif..#ifdef
3520: 20 53 51 4c 49 54 45 5f 54 45 53 54 0a 20 20 73   SQLITE_TEST.  s
3530: 71 6c 69 74 65 33 5f 66 72 65 65 28 7a 54 65 73  qlite3_free(zTes
3540: 74 29 3b 0a 20 20 73 71 6c 69 74 65 33 5f 66 72  t);.  sqlite3_fr
3550: 65 65 28 7a 54 65 73 74 32 29 3b 0a 23 65 6e 64  ee(zTest2);.#end
3560: 69 66 0a 0a 20 20 72 65 74 75 72 6e 20 72 63 3b  if..  return rc;
3570: 0a 7d 0a 0a 23 65 6e 64 69 66 20 2f 2a 20 21 64  .}..#endif /* !d
3580: 65 66 69 6e 65 64 28 53 51 4c 49 54 45 5f 43 4f  efined(SQLITE_CO
3590: 52 45 29 20 7c 7c 20 64 65 66 69 6e 65 64 28 53  RE) || defined(S
35a0: 51 4c 49 54 45 5f 45 4e 41 42 4c 45 5f 46 54 53  QLITE_ENABLE_FTS
35b0: 33 29 20 2a 2f 0a                                3) */.