/ Hex Artifact Content
Login

Artifact a27593ab19657166f6fa5ec073b678cc29a75860:


0000: 2f 2a 0a 2a 2a 20 32 30 31 33 20 41 70 72 20 32  /*.** 2013 Apr 2
0010: 32 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74 68  2.**.** The auth
0020: 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f 70  or disclaims cop
0030: 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20 73  yright to this s
0040: 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e 20  ource code.  In 
0050: 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c 65  place of.** a le
0060: 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72 65  gal notice, here
0070: 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a 0a   is a blessing:.
0080: 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f 75  **.**    May you
0090: 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f 74   do good and not
00a0: 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61 79   evil..**    May
00b0: 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69 76   you find forgiv
00c0: 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73 65  eness for yourse
00d0: 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20 6f  lf and forgive o
00e0: 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61 79  thers..**    May
00f0: 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65 6c   you share freel
0100: 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67 20  y, never taking 
0110: 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67 69  more than you gi
0120: 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ve..**.*********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 2a 2a 2a 0a 2a 2a 0a 2a 2a 20 54 68 69 73  *****.**.** This
0180: 20 66 69 6c 65 20 63 6f 6e 74 61 69 6e 73 20 63   file contains c
0190: 6f 64 65 20 66 6f 72 20 74 68 65 20 22 66 74 73  ode for the "fts
01a0: 33 74 6f 6b 65 6e 69 7a 65 22 20 76 69 72 74 75  3tokenize" virtu
01b0: 61 6c 20 74 61 62 6c 65 20 6d 6f 64 75 6c 65 2e  al table module.
01c0: 0a 2a 2a 20 41 6e 20 66 74 73 33 74 6f 6b 65 6e  .** An fts3token
01d0: 69 7a 65 20 76 69 72 74 75 61 6c 20 74 61 62 6c  ize virtual tabl
01e0: 65 20 69 73 20 63 72 65 61 74 65 64 20 61 73 20  e is created as 
01f0: 66 6f 6c 6c 6f 77 73 3a 0a 2a 2a 0a 2a 2a 20 20  follows:.**.**  
0200: 20 43 52 45 41 54 45 20 56 49 52 54 55 41 4c 20   CREATE VIRTUAL 
0210: 54 41 42 4c 45 20 3c 74 62 6c 3e 20 55 53 49 4e  TABLE <tbl> USIN
0220: 47 20 66 74 73 33 74 6f 6b 65 6e 69 7a 65 28 0a  G fts3tokenize(.
0230: 2a 2a 20 20 20 20 20 20 20 3c 74 6f 6b 65 6e 69  **       <tokeni
0240: 7a 65 72 2d 6e 61 6d 65 3e 2c 20 3c 61 72 67 2d  zer-name>, <arg-
0250: 31 3e 2c 20 2e 2e 2e 0a 2a 2a 20 20 20 29 3b 0a  1>, ....**   );.
0260: 2a 2a 0a 2a 2a 20 54 68 65 20 74 61 62 6c 65 20  **.** The table 
0270: 63 72 65 61 74 65 64 20 68 61 73 20 74 68 65 20  created has the 
0280: 66 6f 6c 6c 6f 77 69 6e 67 20 73 63 68 65 6d 61  following schema
0290: 3a 0a 2a 2a 0a 2a 2a 20 20 20 43 52 45 41 54 45  :.**.**   CREATE
02a0: 20 54 41 42 4c 45 20 3c 74 62 6c 3e 28 69 6e 70   TABLE <tbl>(inp
02b0: 75 74 2c 20 74 6f 6b 65 6e 2c 20 73 74 61 72 74  ut, token, start
02c0: 2c 20 65 6e 64 2c 20 70 6f 73 69 74 69 6f 6e 29  , end, position)
02d0: 0a 2a 2a 0a 2a 2a 20 57 68 65 6e 20 71 75 65 72  .**.** When quer
02e0: 69 65 64 2c 20 74 68 65 20 71 75 65 72 79 20 6d  ied, the query m
02f0: 75 73 74 20 69 6e 63 6c 75 64 65 20 61 20 57 48  ust include a WH
0300: 45 52 45 20 63 6c 61 75 73 65 20 6f 66 20 74 79  ERE clause of ty
0310: 70 65 3a 0a 2a 2a 0a 2a 2a 20 20 20 69 6e 70 75  pe:.**.**   inpu
0320: 74 20 3d 20 3c 73 74 72 69 6e 67 3e 0a 2a 2a 0a  t = <string>.**.
0330: 2a 2a 20 54 68 65 20 76 69 72 74 75 61 6c 20 74  ** The virtual t
0340: 61 62 6c 65 20 6d 6f 64 75 6c 65 20 74 6f 6b 65  able module toke
0350: 6e 69 7a 65 73 20 74 68 69 73 20 3c 73 74 72 69  nizes this <stri
0360: 6e 67 3e 2c 20 75 73 69 6e 67 20 74 68 65 20 46  ng>, using the F
0370: 54 53 33 20 0a 2a 2a 20 74 6f 6b 65 6e 69 7a 65  TS3 .** tokenize
0380: 72 20 73 70 65 63 69 66 69 65 64 20 62 79 20 74  r specified by t
0390: 68 65 20 61 72 67 75 6d 65 6e 74 73 20 74 6f 20  he arguments to 
03a0: 74 68 65 20 43 52 45 41 54 45 20 56 49 52 54 55  the CREATE VIRTU
03b0: 41 4c 20 54 41 42 4c 45 20 0a 2a 2a 20 73 74 61  AL TABLE .** sta
03c0: 74 65 6d 65 6e 74 20 61 6e 64 20 72 65 74 75 72  tement and retur
03d0: 6e 73 20 6f 6e 65 20 72 6f 77 20 66 6f 72 20 65  ns one row for e
03e0: 61 63 68 20 74 6f 6b 65 6e 20 69 6e 20 74 68 65  ach token in the
03f0: 20 72 65 73 75 6c 74 2e 20 57 69 74 68 0a 2a 2a   result. With.**
0400: 20 66 69 65 6c 64 73 20 73 65 74 20 61 73 20 66   fields set as f
0410: 6f 6c 6c 6f 77 73 3a 0a 2a 2a 0a 2a 2a 20 20 20  ollows:.**.**   
0420: 69 6e 70 75 74 3a 20 20 20 41 6c 77 61 79 73 20  input:   Always 
0430: 73 65 74 20 74 6f 20 61 20 63 6f 70 79 20 6f 66  set to a copy of
0440: 20 3c 73 74 72 69 6e 67 3e 0a 2a 2a 20 20 20 74   <string>.**   t
0450: 6f 6b 65 6e 3a 20 20 20 41 20 74 6f 6b 65 6e 20  oken:   A token 
0460: 66 72 6f 6d 20 74 68 65 20 69 6e 70 75 74 2e 0a  from the input..
0470: 2a 2a 20 20 20 73 74 61 72 74 3a 20 20 20 42 79  **   start:   By
0480: 74 65 20 6f 66 66 73 65 74 20 6f 66 20 74 68 65  te offset of the
0490: 20 74 6f 6b 65 6e 20 77 69 74 68 69 6e 20 74 68   token within th
04a0: 65 20 69 6e 70 75 74 20 3c 73 74 72 69 6e 67 3e  e input <string>
04b0: 2e 0a 2a 2a 20 20 20 65 6e 64 3a 20 20 20 20 20  ..**   end:     
04c0: 42 79 74 65 20 6f 66 66 73 65 74 20 6f 66 20 74  Byte offset of t
04d0: 68 65 20 62 79 74 65 20 69 6d 6d 65 64 69 61 74  he byte immediat
04e0: 65 6c 79 20 66 6f 6c 6c 6f 77 69 6e 67 20 74 68  ely following th
04f0: 65 20 65 6e 64 20 6f 66 20 74 68 65 0a 2a 2a 20  e end of the.** 
0500: 20 20 20 20 20 20 20 20 20 20 20 74 6f 6b 65 6e             token
0510: 20 77 69 74 68 69 6e 20 74 68 65 20 69 6e 70 75   within the inpu
0520: 74 20 73 74 72 69 6e 67 2e 0a 2a 2a 20 20 20 70  t string..**   p
0530: 6f 73 3a 20 20 20 20 20 54 6f 6b 65 6e 20 6f 66  os:     Token of
0540: 66 73 65 74 20 6f 66 20 74 6f 6b 65 6e 20 77 69  fset of token wi
0550: 74 68 69 6e 20 69 6e 70 75 74 2e 0a 2a 2a 0a 2a  thin input..**.*
0560: 2f 0a 23 69 6e 63 6c 75 64 65 20 22 66 74 73 33  /.#include "fts3
0570: 49 6e 74 2e 68 22 0a 23 69 66 20 21 64 65 66 69  Int.h".#if !defi
0580: 6e 65 64 28 53 51 4c 49 54 45 5f 43 4f 52 45 29  ned(SQLITE_CORE)
0590: 20 7c 7c 20 64 65 66 69 6e 65 64 28 53 51 4c 49   || defined(SQLI
05a0: 54 45 5f 45 4e 41 42 4c 45 5f 46 54 53 33 29 0a  TE_ENABLE_FTS3).
05b0: 0a 23 69 6e 63 6c 75 64 65 20 3c 73 74 72 69 6e  .#include <strin
05c0: 67 2e 68 3e 0a 23 69 6e 63 6c 75 64 65 20 3c 61  g.h>.#include <a
05d0: 73 73 65 72 74 2e 68 3e 0a 0a 74 79 70 65 64 65  ssert.h>..typede
05e0: 66 20 73 74 72 75 63 74 20 46 74 73 33 74 6f 6b  f struct Fts3tok
05f0: 54 61 62 6c 65 20 46 74 73 33 74 6f 6b 54 61 62  Table Fts3tokTab
0600: 6c 65 3b 0a 74 79 70 65 64 65 66 20 73 74 72 75  le;.typedef stru
0610: 63 74 20 46 74 73 33 74 6f 6b 43 75 72 73 6f 72  ct Fts3tokCursor
0620: 20 46 74 73 33 74 6f 6b 43 75 72 73 6f 72 3b 0a   Fts3tokCursor;.
0630: 0a 2f 2a 0a 2a 2a 20 56 69 72 74 75 61 6c 20 74  ./*.** Virtual t
0640: 61 62 6c 65 20 73 74 72 75 63 74 75 72 65 2e 0a  able structure..
0650: 2a 2f 0a 73 74 72 75 63 74 20 46 74 73 33 74 6f  */.struct Fts3to
0660: 6b 54 61 62 6c 65 20 7b 0a 20 20 73 71 6c 69 74  kTable {.  sqlit
0670: 65 33 5f 76 74 61 62 20 62 61 73 65 3b 20 20 20  e3_vtab base;   
0680: 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 42 61             /* Ba
0690: 73 65 20 63 6c 61 73 73 20 75 73 65 64 20 62 79  se class used by
06a0: 20 53 51 4c 69 74 65 20 63 6f 72 65 20 2a 2f 0a   SQLite core */.
06b0: 20 20 63 6f 6e 73 74 20 73 71 6c 69 74 65 33 5f    const sqlite3_
06c0: 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65  tokenizer_module
06d0: 20 2a 70 4d 6f 64 3b 0a 20 20 73 71 6c 69 74 65   *pMod;.  sqlite
06e0: 33 5f 74 6f 6b 65 6e 69 7a 65 72 20 2a 70 54 6f  3_tokenizer *pTo
06f0: 6b 3b 0a 7d 3b 0a 0a 2f 2a 0a 2a 2a 20 56 69 72  k;.};../*.** Vir
0700: 74 75 61 6c 20 74 61 62 6c 65 20 63 75 72 73 6f  tual table curso
0710: 72 20 73 74 72 75 63 74 75 72 65 2e 0a 2a 2f 0a  r structure..*/.
0720: 73 74 72 75 63 74 20 46 74 73 33 74 6f 6b 43 75  struct Fts3tokCu
0730: 72 73 6f 72 20 7b 0a 20 20 73 71 6c 69 74 65 33  rsor {.  sqlite3
0740: 5f 76 74 61 62 5f 63 75 72 73 6f 72 20 62 61 73  _vtab_cursor bas
0750: 65 3b 20 20 20 20 20 20 20 2f 2a 20 42 61 73 65  e;       /* Base
0760: 20 63 6c 61 73 73 20 75 73 65 64 20 62 79 20 53   class used by S
0770: 51 4c 69 74 65 20 63 6f 72 65 20 2a 2f 0a 20 20  QLite core */.  
0780: 63 68 61 72 20 2a 7a 49 6e 70 75 74 3b 20 20 20  char *zInput;   
0790: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
07a0: 2f 2a 20 49 6e 70 75 74 20 73 74 72 69 6e 67 20  /* Input string 
07b0: 2a 2f 0a 20 20 73 71 6c 69 74 65 33 5f 74 6f 6b  */.  sqlite3_tok
07c0: 65 6e 69 7a 65 72 5f 63 75 72 73 6f 72 20 2a 70  enizer_cursor *p
07d0: 43 73 72 3b 20 2f 2a 20 43 75 72 73 6f 72 20 74  Csr; /* Cursor t
07e0: 6f 20 69 74 65 72 61 74 65 20 74 68 72 6f 75 67  o iterate throug
07f0: 68 20 7a 49 6e 70 75 74 20 2a 2f 0a 20 20 69 6e  h zInput */.  in
0800: 74 20 69 52 6f 77 69 64 3b 20 20 20 20 20 20 20  t iRowid;       
0810: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a                /*
0820: 20 43 75 72 72 65 6e 74 20 27 72 6f 77 69 64 27   Current 'rowid'
0830: 20 76 61 6c 75 65 20 2a 2f 0a 20 20 63 6f 6e 73   value */.  cons
0840: 74 20 63 68 61 72 20 2a 7a 54 6f 6b 65 6e 3b 20  t char *zToken; 
0850: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 43              /* C
0860: 75 72 72 65 6e 74 20 27 74 6f 6b 65 6e 27 20 76  urrent 'token' v
0870: 61 6c 75 65 20 2a 2f 0a 20 20 69 6e 74 20 6e 54  alue */.  int nT
0880: 6f 6b 65 6e 3b 20 20 20 20 20 20 20 20 20 20 20  oken;           
0890: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 53 69 7a            /* Siz
08a0: 65 20 6f 66 20 7a 54 6f 6b 65 6e 20 69 6e 20 62  e of zToken in b
08b0: 79 74 65 73 20 2a 2f 0a 20 20 69 6e 74 20 69 53  ytes */.  int iS
08c0: 74 61 72 74 3b 20 20 20 20 20 20 20 20 20 20 20  tart;           
08d0: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 43 75 72            /* Cur
08e0: 72 65 6e 74 20 27 73 74 61 72 74 27 20 76 61 6c  rent 'start' val
08f0: 75 65 20 2a 2f 0a 20 20 69 6e 74 20 69 45 6e 64  ue */.  int iEnd
0900: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ;               
0910: 20 20 20 20 20 20 20 20 2f 2a 20 43 75 72 72 65          /* Curre
0920: 6e 74 20 27 65 6e 64 27 20 76 61 6c 75 65 20 2a  nt 'end' value *
0930: 2f 0a 20 20 69 6e 74 20 69 50 6f 73 3b 20 20 20  /.  int iPos;   
0940: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0950: 20 20 20 20 2f 2a 20 43 75 72 72 65 6e 74 20 27      /* Current '
0960: 70 6f 73 27 20 76 61 6c 75 65 20 2a 2f 0a 7d 3b  pos' value */.};
0970: 0a 0a 2f 2a 0a 2a 2a 20 51 75 65 72 79 20 46 54  ../*.** Query FT
0980: 53 20 66 6f 72 20 74 68 65 20 74 6f 6b 65 6e 69  S for the tokeni
0990: 7a 65 72 20 69 6d 70 6c 65 6d 65 6e 74 61 74 69  zer implementati
09a0: 6f 6e 20 6e 61 6d 65 64 20 7a 4e 61 6d 65 2e 0a  on named zName..
09b0: 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74 20 66 74  */.static int ft
09c0: 73 33 74 6f 6b 51 75 65 72 79 54 6f 6b 65 6e 69  s3tokQueryTokeni
09d0: 7a 65 72 28 0a 20 20 46 74 73 33 48 61 73 68 20  zer(.  Fts3Hash 
09e0: 2a 70 48 61 73 68 2c 0a 20 20 63 6f 6e 73 74 20  *pHash,.  const 
09f0: 63 68 61 72 20 2a 7a 4e 61 6d 65 2c 0a 20 20 63  char *zName,.  c
0a00: 6f 6e 73 74 20 73 71 6c 69 74 65 33 5f 74 6f 6b  onst sqlite3_tok
0a10: 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65 20 2a 2a  enizer_module **
0a20: 70 70 2c 0a 20 20 63 68 61 72 20 2a 2a 70 7a 45  pp,.  char **pzE
0a30: 72 72 0a 29 7b 0a 20 20 73 71 6c 69 74 65 33 5f  rr.){.  sqlite3_
0a40: 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64 75 6c 65  tokenizer_module
0a50: 20 2a 70 3b 0a 20 20 69 6e 74 20 6e 4e 61 6d 65   *p;.  int nName
0a60: 20 3d 20 28 69 6e 74 29 73 74 72 6c 65 6e 28 7a   = (int)strlen(z
0a70: 4e 61 6d 65 29 3b 0a 0a 20 20 70 20 3d 20 28 73  Name);..  p = (s
0a80: 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a 65 72  qlite3_tokenizer
0a90: 5f 6d 6f 64 75 6c 65 20 2a 29 73 71 6c 69 74 65  _module *)sqlite
0aa0: 33 46 74 73 33 48 61 73 68 46 69 6e 64 28 70 48  3Fts3HashFind(pH
0ab0: 61 73 68 2c 20 7a 4e 61 6d 65 2c 20 6e 4e 61 6d  ash, zName, nNam
0ac0: 65 2b 31 29 3b 0a 20 20 69 66 28 20 21 70 20 29  e+1);.  if( !p )
0ad0: 7b 0a 20 20 20 20 73 71 6c 69 74 65 33 46 74 73  {.    sqlite3Fts
0ae0: 33 45 72 72 4d 73 67 28 70 7a 45 72 72 2c 20 22  3ErrMsg(pzErr, "
0af0: 75 6e 6b 6e 6f 77 6e 20 74 6f 6b 65 6e 69 7a 65  unknown tokenize
0b00: 72 3a 20 25 73 22 2c 20 7a 4e 61 6d 65 29 3b 0a  r: %s", zName);.
0b10: 20 20 20 20 72 65 74 75 72 6e 20 53 51 4c 49 54      return SQLIT
0b20: 45 5f 45 52 52 4f 52 3b 0a 20 20 7d 0a 0a 20 20  E_ERROR;.  }..  
0b30: 2a 70 70 20 3d 20 70 3b 0a 20 20 72 65 74 75 72  *pp = p;.  retur
0b40: 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 7d 0a 0a  n SQLITE_OK;.}..
0b50: 2f 2a 0a 2a 2a 20 54 68 65 20 73 65 63 6f 6e 64  /*.** The second
0b60: 20 61 72 67 75 6d 65 6e 74 2c 20 61 72 67 76 5b   argument, argv[
0b70: 5d 2c 20 69 73 20 61 6e 20 61 72 72 61 79 20 6f  ], is an array o
0b80: 66 20 70 6f 69 6e 74 65 72 73 20 74 6f 20 6e 75  f pointers to nu
0b90: 6c 2d 74 65 72 6d 69 6e 61 74 65 64 0a 2a 2a 20  l-terminated.** 
0ba0: 73 74 72 69 6e 67 73 2e 20 54 68 69 73 20 66 75  strings. This fu
0bb0: 6e 63 74 69 6f 6e 20 6d 61 6b 65 73 20 61 20 63  nction makes a c
0bc0: 6f 70 79 20 6f 66 20 74 68 65 20 61 72 72 61 79  opy of the array
0bd0: 20 61 6e 64 20 73 74 72 69 6e 67 73 20 69 6e 74   and strings int
0be0: 6f 20 61 20 0a 2a 2a 20 73 69 6e 67 6c 65 20 62  o a .** single b
0bf0: 6c 6f 63 6b 20 6f 66 20 6d 65 6d 6f 72 79 2e 20  lock of memory. 
0c00: 49 74 20 74 68 65 6e 20 64 65 71 75 6f 74 65 73  It then dequotes
0c10: 20 61 6e 79 20 6f 66 20 74 68 65 20 73 74 72 69   any of the stri
0c20: 6e 67 73 20 74 68 61 74 20 61 70 70 65 61 72 0a  ngs that appear.
0c30: 2a 2a 20 74 6f 20 62 65 20 71 75 6f 74 65 64 2e  ** to be quoted.
0c40: 0a 2a 2a 0a 2a 2a 20 49 66 20 73 75 63 63 65 73  .**.** If succes
0c50: 73 66 75 6c 2c 20 6f 75 74 70 75 74 20 70 61 72  sful, output par
0c60: 61 6d 65 74 65 72 20 2a 70 61 7a 44 65 71 75 6f  ameter *pazDequo
0c70: 74 65 20 69 73 20 73 65 74 20 74 6f 20 70 6f 69  te is set to poi
0c80: 6e 74 20 61 74 20 74 68 65 0a 2a 2a 20 61 72 72  nt at the.** arr
0c90: 61 79 20 6f 66 20 64 65 71 75 6f 74 65 64 20 73  ay of dequoted s
0ca0: 74 72 69 6e 67 73 20 61 6e 64 20 53 51 4c 49 54  trings and SQLIT
0cb0: 45 5f 4f 4b 20 69 73 20 72 65 74 75 72 6e 65 64  E_OK is returned
0cc0: 2e 20 54 68 65 20 63 61 6c 6c 65 72 20 69 73 0a  . The caller is.
0cd0: 2a 2a 20 72 65 73 70 6f 6e 73 69 62 6c 65 20 66  ** responsible f
0ce0: 6f 72 20 65 76 65 6e 74 75 61 6c 6c 79 20 63 61  or eventually ca
0cf0: 6c 6c 69 6e 67 20 73 71 6c 69 74 65 33 5f 66 72  lling sqlite3_fr
0d00: 65 65 28 29 20 74 6f 20 66 72 65 65 20 74 68 65  ee() to free the
0d10: 20 61 72 72 61 79 0a 2a 2a 20 69 6e 20 74 68 69   array.** in thi
0d20: 73 20 63 61 73 65 2e 20 4f 72 2c 20 69 66 20 61  s case. Or, if a
0d30: 6e 20 65 72 72 6f 72 20 6f 63 63 75 72 73 2c 20  n error occurs, 
0d40: 61 6e 20 53 51 4c 69 74 65 20 65 72 72 6f 72 20  an SQLite error 
0d50: 63 6f 64 65 20 69 73 20 72 65 74 75 72 6e 65 64  code is returned
0d60: 2e 0a 2a 2a 20 54 68 65 20 66 69 6e 61 6c 20 76  ..** The final v
0d70: 61 6c 75 65 20 6f 66 20 2a 70 61 7a 44 65 71 75  alue of *pazDequ
0d80: 6f 74 65 20 69 73 20 75 6e 64 65 66 69 6e 65 64  ote is undefined
0d90: 20 69 6e 20 74 68 69 73 20 63 61 73 65 2e 0a 2a   in this case..*
0da0: 2f 0a 73 74 61 74 69 63 20 69 6e 74 20 66 74 73  /.static int fts
0db0: 33 74 6f 6b 44 65 71 75 6f 74 65 41 72 72 61 79  3tokDequoteArray
0dc0: 28 0a 20 20 69 6e 74 20 61 72 67 63 2c 20 20 20  (.  int argc,   
0dd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0de0: 20 20 20 20 2f 2a 20 4e 75 6d 62 65 72 20 6f 66      /* Number of
0df0: 20 65 6c 65 6d 65 6e 74 73 20 69 6e 20 61 72 67   elements in arg
0e00: 76 5b 5d 20 2a 2f 0a 20 20 63 6f 6e 73 74 20 63  v[] */.  const c
0e10: 68 61 72 20 2a 20 63 6f 6e 73 74 20 2a 61 72 67  har * const *arg
0e20: 76 2c 20 20 20 20 20 20 20 2f 2a 20 49 6e 70 75  v,       /* Inpu
0e30: 74 20 61 72 72 61 79 20 2a 2f 0a 20 20 63 68 61  t array */.  cha
0e40: 72 20 2a 2a 2a 70 61 7a 44 65 71 75 6f 74 65 20  r ***pazDequote 
0e50: 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20               /* 
0e60: 4f 75 74 70 75 74 20 61 72 72 61 79 20 2a 2f 0a  Output array */.
0e70: 29 7b 0a 20 20 69 6e 74 20 72 63 20 3d 20 53 51  ){.  int rc = SQ
0e80: 4c 49 54 45 5f 4f 4b 3b 20 20 20 20 20 20 20 20  LITE_OK;        
0e90: 20 20 20 20 20 2f 2a 20 52 65 74 75 72 6e 20 63       /* Return c
0ea0: 6f 64 65 20 2a 2f 0a 20 20 69 66 28 20 61 72 67  ode */.  if( arg
0eb0: 63 3d 3d 30 20 29 7b 0a 20 20 20 20 2a 70 61 7a  c==0 ){.    *paz
0ec0: 44 65 71 75 6f 74 65 20 3d 20 30 3b 0a 20 20 7d  Dequote = 0;.  }
0ed0: 65 6c 73 65 7b 0a 20 20 20 20 69 6e 74 20 69 3b  else{.    int i;
0ee0: 0a 20 20 20 20 69 6e 74 20 6e 42 79 74 65 20 3d  .    int nByte =
0ef0: 20 30 3b 0a 20 20 20 20 63 68 61 72 20 2a 2a 61   0;.    char **a
0f00: 7a 44 65 71 75 6f 74 65 3b 0a 0a 20 20 20 20 66  zDequote;..    f
0f10: 6f 72 28 69 3d 30 3b 20 69 3c 61 72 67 63 3b 20  or(i=0; i<argc; 
0f20: 69 2b 2b 29 7b 0a 20 20 20 20 20 20 6e 42 79 74  i++){.      nByt
0f30: 65 20 2b 3d 20 28 69 6e 74 29 28 73 74 72 6c 65  e += (int)(strle
0f40: 6e 28 61 72 67 76 5b 69 5d 29 20 2b 20 31 29 3b  n(argv[i]) + 1);
0f50: 0a 20 20 20 20 7d 0a 0a 20 20 20 20 2a 70 61 7a  .    }..    *paz
0f60: 44 65 71 75 6f 74 65 20 3d 20 61 7a 44 65 71 75  Dequote = azDequ
0f70: 6f 74 65 20 3d 20 73 71 6c 69 74 65 33 5f 6d 61  ote = sqlite3_ma
0f80: 6c 6c 6f 63 28 73 69 7a 65 6f 66 28 63 68 61 72  lloc(sizeof(char
0f90: 20 2a 29 2a 61 72 67 63 20 2b 20 6e 42 79 74 65   *)*argc + nByte
0fa0: 29 3b 0a 20 20 20 20 69 66 28 20 61 7a 44 65 71  );.    if( azDeq
0fb0: 75 6f 74 65 3d 3d 30 20 29 7b 0a 20 20 20 20 20  uote==0 ){.     
0fc0: 20 72 63 20 3d 20 53 51 4c 49 54 45 5f 4e 4f 4d   rc = SQLITE_NOM
0fd0: 45 4d 3b 0a 20 20 20 20 7d 65 6c 73 65 7b 0a 20  EM;.    }else{. 
0fe0: 20 20 20 20 20 63 68 61 72 20 2a 70 53 70 61 63       char *pSpac
0ff0: 65 20 3d 20 28 63 68 61 72 20 2a 29 26 61 7a 44  e = (char *)&azD
1000: 65 71 75 6f 74 65 5b 61 72 67 63 5d 3b 0a 20 20  equote[argc];.  
1010: 20 20 20 20 66 6f 72 28 69 3d 30 3b 20 69 3c 61      for(i=0; i<a
1020: 72 67 63 3b 20 69 2b 2b 29 7b 0a 20 20 20 20 20  rgc; i++){.     
1030: 20 20 20 69 6e 74 20 6e 20 3d 20 28 69 6e 74 29     int n = (int)
1040: 73 74 72 6c 65 6e 28 61 72 67 76 5b 69 5d 29 3b  strlen(argv[i]);
1050: 0a 20 20 20 20 20 20 20 20 61 7a 44 65 71 75 6f  .        azDequo
1060: 74 65 5b 69 5d 20 3d 20 70 53 70 61 63 65 3b 0a  te[i] = pSpace;.
1070: 20 20 20 20 20 20 20 20 6d 65 6d 63 70 79 28 70          memcpy(p
1080: 53 70 61 63 65 2c 20 61 72 67 76 5b 69 5d 2c 20  Space, argv[i], 
1090: 6e 2b 31 29 3b 0a 20 20 20 20 20 20 20 20 73 71  n+1);.        sq
10a0: 6c 69 74 65 33 46 74 73 33 44 65 71 75 6f 74 65  lite3Fts3Dequote
10b0: 28 70 53 70 61 63 65 29 3b 0a 20 20 20 20 20 20  (pSpace);.      
10c0: 20 20 70 53 70 61 63 65 20 2b 3d 20 28 6e 2b 31    pSpace += (n+1
10d0: 29 3b 0a 20 20 20 20 20 20 7d 0a 20 20 20 20 7d  );.      }.    }
10e0: 0a 20 20 7d 0a 0a 20 20 72 65 74 75 72 6e 20 72  .  }..  return r
10f0: 63 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 53 63 68 65  c;.}../*.** Sche
1100: 6d 61 20 6f 66 20 74 68 65 20 74 6f 6b 65 6e 69  ma of the tokeni
1110: 7a 65 72 20 74 61 62 6c 65 2e 0a 2a 2f 0a 23 64  zer table..*/.#d
1120: 65 66 69 6e 65 20 46 54 53 33 5f 54 4f 4b 5f 53  efine FTS3_TOK_S
1130: 43 48 45 4d 41 20 22 43 52 45 41 54 45 20 54 41  CHEMA "CREATE TA
1140: 42 4c 45 20 78 28 69 6e 70 75 74 2c 20 74 6f 6b  BLE x(input, tok
1150: 65 6e 2c 20 73 74 61 72 74 2c 20 65 6e 64 2c 20  en, start, end, 
1160: 70 6f 73 69 74 69 6f 6e 29 22 0a 0a 2f 2a 0a 2a  position)"../*.*
1170: 2a 20 54 68 69 73 20 66 75 6e 63 74 69 6f 6e 20  * This function 
1180: 64 6f 65 73 20 61 6c 6c 20 74 68 65 20 77 6f 72  does all the wor
1190: 6b 20 66 6f 72 20 62 6f 74 68 20 74 68 65 20 78  k for both the x
11a0: 43 6f 6e 6e 65 63 74 20 61 6e 64 20 78 43 72 65  Connect and xCre
11b0: 61 74 65 20 6d 65 74 68 6f 64 73 2e 0a 2a 2a 20  ate methods..** 
11c0: 54 68 65 73 65 20 74 61 62 6c 65 73 20 68 61 76  These tables hav
11d0: 65 20 6e 6f 20 70 65 72 73 69 73 74 65 6e 74 20  e no persistent 
11e0: 72 65 70 72 65 73 65 6e 74 61 74 69 6f 6e 20 6f  representation o
11f0: 66 20 74 68 65 69 72 20 6f 77 6e 2c 20 73 6f 20  f their own, so 
1200: 78 43 6f 6e 6e 65 63 74 0a 2a 2a 20 61 6e 64 20  xConnect.** and 
1210: 78 43 72 65 61 74 65 20 61 72 65 20 69 64 65 6e  xCreate are iden
1220: 74 69 63 61 6c 20 6f 70 65 72 61 74 69 6f 6e 73  tical operations
1230: 2e 0a 2a 2a 0a 2a 2a 20 20 20 61 72 67 76 5b 30  ..**.**   argv[0
1240: 5d 3a 20 6d 6f 64 75 6c 65 20 6e 61 6d 65 0a 2a  ]: module name.*
1250: 2a 20 20 20 61 72 67 76 5b 31 5d 3a 20 64 61 74  *   argv[1]: dat
1260: 61 62 61 73 65 20 6e 61 6d 65 20 0a 2a 2a 20 20  abase name .**  
1270: 20 61 72 67 76 5b 32 5d 3a 20 74 61 62 6c 65 20   argv[2]: table 
1280: 6e 61 6d 65 0a 2a 2a 20 20 20 61 72 67 76 5b 33  name.**   argv[3
1290: 5d 3a 20 66 69 72 73 74 20 61 72 67 75 6d 65 6e  ]: first argumen
12a0: 74 20 28 74 6f 6b 65 6e 69 7a 65 72 20 6e 61 6d  t (tokenizer nam
12b0: 65 29 0a 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74  e).*/.static int
12c0: 20 66 74 73 33 74 6f 6b 43 6f 6e 6e 65 63 74 4d   fts3tokConnectM
12d0: 65 74 68 6f 64 28 0a 20 20 73 71 6c 69 74 65 33  ethod(.  sqlite3
12e0: 20 2a 64 62 2c 20 20 20 20 20 20 20 20 20 20 20   *db,           
12f0: 20 20 20 20 20 20 20 20 20 2f 2a 20 44 61 74 61           /* Data
1300: 62 61 73 65 20 63 6f 6e 6e 65 63 74 69 6f 6e 20  base connection 
1310: 2a 2f 0a 20 20 76 6f 69 64 20 2a 70 48 61 73 68  */.  void *pHash
1320: 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ,               
1330: 20 20 20 20 20 2f 2a 20 48 61 73 68 20 74 61 62       /* Hash tab
1340: 6c 65 20 6f 66 20 74 6f 6b 65 6e 69 7a 65 72 73  le of tokenizers
1350: 20 2a 2f 0a 20 20 69 6e 74 20 61 72 67 63 2c 20   */.  int argc, 
1360: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1370: 20 20 20 20 20 20 2f 2a 20 4e 75 6d 62 65 72 20        /* Number 
1380: 6f 66 20 65 6c 65 6d 65 6e 74 73 20 69 6e 20 61  of elements in a
1390: 72 67 76 20 61 72 72 61 79 20 2a 2f 0a 20 20 63  rgv array */.  c
13a0: 6f 6e 73 74 20 63 68 61 72 20 2a 20 63 6f 6e 73  onst char * cons
13b0: 74 20 2a 61 72 67 76 2c 20 20 20 20 20 20 20 2f  t *argv,       /
13c0: 2a 20 78 43 72 65 61 74 65 2f 78 43 6f 6e 6e 65  * xCreate/xConne
13d0: 63 74 20 61 72 67 75 6d 65 6e 74 20 61 72 72 61  ct argument arra
13e0: 79 20 2a 2f 0a 20 20 73 71 6c 69 74 65 33 5f 76  y */.  sqlite3_v
13f0: 74 61 62 20 2a 2a 70 70 56 74 61 62 2c 20 20 20  tab **ppVtab,   
1400: 20 20 20 20 20 20 20 2f 2a 20 4f 55 54 3a 20 4e         /* OUT: N
1410: 65 77 20 73 71 6c 69 74 65 33 5f 76 74 61 62 20  ew sqlite3_vtab 
1420: 6f 62 6a 65 63 74 20 2a 2f 0a 20 20 63 68 61 72  object */.  char
1430: 20 2a 2a 70 7a 45 72 72 20 20 20 20 20 20 20 20   **pzErr        
1440: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 4f              /* O
1450: 55 54 3a 20 73 71 6c 69 74 65 33 5f 6d 61 6c 6c  UT: sqlite3_mall
1460: 6f 63 27 64 20 65 72 72 6f 72 20 6d 65 73 73 61  oc'd error messa
1470: 67 65 20 2a 2f 0a 29 7b 0a 20 20 46 74 73 33 74  ge */.){.  Fts3t
1480: 6f 6b 54 61 62 6c 65 20 2a 70 54 61 62 20 3d 20  okTable *pTab = 
1490: 30 3b 0a 20 20 63 6f 6e 73 74 20 73 71 6c 69 74  0;.  const sqlit
14a0: 65 33 5f 74 6f 6b 65 6e 69 7a 65 72 5f 6d 6f 64  e3_tokenizer_mod
14b0: 75 6c 65 20 2a 70 4d 6f 64 20 3d 20 30 3b 0a 20  ule *pMod = 0;. 
14c0: 20 73 71 6c 69 74 65 33 5f 74 6f 6b 65 6e 69 7a   sqlite3_tokeniz
14d0: 65 72 20 2a 70 54 6f 6b 20 3d 20 30 3b 0a 20 20  er *pTok = 0;.  
14e0: 69 6e 74 20 72 63 3b 0a 20 20 63 68 61 72 20 2a  int rc;.  char *
14f0: 2a 61 7a 44 65 71 75 6f 74 65 20 3d 20 30 3b 0a  *azDequote = 0;.
1500: 20 20 69 6e 74 20 6e 44 65 71 75 6f 74 65 3b 0a    int nDequote;.
1510: 0a 20 20 72 63 20 3d 20 73 71 6c 69 74 65 33 5f  .  rc = sqlite3_
1520: 64 65 63 6c 61 72 65 5f 76 74 61 62 28 64 62 2c  declare_vtab(db,
1530: 20 46 54 53 33 5f 54 4f 4b 5f 53 43 48 45 4d 41   FTS3_TOK_SCHEMA
1540: 29 3b 0a 20 20 69 66 28 20 72 63 21 3d 53 51 4c  );.  if( rc!=SQL
1550: 49 54 45 5f 4f 4b 20 29 20 72 65 74 75 72 6e 20  ITE_OK ) return 
1560: 72 63 3b 0a 0a 20 20 6e 44 65 71 75 6f 74 65 20  rc;..  nDequote 
1570: 3d 20 61 72 67 63 2d 33 3b 0a 20 20 72 63 20 3d  = argc-3;.  rc =
1580: 20 66 74 73 33 74 6f 6b 44 65 71 75 6f 74 65 41   fts3tokDequoteA
1590: 72 72 61 79 28 6e 44 65 71 75 6f 74 65 2c 20 26  rray(nDequote, &
15a0: 61 72 67 76 5b 33 5d 2c 20 26 61 7a 44 65 71 75  argv[3], &azDequ
15b0: 6f 74 65 29 3b 0a 0a 20 20 69 66 28 20 72 63 3d  ote);..  if( rc=
15c0: 3d 53 51 4c 49 54 45 5f 4f 4b 20 29 7b 0a 20 20  =SQLITE_OK ){.  
15d0: 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a 4d    const char *zM
15e0: 6f 64 75 6c 65 3b 0a 20 20 20 20 69 66 28 20 6e  odule;.    if( n
15f0: 44 65 71 75 6f 74 65 3c 31 20 29 7b 0a 20 20 20  Dequote<1 ){.   
1600: 20 20 20 7a 4d 6f 64 75 6c 65 20 3d 20 22 73 69     zModule = "si
1610: 6d 70 6c 65 22 3b 0a 20 20 20 20 7d 65 6c 73 65  mple";.    }else
1620: 7b 0a 20 20 20 20 20 20 7a 4d 6f 64 75 6c 65 20  {.      zModule 
1630: 3d 20 61 7a 44 65 71 75 6f 74 65 5b 30 5d 3b 0a  = azDequote[0];.
1640: 20 20 20 20 7d 0a 20 20 20 20 72 63 20 3d 20 66      }.    rc = f
1650: 74 73 33 74 6f 6b 51 75 65 72 79 54 6f 6b 65 6e  ts3tokQueryToken
1660: 69 7a 65 72 28 28 46 74 73 33 48 61 73 68 2a 29  izer((Fts3Hash*)
1670: 70 48 61 73 68 2c 20 7a 4d 6f 64 75 6c 65 2c 20  pHash, zModule, 
1680: 26 70 4d 6f 64 2c 20 70 7a 45 72 72 29 3b 0a 20  &pMod, pzErr);. 
1690: 20 7d 0a 0a 20 20 61 73 73 65 72 74 28 20 28 72   }..  assert( (r
16a0: 63 3d 3d 53 51 4c 49 54 45 5f 4f 4b 29 3d 3d 28  c==SQLITE_OK)==(
16b0: 70 4d 6f 64 21 3d 30 29 20 29 3b 0a 20 20 69 66  pMod!=0) );.  if
16c0: 28 20 72 63 3d 3d 53 51 4c 49 54 45 5f 4f 4b 20  ( rc==SQLITE_OK 
16d0: 29 7b 0a 20 20 20 20 63 6f 6e 73 74 20 63 68 61  ){.    const cha
16e0: 72 20 2a 20 63 6f 6e 73 74 20 2a 61 7a 41 72 67  r * const *azArg
16f0: 20 3d 20 28 63 6f 6e 73 74 20 63 68 61 72 20 2a   = (const char *
1700: 20 63 6f 6e 73 74 20 2a 29 26 61 7a 44 65 71 75   const *)&azDequ
1710: 6f 74 65 5b 31 5d 3b 0a 20 20 20 20 72 63 20 3d  ote[1];.    rc =
1720: 20 70 4d 6f 64 2d 3e 78 43 72 65 61 74 65 28 28   pMod->xCreate((
1730: 6e 44 65 71 75 6f 74 65 3e 31 20 3f 20 6e 44 65  nDequote>1 ? nDe
1740: 71 75 6f 74 65 2d 31 20 3a 20 30 29 2c 20 61 7a  quote-1 : 0), az
1750: 41 72 67 2c 20 26 70 54 6f 6b 29 3b 0a 20 20 7d  Arg, &pTok);.  }
1760: 0a 0a 20 20 69 66 28 20 72 63 3d 3d 53 51 4c 49  ..  if( rc==SQLI
1770: 54 45 5f 4f 4b 20 29 7b 0a 20 20 20 20 70 54 61  TE_OK ){.    pTa
1780: 62 20 3d 20 28 46 74 73 33 74 6f 6b 54 61 62 6c  b = (Fts3tokTabl
1790: 65 20 2a 29 73 71 6c 69 74 65 33 5f 6d 61 6c 6c  e *)sqlite3_mall
17a0: 6f 63 28 73 69 7a 65 6f 66 28 46 74 73 33 74 6f  oc(sizeof(Fts3to
17b0: 6b 54 61 62 6c 65 29 29 3b 0a 20 20 20 20 69 66  kTable));.    if
17c0: 28 20 70 54 61 62 3d 3d 30 20 29 7b 0a 20 20 20  ( pTab==0 ){.   
17d0: 20 20 20 72 63 20 3d 20 53 51 4c 49 54 45 5f 4e     rc = SQLITE_N
17e0: 4f 4d 45 4d 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a  OMEM;.    }.  }.
17f0: 0a 20 20 69 66 28 20 72 63 3d 3d 53 51 4c 49 54  .  if( rc==SQLIT
1800: 45 5f 4f 4b 20 29 7b 0a 20 20 20 20 6d 65 6d 73  E_OK ){.    mems
1810: 65 74 28 70 54 61 62 2c 20 30 2c 20 73 69 7a 65  et(pTab, 0, size
1820: 6f 66 28 46 74 73 33 74 6f 6b 54 61 62 6c 65 29  of(Fts3tokTable)
1830: 29 3b 0a 20 20 20 20 70 54 61 62 2d 3e 70 4d 6f  );.    pTab->pMo
1840: 64 20 3d 20 70 4d 6f 64 3b 0a 20 20 20 20 70 54  d = pMod;.    pT
1850: 61 62 2d 3e 70 54 6f 6b 20 3d 20 70 54 6f 6b 3b  ab->pTok = pTok;
1860: 0a 20 20 20 20 2a 70 70 56 74 61 62 20 3d 20 26  .    *ppVtab = &
1870: 70 54 61 62 2d 3e 62 61 73 65 3b 0a 20 20 7d 65  pTab->base;.  }e
1880: 6c 73 65 7b 0a 20 20 20 20 69 66 28 20 70 54 6f  lse{.    if( pTo
1890: 6b 20 29 7b 0a 20 20 20 20 20 20 70 4d 6f 64 2d  k ){.      pMod-
18a0: 3e 78 44 65 73 74 72 6f 79 28 70 54 6f 6b 29 3b  >xDestroy(pTok);
18b0: 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 73 71  .    }.  }..  sq
18c0: 6c 69 74 65 33 5f 66 72 65 65 28 61 7a 44 65 71  lite3_free(azDeq
18d0: 75 6f 74 65 29 3b 0a 20 20 72 65 74 75 72 6e 20  uote);.  return 
18e0: 72 63 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 54 68 69  rc;.}../*.** Thi
18f0: 73 20 66 75 6e 63 74 69 6f 6e 20 64 6f 65 73 20  s function does 
1900: 74 68 65 20 77 6f 72 6b 20 66 6f 72 20 62 6f 74  the work for bot
1910: 68 20 74 68 65 20 78 44 69 73 63 6f 6e 6e 65 63  h the xDisconnec
1920: 74 20 61 6e 64 20 78 44 65 73 74 72 6f 79 20 6d  t and xDestroy m
1930: 65 74 68 6f 64 73 2e 0a 2a 2a 20 54 68 65 73 65  ethods..** These
1940: 20 74 61 62 6c 65 73 20 68 61 76 65 20 6e 6f 20   tables have no 
1950: 70 65 72 73 69 73 74 65 6e 74 20 72 65 70 72 65  persistent repre
1960: 73 65 6e 74 61 74 69 6f 6e 20 6f 66 20 74 68 65  sentation of the
1970: 69 72 20 6f 77 6e 2c 20 73 6f 20 78 44 69 73 63  ir own, so xDisc
1980: 6f 6e 6e 65 63 74 0a 2a 2a 20 61 6e 64 20 78 44  onnect.** and xD
1990: 65 73 74 72 6f 79 20 61 72 65 20 69 64 65 6e 74  estroy are ident
19a0: 69 63 61 6c 20 6f 70 65 72 61 74 69 6f 6e 73 2e  ical operations.
19b0: 0a 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74 20 66  .*/.static int f
19c0: 74 73 33 74 6f 6b 44 69 73 63 6f 6e 6e 65 63 74  ts3tokDisconnect
19d0: 4d 65 74 68 6f 64 28 73 71 6c 69 74 65 33 5f 76  Method(sqlite3_v
19e0: 74 61 62 20 2a 70 56 74 61 62 29 7b 0a 20 20 46  tab *pVtab){.  F
19f0: 74 73 33 74 6f 6b 54 61 62 6c 65 20 2a 70 54 61  ts3tokTable *pTa
1a00: 62 20 3d 20 28 46 74 73 33 74 6f 6b 54 61 62 6c  b = (Fts3tokTabl
1a10: 65 20 2a 29 70 56 74 61 62 3b 0a 0a 20 20 70 54  e *)pVtab;..  pT
1a20: 61 62 2d 3e 70 4d 6f 64 2d 3e 78 44 65 73 74 72  ab->pMod->xDestr
1a30: 6f 79 28 70 54 61 62 2d 3e 70 54 6f 6b 29 3b 0a  oy(pTab->pTok);.
1a40: 20 20 73 71 6c 69 74 65 33 5f 66 72 65 65 28 70    sqlite3_free(p
1a50: 54 61 62 29 3b 0a 20 20 72 65 74 75 72 6e 20 53  Tab);.  return S
1a60: 51 4c 49 54 45 5f 4f 4b 3b 0a 7d 0a 0a 2f 2a 0a  QLITE_OK;.}../*.
1a70: 2a 2a 20 78 42 65 73 74 49 6e 64 65 78 20 2d 20  ** xBestIndex - 
1a80: 41 6e 61 6c 79 7a 65 20 61 20 57 48 45 52 45 20  Analyze a WHERE 
1a90: 61 6e 64 20 4f 52 44 45 52 20 42 59 20 63 6c 61  and ORDER BY cla
1aa0: 75 73 65 2e 0a 2a 2f 0a 73 74 61 74 69 63 20 69  use..*/.static i
1ab0: 6e 74 20 66 74 73 33 74 6f 6b 42 65 73 74 49 6e  nt fts3tokBestIn
1ac0: 64 65 78 4d 65 74 68 6f 64 28 0a 20 20 73 71 6c  dexMethod(.  sql
1ad0: 69 74 65 33 5f 76 74 61 62 20 2a 70 56 54 61 62  ite3_vtab *pVTab
1ae0: 2c 20 0a 20 20 73 71 6c 69 74 65 33 5f 69 6e 64  , .  sqlite3_ind
1af0: 65 78 5f 69 6e 66 6f 20 2a 70 49 6e 66 6f 0a 29  ex_info *pInfo.)
1b00: 7b 0a 20 20 69 6e 74 20 69 3b 0a 20 20 55 4e 55  {.  int i;.  UNU
1b10: 53 45 44 5f 50 41 52 41 4d 45 54 45 52 28 70 56  SED_PARAMETER(pV
1b20: 54 61 62 29 3b 0a 0a 20 20 66 6f 72 28 69 3d 30  Tab);..  for(i=0
1b30: 3b 20 69 3c 70 49 6e 66 6f 2d 3e 6e 43 6f 6e 73  ; i<pInfo->nCons
1b40: 74 72 61 69 6e 74 3b 20 69 2b 2b 29 7b 0a 20 20  traint; i++){.  
1b50: 20 20 69 66 28 20 70 49 6e 66 6f 2d 3e 61 43 6f    if( pInfo->aCo
1b60: 6e 73 74 72 61 69 6e 74 5b 69 5d 2e 75 73 61 62  nstraint[i].usab
1b70: 6c 65 20 0a 20 20 20 20 20 26 26 20 70 49 6e 66  le .     && pInf
1b80: 6f 2d 3e 61 43 6f 6e 73 74 72 61 69 6e 74 5b 69  o->aConstraint[i
1b90: 5d 2e 69 43 6f 6c 75 6d 6e 3d 3d 30 20 0a 20 20  ].iColumn==0 .  
1ba0: 20 20 20 26 26 20 70 49 6e 66 6f 2d 3e 61 43 6f     && pInfo->aCo
1bb0: 6e 73 74 72 61 69 6e 74 5b 69 5d 2e 6f 70 3d 3d  nstraint[i].op==
1bc0: 53 51 4c 49 54 45 5f 49 4e 44 45 58 5f 43 4f 4e  SQLITE_INDEX_CON
1bd0: 53 54 52 41 49 4e 54 5f 45 51 20 0a 20 20 20 20  STRAINT_EQ .    
1be0: 29 7b 0a 20 20 20 20 20 20 70 49 6e 66 6f 2d 3e  ){.      pInfo->
1bf0: 69 64 78 4e 75 6d 20 3d 20 31 3b 0a 20 20 20 20  idxNum = 1;.    
1c00: 20 20 70 49 6e 66 6f 2d 3e 61 43 6f 6e 73 74 72    pInfo->aConstr
1c10: 61 69 6e 74 55 73 61 67 65 5b 69 5d 2e 61 72 67  aintUsage[i].arg
1c20: 76 49 6e 64 65 78 20 3d 20 31 3b 0a 20 20 20 20  vIndex = 1;.    
1c30: 20 20 70 49 6e 66 6f 2d 3e 61 43 6f 6e 73 74 72    pInfo->aConstr
1c40: 61 69 6e 74 55 73 61 67 65 5b 69 5d 2e 6f 6d 69  aintUsage[i].omi
1c50: 74 20 3d 20 31 3b 0a 20 20 20 20 20 20 70 49 6e  t = 1;.      pIn
1c60: 66 6f 2d 3e 65 73 74 69 6d 61 74 65 64 43 6f 73  fo->estimatedCos
1c70: 74 20 3d 20 31 3b 0a 20 20 20 20 20 20 72 65 74  t = 1;.      ret
1c80: 75 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 20  urn SQLITE_OK;. 
1c90: 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 70 49 6e 66     }.  }..  pInf
1ca0: 6f 2d 3e 69 64 78 4e 75 6d 20 3d 20 30 3b 0a 20  o->idxNum = 0;. 
1cb0: 20 61 73 73 65 72 74 28 20 70 49 6e 66 6f 2d 3e   assert( pInfo->
1cc0: 65 73 74 69 6d 61 74 65 64 43 6f 73 74 3e 31 30  estimatedCost>10
1cd0: 30 30 30 30 30 2e 30 20 29 3b 0a 0a 20 20 72 65  00000.0 );..  re
1ce0: 74 75 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a  turn SQLITE_OK;.
1cf0: 7d 0a 0a 2f 2a 0a 2a 2a 20 78 4f 70 65 6e 20 2d  }../*.** xOpen -
1d00: 20 4f 70 65 6e 20 61 20 63 75 72 73 6f 72 2e 0a   Open a cursor..
1d10: 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74 20 66 74  */.static int ft
1d20: 73 33 74 6f 6b 4f 70 65 6e 4d 65 74 68 6f 64 28  s3tokOpenMethod(
1d30: 73 71 6c 69 74 65 33 5f 76 74 61 62 20 2a 70 56  sqlite3_vtab *pV
1d40: 54 61 62 2c 20 73 71 6c 69 74 65 33 5f 76 74 61  Tab, sqlite3_vta
1d50: 62 5f 63 75 72 73 6f 72 20 2a 2a 70 70 43 73 72  b_cursor **ppCsr
1d60: 29 7b 0a 20 20 46 74 73 33 74 6f 6b 43 75 72 73  ){.  Fts3tokCurs
1d70: 6f 72 20 2a 70 43 73 72 3b 0a 20 20 55 4e 55 53  or *pCsr;.  UNUS
1d80: 45 44 5f 50 41 52 41 4d 45 54 45 52 28 70 56 54  ED_PARAMETER(pVT
1d90: 61 62 29 3b 0a 0a 20 20 70 43 73 72 20 3d 20 28  ab);..  pCsr = (
1da0: 46 74 73 33 74 6f 6b 43 75 72 73 6f 72 20 2a 29  Fts3tokCursor *)
1db0: 73 71 6c 69 74 65 33 5f 6d 61 6c 6c 6f 63 28 73  sqlite3_malloc(s
1dc0: 69 7a 65 6f 66 28 46 74 73 33 74 6f 6b 43 75 72  izeof(Fts3tokCur
1dd0: 73 6f 72 29 29 3b 0a 20 20 69 66 28 20 70 43 73  sor));.  if( pCs
1de0: 72 3d 3d 30 20 29 7b 0a 20 20 20 20 72 65 74 75  r==0 ){.    retu
1df0: 72 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d 3b  rn SQLITE_NOMEM;
1e00: 0a 20 20 7d 0a 20 20 6d 65 6d 73 65 74 28 70 43  .  }.  memset(pC
1e10: 73 72 2c 20 30 2c 20 73 69 7a 65 6f 66 28 46 74  sr, 0, sizeof(Ft
1e20: 73 33 74 6f 6b 43 75 72 73 6f 72 29 29 3b 0a 0a  s3tokCursor));..
1e30: 20 20 2a 70 70 43 73 72 20 3d 20 28 73 71 6c 69    *ppCsr = (sqli
1e40: 74 65 33 5f 76 74 61 62 5f 63 75 72 73 6f 72 20  te3_vtab_cursor 
1e50: 2a 29 70 43 73 72 3b 0a 20 20 72 65 74 75 72 6e  *)pCsr;.  return
1e60: 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 7d 0a 0a 2f   SQLITE_OK;.}../
1e70: 2a 0a 2a 2a 20 52 65 73 65 74 20 74 68 65 20 74  *.** Reset the t
1e80: 6f 6b 65 6e 69 7a 65 72 20 63 75 72 73 6f 72 20  okenizer cursor 
1e90: 70 61 73 73 65 64 20 61 73 20 74 68 65 20 6f 6e  passed as the on
1ea0: 6c 79 20 61 72 67 75 6d 65 6e 74 2e 20 41 73 20  ly argument. As 
1eb0: 69 66 20 69 74 20 68 61 64 0a 2a 2a 20 6a 75 73  if it had.** jus
1ec0: 74 20 62 65 65 6e 20 72 65 74 75 72 6e 65 64 20  t been returned 
1ed0: 62 79 20 66 74 73 33 74 6f 6b 4f 70 65 6e 4d 65  by fts3tokOpenMe
1ee0: 74 68 6f 64 28 29 2e 0a 2a 2f 0a 73 74 61 74 69  thod()..*/.stati
1ef0: 63 20 76 6f 69 64 20 66 74 73 33 74 6f 6b 52 65  c void fts3tokRe
1f00: 73 65 74 43 75 72 73 6f 72 28 46 74 73 33 74 6f  setCursor(Fts3to
1f10: 6b 43 75 72 73 6f 72 20 2a 70 43 73 72 29 7b 0a  kCursor *pCsr){.
1f20: 20 20 69 66 28 20 70 43 73 72 2d 3e 70 43 73 72    if( pCsr->pCsr
1f30: 20 29 7b 0a 20 20 20 20 46 74 73 33 74 6f 6b 54   ){.    Fts3tokT
1f40: 61 62 6c 65 20 2a 70 54 61 62 20 3d 20 28 46 74  able *pTab = (Ft
1f50: 73 33 74 6f 6b 54 61 62 6c 65 20 2a 29 28 70 43  s3tokTable *)(pC
1f60: 73 72 2d 3e 62 61 73 65 2e 70 56 74 61 62 29 3b  sr->base.pVtab);
1f70: 0a 20 20 20 20 70 54 61 62 2d 3e 70 4d 6f 64 2d  .    pTab->pMod-
1f80: 3e 78 43 6c 6f 73 65 28 70 43 73 72 2d 3e 70 43  >xClose(pCsr->pC
1f90: 73 72 29 3b 0a 20 20 20 20 70 43 73 72 2d 3e 70  sr);.    pCsr->p
1fa0: 43 73 72 20 3d 20 30 3b 0a 20 20 7d 0a 20 20 73  Csr = 0;.  }.  s
1fb0: 71 6c 69 74 65 33 5f 66 72 65 65 28 70 43 73 72  qlite3_free(pCsr
1fc0: 2d 3e 7a 49 6e 70 75 74 29 3b 0a 20 20 70 43 73  ->zInput);.  pCs
1fd0: 72 2d 3e 7a 49 6e 70 75 74 20 3d 20 30 3b 0a 20  r->zInput = 0;. 
1fe0: 20 70 43 73 72 2d 3e 7a 54 6f 6b 65 6e 20 3d 20   pCsr->zToken = 
1ff0: 30 3b 0a 20 20 70 43 73 72 2d 3e 6e 54 6f 6b 65  0;.  pCsr->nToke
2000: 6e 20 3d 20 30 3b 0a 20 20 70 43 73 72 2d 3e 69  n = 0;.  pCsr->i
2010: 53 74 61 72 74 20 3d 20 30 3b 0a 20 20 70 43 73  Start = 0;.  pCs
2020: 72 2d 3e 69 45 6e 64 20 3d 20 30 3b 0a 20 20 70  r->iEnd = 0;.  p
2030: 43 73 72 2d 3e 69 50 6f 73 20 3d 20 30 3b 0a 20  Csr->iPos = 0;. 
2040: 20 70 43 73 72 2d 3e 69 52 6f 77 69 64 20 3d 20   pCsr->iRowid = 
2050: 30 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 78 43 6c 6f  0;.}../*.** xClo
2060: 73 65 20 2d 20 43 6c 6f 73 65 20 61 20 63 75 72  se - Close a cur
2070: 73 6f 72 2e 0a 2a 2f 0a 73 74 61 74 69 63 20 69  sor..*/.static i
2080: 6e 74 20 66 74 73 33 74 6f 6b 43 6c 6f 73 65 4d  nt fts3tokCloseM
2090: 65 74 68 6f 64 28 73 71 6c 69 74 65 33 5f 76 74  ethod(sqlite3_vt
20a0: 61 62 5f 63 75 72 73 6f 72 20 2a 70 43 75 72 73  ab_cursor *pCurs
20b0: 6f 72 29 7b 0a 20 20 46 74 73 33 74 6f 6b 43 75  or){.  Fts3tokCu
20c0: 72 73 6f 72 20 2a 70 43 73 72 20 3d 20 28 46 74  rsor *pCsr = (Ft
20d0: 73 33 74 6f 6b 43 75 72 73 6f 72 20 2a 29 70 43  s3tokCursor *)pC
20e0: 75 72 73 6f 72 3b 0a 0a 20 20 66 74 73 33 74 6f  ursor;..  fts3to
20f0: 6b 52 65 73 65 74 43 75 72 73 6f 72 28 70 43 73  kResetCursor(pCs
2100: 72 29 3b 0a 20 20 73 71 6c 69 74 65 33 5f 66 72  r);.  sqlite3_fr
2110: 65 65 28 70 43 73 72 29 3b 0a 20 20 72 65 74 75  ee(pCsr);.  retu
2120: 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 7d 0a  rn SQLITE_OK;.}.
2130: 0a 2f 2a 0a 2a 2a 20 78 4e 65 78 74 20 2d 20 41  ./*.** xNext - A
2140: 64 76 61 6e 63 65 20 74 68 65 20 63 75 72 73 6f  dvance the curso
2150: 72 20 74 6f 20 74 68 65 20 6e 65 78 74 20 72 6f  r to the next ro
2160: 77 2c 20 69 66 20 61 6e 79 2e 0a 2a 2f 0a 73 74  w, if any..*/.st
2170: 61 74 69 63 20 69 6e 74 20 66 74 73 33 74 6f 6b  atic int fts3tok
2180: 4e 65 78 74 4d 65 74 68 6f 64 28 73 71 6c 69 74  NextMethod(sqlit
2190: 65 33 5f 76 74 61 62 5f 63 75 72 73 6f 72 20 2a  e3_vtab_cursor *
21a0: 70 43 75 72 73 6f 72 29 7b 0a 20 20 46 74 73 33  pCursor){.  Fts3
21b0: 74 6f 6b 43 75 72 73 6f 72 20 2a 70 43 73 72 20  tokCursor *pCsr 
21c0: 3d 20 28 46 74 73 33 74 6f 6b 43 75 72 73 6f 72  = (Fts3tokCursor
21d0: 20 2a 29 70 43 75 72 73 6f 72 3b 0a 20 20 46 74   *)pCursor;.  Ft
21e0: 73 33 74 6f 6b 54 61 62 6c 65 20 2a 70 54 61 62  s3tokTable *pTab
21f0: 20 3d 20 28 46 74 73 33 74 6f 6b 54 61 62 6c 65   = (Fts3tokTable
2200: 20 2a 29 28 70 43 75 72 73 6f 72 2d 3e 70 56 74   *)(pCursor->pVt
2210: 61 62 29 3b 0a 20 20 69 6e 74 20 72 63 3b 20 20  ab);.  int rc;  
2220: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2230: 20 20 20 20 20 20 20 2f 2a 20 52 65 74 75 72 6e         /* Return
2240: 20 63 6f 64 65 20 2a 2f 0a 0a 20 20 70 43 73 72   code */..  pCsr
2250: 2d 3e 69 52 6f 77 69 64 2b 2b 3b 0a 20 20 72 63  ->iRowid++;.  rc
2260: 20 3d 20 70 54 61 62 2d 3e 70 4d 6f 64 2d 3e 78   = pTab->pMod->x
2270: 4e 65 78 74 28 70 43 73 72 2d 3e 70 43 73 72 2c  Next(pCsr->pCsr,
2280: 0a 20 20 20 20 20 20 26 70 43 73 72 2d 3e 7a 54  .      &pCsr->zT
2290: 6f 6b 65 6e 2c 20 26 70 43 73 72 2d 3e 6e 54 6f  oken, &pCsr->nTo
22a0: 6b 65 6e 2c 0a 20 20 20 20 20 20 26 70 43 73 72  ken,.      &pCsr
22b0: 2d 3e 69 53 74 61 72 74 2c 20 26 70 43 73 72 2d  ->iStart, &pCsr-
22c0: 3e 69 45 6e 64 2c 20 26 70 43 73 72 2d 3e 69 50  >iEnd, &pCsr->iP
22d0: 6f 73 0a 20 20 29 3b 0a 0a 20 20 69 66 28 20 72  os.  );..  if( r
22e0: 63 21 3d 53 51 4c 49 54 45 5f 4f 4b 20 29 7b 0a  c!=SQLITE_OK ){.
22f0: 20 20 20 20 66 74 73 33 74 6f 6b 52 65 73 65 74      fts3tokReset
2300: 43 75 72 73 6f 72 28 70 43 73 72 29 3b 0a 20 20  Cursor(pCsr);.  
2310: 20 20 69 66 28 20 72 63 3d 3d 53 51 4c 49 54 45    if( rc==SQLITE
2320: 5f 44 4f 4e 45 20 29 20 72 63 20 3d 20 53 51 4c  _DONE ) rc = SQL
2330: 49 54 45 5f 4f 4b 3b 0a 20 20 7d 0a 0a 20 20 72  ITE_OK;.  }..  r
2340: 65 74 75 72 6e 20 72 63 3b 0a 7d 0a 0a 2f 2a 0a  eturn rc;.}../*.
2350: 2a 2a 20 78 46 69 6c 74 65 72 20 2d 20 49 6e 69  ** xFilter - Ini
2360: 74 69 61 6c 69 7a 65 20 61 20 63 75 72 73 6f 72  tialize a cursor
2370: 20 74 6f 20 70 6f 69 6e 74 20 61 74 20 74 68 65   to point at the
2380: 20 73 74 61 72 74 20 6f 66 20 69 74 73 20 64 61   start of its da
2390: 74 61 2e 0a 2a 2f 0a 73 74 61 74 69 63 20 69 6e  ta..*/.static in
23a0: 74 20 66 74 73 33 74 6f 6b 46 69 6c 74 65 72 4d  t fts3tokFilterM
23b0: 65 74 68 6f 64 28 0a 20 20 73 71 6c 69 74 65 33  ethod(.  sqlite3
23c0: 5f 76 74 61 62 5f 63 75 72 73 6f 72 20 2a 70 43  _vtab_cursor *pC
23d0: 75 72 73 6f 72 2c 20 20 20 2f 2a 20 54 68 65 20  ursor,   /* The 
23e0: 63 75 72 73 6f 72 20 75 73 65 64 20 66 6f 72 20  cursor used for 
23f0: 74 68 69 73 20 71 75 65 72 79 20 2a 2f 0a 20 20  this query */.  
2400: 69 6e 74 20 69 64 78 4e 75 6d 2c 20 20 20 20 20  int idxNum,     
2410: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2420: 2f 2a 20 53 74 72 61 74 65 67 79 20 69 6e 64 65  /* Strategy inde
2430: 78 20 2a 2f 0a 20 20 63 6f 6e 73 74 20 63 68 61  x */.  const cha
2440: 72 20 2a 69 64 78 53 74 72 2c 20 20 20 20 20 20  r *idxStr,      
2450: 20 20 20 20 20 20 20 2f 2a 20 55 6e 75 73 65 64         /* Unused
2460: 20 2a 2f 0a 20 20 69 6e 74 20 6e 56 61 6c 2c 20   */.  int nVal, 
2470: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2480: 20 20 20 20 20 20 2f 2a 20 4e 75 6d 62 65 72 20        /* Number 
2490: 6f 66 20 65 6c 65 6d 65 6e 74 73 20 69 6e 20 61  of elements in a
24a0: 70 56 61 6c 20 2a 2f 0a 20 20 73 71 6c 69 74 65  pVal */.  sqlite
24b0: 33 5f 76 61 6c 75 65 20 2a 2a 61 70 56 61 6c 20  3_value **apVal 
24c0: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 41 72 67            /* Arg
24d0: 75 6d 65 6e 74 73 20 66 6f 72 20 74 68 65 20 69  uments for the i
24e0: 6e 64 65 78 69 6e 67 20 73 63 68 65 6d 65 20 2a  ndexing scheme *
24f0: 2f 0a 29 7b 0a 20 20 69 6e 74 20 72 63 20 3d 20  /.){.  int rc = 
2500: 53 51 4c 49 54 45 5f 45 52 52 4f 52 3b 0a 20 20  SQLITE_ERROR;.  
2510: 46 74 73 33 74 6f 6b 43 75 72 73 6f 72 20 2a 70  Fts3tokCursor *p
2520: 43 73 72 20 3d 20 28 46 74 73 33 74 6f 6b 43 75  Csr = (Fts3tokCu
2530: 72 73 6f 72 20 2a 29 70 43 75 72 73 6f 72 3b 0a  rsor *)pCursor;.
2540: 20 20 46 74 73 33 74 6f 6b 54 61 62 6c 65 20 2a    Fts3tokTable *
2550: 70 54 61 62 20 3d 20 28 46 74 73 33 74 6f 6b 54  pTab = (Fts3tokT
2560: 61 62 6c 65 20 2a 29 28 70 43 75 72 73 6f 72 2d  able *)(pCursor-
2570: 3e 70 56 74 61 62 29 3b 0a 20 20 55 4e 55 53 45  >pVtab);.  UNUSE
2580: 44 5f 50 41 52 41 4d 45 54 45 52 28 69 64 78 53  D_PARAMETER(idxS
2590: 74 72 29 3b 0a 20 20 55 4e 55 53 45 44 5f 50 41  tr);.  UNUSED_PA
25a0: 52 41 4d 45 54 45 52 28 6e 56 61 6c 29 3b 0a 0a  RAMETER(nVal);..
25b0: 20 20 66 74 73 33 74 6f 6b 52 65 73 65 74 43 75    fts3tokResetCu
25c0: 72 73 6f 72 28 70 43 73 72 29 3b 0a 20 20 69 66  rsor(pCsr);.  if
25d0: 28 20 69 64 78 4e 75 6d 3d 3d 31 20 29 7b 0a 20  ( idxNum==1 ){. 
25e0: 20 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a     const char *z
25f0: 42 79 74 65 20 3d 20 28 63 6f 6e 73 74 20 63 68  Byte = (const ch
2600: 61 72 20 2a 29 73 71 6c 69 74 65 33 5f 76 61 6c  ar *)sqlite3_val
2610: 75 65 5f 74 65 78 74 28 61 70 56 61 6c 5b 30 5d  ue_text(apVal[0]
2620: 29 3b 0a 20 20 20 20 69 6e 74 20 6e 42 79 74 65  );.    int nByte
2630: 20 3d 20 73 71 6c 69 74 65 33 5f 76 61 6c 75 65   = sqlite3_value
2640: 5f 62 79 74 65 73 28 61 70 56 61 6c 5b 30 5d 29  _bytes(apVal[0])
2650: 3b 0a 20 20 20 20 70 43 73 72 2d 3e 7a 49 6e 70  ;.    pCsr->zInp
2660: 75 74 20 3d 20 73 71 6c 69 74 65 33 5f 6d 61 6c  ut = sqlite3_mal
2670: 6c 6f 63 28 6e 42 79 74 65 2b 31 29 3b 0a 20 20  loc(nByte+1);.  
2680: 20 20 69 66 28 20 70 43 73 72 2d 3e 7a 49 6e 70    if( pCsr->zInp
2690: 75 74 3d 3d 30 20 29 7b 0a 20 20 20 20 20 20 72  ut==0 ){.      r
26a0: 63 20 3d 20 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d  c = SQLITE_NOMEM
26b0: 3b 0a 20 20 20 20 7d 65 6c 73 65 7b 0a 20 20 20  ;.    }else{.   
26c0: 20 20 20 6d 65 6d 63 70 79 28 70 43 73 72 2d 3e     memcpy(pCsr->
26d0: 7a 49 6e 70 75 74 2c 20 7a 42 79 74 65 2c 20 6e  zInput, zByte, n
26e0: 42 79 74 65 29 3b 0a 20 20 20 20 20 20 70 43 73  Byte);.      pCs
26f0: 72 2d 3e 7a 49 6e 70 75 74 5b 6e 42 79 74 65 5d  r->zInput[nByte]
2700: 20 3d 20 30 3b 0a 20 20 20 20 20 20 72 63 20 3d   = 0;.      rc =
2710: 20 70 54 61 62 2d 3e 70 4d 6f 64 2d 3e 78 4f 70   pTab->pMod->xOp
2720: 65 6e 28 70 54 61 62 2d 3e 70 54 6f 6b 2c 20 70  en(pTab->pTok, p
2730: 43 73 72 2d 3e 7a 49 6e 70 75 74 2c 20 6e 42 79  Csr->zInput, nBy
2740: 74 65 2c 20 26 70 43 73 72 2d 3e 70 43 73 72 29  te, &pCsr->pCsr)
2750: 3b 0a 20 20 20 20 20 20 69 66 28 20 72 63 3d 3d  ;.      if( rc==
2760: 53 51 4c 49 54 45 5f 4f 4b 20 29 7b 0a 20 20 20  SQLITE_OK ){.   
2770: 20 20 20 20 20 70 43 73 72 2d 3e 70 43 73 72 2d       pCsr->pCsr-
2780: 3e 70 54 6f 6b 65 6e 69 7a 65 72 20 3d 20 70 54  >pTokenizer = pT
2790: 61 62 2d 3e 70 54 6f 6b 3b 0a 20 20 20 20 20 20  ab->pTok;.      
27a0: 7d 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 69  }.    }.  }..  i
27b0: 66 28 20 72 63 21 3d 53 51 4c 49 54 45 5f 4f 4b  f( rc!=SQLITE_OK
27c0: 20 29 20 72 65 74 75 72 6e 20 72 63 3b 0a 20 20   ) return rc;.  
27d0: 72 65 74 75 72 6e 20 66 74 73 33 74 6f 6b 4e 65  return fts3tokNe
27e0: 78 74 4d 65 74 68 6f 64 28 70 43 75 72 73 6f 72  xtMethod(pCursor
27f0: 29 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 78 45 6f 66  );.}../*.** xEof
2800: 20 2d 20 52 65 74 75 72 6e 20 74 72 75 65 20 69   - Return true i
2810: 66 20 74 68 65 20 63 75 72 73 6f 72 20 69 73 20  f the cursor is 
2820: 61 74 20 45 4f 46 2c 20 6f 72 20 66 61 6c 73 65  at EOF, or false
2830: 20 6f 74 68 65 72 77 69 73 65 2e 0a 2a 2f 0a 73   otherwise..*/.s
2840: 74 61 74 69 63 20 69 6e 74 20 66 74 73 33 74 6f  tatic int fts3to
2850: 6b 45 6f 66 4d 65 74 68 6f 64 28 73 71 6c 69 74  kEofMethod(sqlit
2860: 65 33 5f 76 74 61 62 5f 63 75 72 73 6f 72 20 2a  e3_vtab_cursor *
2870: 70 43 75 72 73 6f 72 29 7b 0a 20 20 46 74 73 33  pCursor){.  Fts3
2880: 74 6f 6b 43 75 72 73 6f 72 20 2a 70 43 73 72 20  tokCursor *pCsr 
2890: 3d 20 28 46 74 73 33 74 6f 6b 43 75 72 73 6f 72  = (Fts3tokCursor
28a0: 20 2a 29 70 43 75 72 73 6f 72 3b 0a 20 20 72 65   *)pCursor;.  re
28b0: 74 75 72 6e 20 28 70 43 73 72 2d 3e 7a 54 6f 6b  turn (pCsr->zTok
28c0: 65 6e 3d 3d 30 29 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a  en==0);.}../*.**
28d0: 20 78 43 6f 6c 75 6d 6e 20 2d 20 52 65 74 75 72   xColumn - Retur
28e0: 6e 20 61 20 63 6f 6c 75 6d 6e 20 76 61 6c 75 65  n a column value
28f0: 2e 0a 2a 2f 0a 73 74 61 74 69 63 20 69 6e 74 20  ..*/.static int 
2900: 66 74 73 33 74 6f 6b 43 6f 6c 75 6d 6e 4d 65 74  fts3tokColumnMet
2910: 68 6f 64 28 0a 20 20 73 71 6c 69 74 65 33 5f 76  hod(.  sqlite3_v
2920: 74 61 62 5f 63 75 72 73 6f 72 20 2a 70 43 75 72  tab_cursor *pCur
2930: 73 6f 72 2c 20 20 20 2f 2a 20 43 75 72 73 6f 72  sor,   /* Cursor
2940: 20 74 6f 20 72 65 74 72 69 65 76 65 20 76 61 6c   to retrieve val
2950: 75 65 20 66 72 6f 6d 20 2a 2f 0a 20 20 73 71 6c  ue from */.  sql
2960: 69 74 65 33 5f 63 6f 6e 74 65 78 74 20 2a 70 43  ite3_context *pC
2970: 74 78 2c 20 20 20 20 20 20 20 20 20 20 2f 2a 20  tx,          /* 
2980: 43 6f 6e 74 65 78 74 20 66 6f 72 20 73 71 6c 69  Context for sqli
2990: 74 65 33 5f 72 65 73 75 6c 74 5f 78 78 78 28 29  te3_result_xxx()
29a0: 20 63 61 6c 6c 73 20 2a 2f 0a 20 20 69 6e 74 20   calls */.  int 
29b0: 69 43 6f 6c 20 20 20 20 20 20 20 20 20 20 20 20  iCol            
29c0: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 49              /* I
29d0: 6e 64 65 78 20 6f 66 20 63 6f 6c 75 6d 6e 20 74  ndex of column t
29e0: 6f 20 72 65 61 64 20 76 61 6c 75 65 20 66 72 6f  o read value fro
29f0: 6d 20 2a 2f 0a 29 7b 0a 20 20 46 74 73 33 74 6f  m */.){.  Fts3to
2a00: 6b 43 75 72 73 6f 72 20 2a 70 43 73 72 20 3d 20  kCursor *pCsr = 
2a10: 28 46 74 73 33 74 6f 6b 43 75 72 73 6f 72 20 2a  (Fts3tokCursor *
2a20: 29 70 43 75 72 73 6f 72 3b 0a 0a 20 20 2f 2a 20  )pCursor;..  /* 
2a30: 43 52 45 41 54 45 20 54 41 42 4c 45 20 78 28 69  CREATE TABLE x(i
2a40: 6e 70 75 74 2c 20 74 6f 6b 65 6e 2c 20 73 74 61  nput, token, sta
2a50: 72 74 2c 20 65 6e 64 2c 20 70 6f 73 69 74 69 6f  rt, end, positio
2a60: 6e 29 20 2a 2f 0a 20 20 73 77 69 74 63 68 28 20  n) */.  switch( 
2a70: 69 43 6f 6c 20 29 7b 0a 20 20 20 20 63 61 73 65  iCol ){.    case
2a80: 20 30 3a 0a 20 20 20 20 20 20 73 71 6c 69 74 65   0:.      sqlite
2a90: 33 5f 72 65 73 75 6c 74 5f 74 65 78 74 28 70 43  3_result_text(pC
2aa0: 74 78 2c 20 70 43 73 72 2d 3e 7a 49 6e 70 75 74  tx, pCsr->zInput
2ab0: 2c 20 2d 31 2c 20 53 51 4c 49 54 45 5f 54 52 41  , -1, SQLITE_TRA
2ac0: 4e 53 49 45 4e 54 29 3b 0a 20 20 20 20 20 20 62  NSIENT);.      b
2ad0: 72 65 61 6b 3b 0a 20 20 20 20 63 61 73 65 20 31  reak;.    case 1
2ae0: 3a 0a 20 20 20 20 20 20 73 71 6c 69 74 65 33 5f  :.      sqlite3_
2af0: 72 65 73 75 6c 74 5f 74 65 78 74 28 70 43 74 78  result_text(pCtx
2b00: 2c 20 70 43 73 72 2d 3e 7a 54 6f 6b 65 6e 2c 20  , pCsr->zToken, 
2b10: 70 43 73 72 2d 3e 6e 54 6f 6b 65 6e 2c 20 53 51  pCsr->nToken, SQ
2b20: 4c 49 54 45 5f 54 52 41 4e 53 49 45 4e 54 29 3b  LITE_TRANSIENT);
2b30: 0a 20 20 20 20 20 20 62 72 65 61 6b 3b 0a 20 20  .      break;.  
2b40: 20 20 63 61 73 65 20 32 3a 0a 20 20 20 20 20 20    case 2:.      
2b50: 73 71 6c 69 74 65 33 5f 72 65 73 75 6c 74 5f 69  sqlite3_result_i
2b60: 6e 74 28 70 43 74 78 2c 20 70 43 73 72 2d 3e 69  nt(pCtx, pCsr->i
2b70: 53 74 61 72 74 29 3b 0a 20 20 20 20 20 20 62 72  Start);.      br
2b80: 65 61 6b 3b 0a 20 20 20 20 63 61 73 65 20 33 3a  eak;.    case 3:
2b90: 0a 20 20 20 20 20 20 73 71 6c 69 74 65 33 5f 72  .      sqlite3_r
2ba0: 65 73 75 6c 74 5f 69 6e 74 28 70 43 74 78 2c 20  esult_int(pCtx, 
2bb0: 70 43 73 72 2d 3e 69 45 6e 64 29 3b 0a 20 20 20  pCsr->iEnd);.   
2bc0: 20 20 20 62 72 65 61 6b 3b 0a 20 20 20 20 64 65     break;.    de
2bd0: 66 61 75 6c 74 3a 0a 20 20 20 20 20 20 61 73 73  fault:.      ass
2be0: 65 72 74 28 20 69 43 6f 6c 3d 3d 34 20 29 3b 0a  ert( iCol==4 );.
2bf0: 20 20 20 20 20 20 73 71 6c 69 74 65 33 5f 72 65        sqlite3_re
2c00: 73 75 6c 74 5f 69 6e 74 28 70 43 74 78 2c 20 70  sult_int(pCtx, p
2c10: 43 73 72 2d 3e 69 50 6f 73 29 3b 0a 20 20 20 20  Csr->iPos);.    
2c20: 20 20 62 72 65 61 6b 3b 0a 20 20 7d 0a 20 20 72    break;.  }.  r
2c30: 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b  eturn SQLITE_OK;
2c40: 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 78 52 6f 77 69 64  .}../*.** xRowid
2c50: 20 2d 20 52 65 74 75 72 6e 20 74 68 65 20 63 75   - Return the cu
2c60: 72 72 65 6e 74 20 72 6f 77 69 64 20 66 6f 72 20  rrent rowid for 
2c70: 74 68 65 20 63 75 72 73 6f 72 2e 0a 2a 2f 0a 73  the cursor..*/.s
2c80: 74 61 74 69 63 20 69 6e 74 20 66 74 73 33 74 6f  tatic int fts3to
2c90: 6b 52 6f 77 69 64 4d 65 74 68 6f 64 28 0a 20 20  kRowidMethod(.  
2ca0: 73 71 6c 69 74 65 33 5f 76 74 61 62 5f 63 75 72  sqlite3_vtab_cur
2cb0: 73 6f 72 20 2a 70 43 75 72 73 6f 72 2c 20 20 20  sor *pCursor,   
2cc0: 2f 2a 20 43 75 72 73 6f 72 20 74 6f 20 72 65 74  /* Cursor to ret
2cd0: 72 69 65 76 65 20 76 61 6c 75 65 20 66 72 6f 6d  rieve value from
2ce0: 20 2a 2f 0a 20 20 73 71 6c 69 74 65 5f 69 6e 74   */.  sqlite_int
2cf0: 36 34 20 2a 70 52 6f 77 69 64 20 20 20 20 20 20  64 *pRowid      
2d00: 20 20 20 20 20 20 2f 2a 20 4f 55 54 3a 20 52 6f        /* OUT: Ro
2d10: 77 69 64 20 76 61 6c 75 65 20 2a 2f 0a 29 7b 0a  wid value */.){.
2d20: 20 20 46 74 73 33 74 6f 6b 43 75 72 73 6f 72 20    Fts3tokCursor 
2d30: 2a 70 43 73 72 20 3d 20 28 46 74 73 33 74 6f 6b  *pCsr = (Fts3tok
2d40: 43 75 72 73 6f 72 20 2a 29 70 43 75 72 73 6f 72  Cursor *)pCursor
2d50: 3b 0a 20 20 2a 70 52 6f 77 69 64 20 3d 20 28 73  ;.  *pRowid = (s
2d60: 71 6c 69 74 65 33 5f 69 6e 74 36 34 29 70 43 73  qlite3_int64)pCs
2d70: 72 2d 3e 69 52 6f 77 69 64 3b 0a 20 20 72 65 74  r->iRowid;.  ret
2d80: 75 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 7d  urn SQLITE_OK;.}
2d90: 0a 0a 2f 2a 0a 2a 2a 20 52 65 67 69 73 74 65 72  ../*.** Register
2da0: 20 74 68 65 20 66 74 73 33 74 6f 6b 20 6d 6f 64   the fts3tok mod
2db0: 75 6c 65 20 77 69 74 68 20 64 61 74 61 62 61 73  ule with databas
2dc0: 65 20 63 6f 6e 6e 65 63 74 69 6f 6e 20 64 62 2e  e connection db.
2dd0: 20 52 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 4f   Return SQLITE_O
2de0: 4b 0a 2a 2a 20 69 66 20 73 75 63 63 65 73 73 66  K.** if successf
2df0: 75 6c 20 6f 72 20 61 6e 20 65 72 72 6f 72 20 63  ul or an error c
2e00: 6f 64 65 20 69 66 20 73 71 6c 69 74 65 33 5f 63  ode if sqlite3_c
2e10: 72 65 61 74 65 5f 6d 6f 64 75 6c 65 28 29 20 66  reate_module() f
2e20: 61 69 6c 73 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c  ails..*/.int sql
2e30: 69 74 65 33 46 74 73 33 49 6e 69 74 54 6f 6b 28  ite3Fts3InitTok(
2e40: 73 71 6c 69 74 65 33 20 2a 64 62 2c 20 46 74 73  sqlite3 *db, Fts
2e50: 33 48 61 73 68 20 2a 70 48 61 73 68 29 7b 0a 20  3Hash *pHash){. 
2e60: 20 73 74 61 74 69 63 20 63 6f 6e 73 74 20 73 71   static const sq
2e70: 6c 69 74 65 33 5f 6d 6f 64 75 6c 65 20 66 74 73  lite3_module fts
2e80: 33 74 6f 6b 5f 6d 6f 64 75 6c 65 20 3d 20 7b 0a  3tok_module = {.
2e90: 20 20 20 20 20 30 2c 20 20 20 20 20 20 20 20 20       0,         
2ea0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2eb0: 20 20 2f 2a 20 69 56 65 72 73 69 6f 6e 20 20 20    /* iVersion   
2ec0: 20 20 20 2a 2f 0a 20 20 20 20 20 66 74 73 33 74     */.     fts3t
2ed0: 6f 6b 43 6f 6e 6e 65 63 74 4d 65 74 68 6f 64 2c  okConnectMethod,
2ee0: 20 20 20 20 20 20 20 20 2f 2a 20 78 43 72 65 61          /* xCrea
2ef0: 74 65 20 20 20 20 20 20 20 2a 2f 0a 20 20 20 20  te       */.    
2f00: 20 66 74 73 33 74 6f 6b 43 6f 6e 6e 65 63 74 4d   fts3tokConnectM
2f10: 65 74 68 6f 64 2c 20 20 20 20 20 20 20 20 2f 2a  ethod,        /*
2f20: 20 78 43 6f 6e 6e 65 63 74 20 20 20 20 20 20 2a   xConnect      *
2f30: 2f 0a 20 20 20 20 20 66 74 73 33 74 6f 6b 42 65  /.     fts3tokBe
2f40: 73 74 49 6e 64 65 78 4d 65 74 68 6f 64 2c 20 20  stIndexMethod,  
2f50: 20 20 20 20 2f 2a 20 78 42 65 73 74 49 6e 64 65      /* xBestInde
2f60: 78 20 20 20 20 2a 2f 0a 20 20 20 20 20 66 74 73  x    */.     fts
2f70: 33 74 6f 6b 44 69 73 63 6f 6e 6e 65 63 74 4d 65  3tokDisconnectMe
2f80: 74 68 6f 64 2c 20 20 20 20 20 2f 2a 20 78 44 69  thod,     /* xDi
2f90: 73 63 6f 6e 6e 65 63 74 20 20 20 2a 2f 0a 20 20  sconnect   */.  
2fa0: 20 20 20 66 74 73 33 74 6f 6b 44 69 73 63 6f 6e     fts3tokDiscon
2fb0: 6e 65 63 74 4d 65 74 68 6f 64 2c 20 20 20 20 20  nectMethod,     
2fc0: 2f 2a 20 78 44 65 73 74 72 6f 79 20 20 20 20 20  /* xDestroy     
2fd0: 20 2a 2f 0a 20 20 20 20 20 66 74 73 33 74 6f 6b   */.     fts3tok
2fe0: 4f 70 65 6e 4d 65 74 68 6f 64 2c 20 20 20 20 20  OpenMethod,     
2ff0: 20 20 20 20 20 20 2f 2a 20 78 4f 70 65 6e 20 20        /* xOpen  
3000: 20 20 20 20 20 20 20 2a 2f 0a 20 20 20 20 20 66         */.     f
3010: 74 73 33 74 6f 6b 43 6c 6f 73 65 4d 65 74 68 6f  ts3tokCloseMetho
3020: 64 2c 20 20 20 20 20 20 20 20 20 20 2f 2a 20 78  d,          /* x
3030: 43 6c 6f 73 65 20 20 20 20 20 20 20 20 2a 2f 0a  Close        */.
3040: 20 20 20 20 20 66 74 73 33 74 6f 6b 46 69 6c 74       fts3tokFilt
3050: 65 72 4d 65 74 68 6f 64 2c 20 20 20 20 20 20 20  erMethod,       
3060: 20 20 2f 2a 20 78 46 69 6c 74 65 72 20 20 20 20    /* xFilter    
3070: 20 20 20 2a 2f 0a 20 20 20 20 20 66 74 73 33 74     */.     fts3t
3080: 6f 6b 4e 65 78 74 4d 65 74 68 6f 64 2c 20 20 20  okNextMethod,   
3090: 20 20 20 20 20 20 20 20 2f 2a 20 78 4e 65 78 74          /* xNext
30a0: 20 20 20 20 20 20 20 20 20 2a 2f 0a 20 20 20 20           */.    
30b0: 20 66 74 73 33 74 6f 6b 45 6f 66 4d 65 74 68 6f   fts3tokEofMetho
30c0: 64 2c 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a  d,            /*
30d0: 20 78 45 6f 66 20 20 20 20 20 20 20 20 20 20 2a   xEof          *
30e0: 2f 0a 20 20 20 20 20 66 74 73 33 74 6f 6b 43 6f  /.     fts3tokCo
30f0: 6c 75 6d 6e 4d 65 74 68 6f 64 2c 20 20 20 20 20  lumnMethod,     
3100: 20 20 20 20 2f 2a 20 78 43 6f 6c 75 6d 6e 20 20      /* xColumn  
3110: 20 20 20 20 20 2a 2f 0a 20 20 20 20 20 66 74 73       */.     fts
3120: 33 74 6f 6b 52 6f 77 69 64 4d 65 74 68 6f 64 2c  3tokRowidMethod,
3130: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 78 52 6f            /* xRo
3140: 77 69 64 20 20 20 20 20 20 20 20 2a 2f 0a 20 20  wid        */.  
3150: 20 20 20 30 2c 20 20 20 20 20 20 20 20 20 20 20     0,           
3160: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3170: 2f 2a 20 78 55 70 64 61 74 65 20 20 20 20 20 20  /* xUpdate      
3180: 20 2a 2f 0a 20 20 20 20 20 30 2c 20 20 20 20 20   */.     0,     
3190: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
31a0: 20 20 20 20 20 20 2f 2a 20 78 42 65 67 69 6e 20        /* xBegin 
31b0: 20 20 20 20 20 20 20 2a 2f 0a 20 20 20 20 20 30         */.     0
31c0: 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ,               
31d0: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 78              /* x
31e0: 53 79 6e 63 20 20 20 20 20 20 20 20 20 2a 2f 0a  Sync         */.
31f0: 20 20 20 20 20 30 2c 20 20 20 20 20 20 20 20 20       0,         
3200: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3210: 20 20 2f 2a 20 78 43 6f 6d 6d 69 74 20 20 20 20    /* xCommit    
3220: 20 20 20 2a 2f 0a 20 20 20 20 20 30 2c 20 20 20     */.     0,   
3230: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3240: 20 20 20 20 20 20 20 20 2f 2a 20 78 52 6f 6c 6c          /* xRoll
3250: 62 61 63 6b 20 20 20 20 20 2a 2f 0a 20 20 20 20  back     */.    
3260: 20 30 2c 20 20 20 20 20 20 20 20 20 20 20 20 20   0,             
3270: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a                /*
3280: 20 78 46 69 6e 64 46 75 6e 63 74 69 6f 6e 20 2a   xFindFunction *
3290: 2f 0a 20 20 20 20 20 30 2c 20 20 20 20 20 20 20  /.     0,       
32a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
32b0: 20 20 20 20 2f 2a 20 78 52 65 6e 61 6d 65 20 20      /* xRename  
32c0: 20 20 20 20 20 2a 2f 0a 20 20 20 20 20 30 2c 20       */.     0, 
32d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
32e0: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 78 53 61            /* xSa
32f0: 76 65 70 6f 69 6e 74 20 20 20 20 2a 2f 0a 20 20  vepoint    */.  
3300: 20 20 20 30 2c 20 20 20 20 20 20 20 20 20 20 20     0,           
3310: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3320: 2f 2a 20 78 52 65 6c 65 61 73 65 20 20 20 20 20  /* xRelease     
3330: 20 2a 2f 0a 20 20 20 20 20 30 20 20 20 20 20 20   */.     0      
3340: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3350: 20 20 20 20 20 20 2f 2a 20 78 52 6f 6c 6c 62 61        /* xRollba
3360: 63 6b 54 6f 20 20 20 2a 2f 0a 20 20 7d 3b 0a 20  ckTo   */.  };. 
3370: 20 69 6e 74 20 72 63 3b 20 20 20 20 20 20 20 20   int rc;        
3380: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
3390: 20 2f 2a 20 52 65 74 75 72 6e 20 63 6f 64 65 20   /* Return code 
33a0: 2a 2f 0a 0a 20 20 72 63 20 3d 20 73 71 6c 69 74  */..  rc = sqlit
33b0: 65 33 5f 63 72 65 61 74 65 5f 6d 6f 64 75 6c 65  e3_create_module
33c0: 28 64 62 2c 20 22 66 74 73 33 74 6f 6b 65 6e 69  (db, "fts3tokeni
33d0: 7a 65 22 2c 20 26 66 74 73 33 74 6f 6b 5f 6d 6f  ze", &fts3tok_mo
33e0: 64 75 6c 65 2c 20 28 76 6f 69 64 2a 29 70 48 61  dule, (void*)pHa
33f0: 73 68 29 3b 0a 20 20 72 65 74 75 72 6e 20 72 63  sh);.  return rc
3400: 3b 0a 7d 0a 0a 23 65 6e 64 69 66 20 2f 2a 20 21  ;.}..#endif /* !
3410: 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45 5f 43  defined(SQLITE_C
3420: 4f 52 45 29 20 7c 7c 20 64 65 66 69 6e 65 64 28  ORE) || defined(
3430: 53 51 4c 49 54 45 5f 45 4e 41 42 4c 45 5f 46 54  SQLITE_ENABLE_FT
3440: 53 33 29 20 2a 2f 0a                             S3) */.