/ Hex Artifact Content
Login

Artifact 7c9da96f2b9dcfa4dd94081fb2d87ec418d8cdb35b25df56756c334b6b558fd7:


0000: 2f 2a 0a 2a 2a 20 32 30 31 34 20 4d 61 79 20 33  /*.** 2014 May 3
0010: 31 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74 68  1.**.** The auth
0020: 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f 70  or disclaims cop
0030: 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20 73  yright to this s
0040: 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e 20  ource code.  In 
0050: 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c 65  place of.** a le
0060: 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72 65  gal notice, here
0070: 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a 0a   is a blessing:.
0080: 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f 75  **.**    May you
0090: 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f 74   do good and not
00a0: 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61 79   evil..**    May
00b0: 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69 76   you find forgiv
00c0: 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73 65  eness for yourse
00d0: 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20 6f  lf and forgive o
00e0: 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61 79  thers..**    May
00f0: 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65 6c   you share freel
0100: 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67 20  y, never taking 
0110: 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67 69  more than you gi
0120: 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ve..**.*********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 2a 2a 2a 0a 2a 2a 0a 2a 2a 20 49 6e 74 65  *****.**.** Inte
0180: 72 66 61 63 65 73 20 74 6f 20 65 78 74 65 6e 64  rfaces to extend
0190: 20 46 54 53 35 2e 20 55 73 69 6e 67 20 74 68 65   FTS5. Using the
01a0: 20 69 6e 74 65 72 66 61 63 65 73 20 64 65 66 69   interfaces defi
01b0: 6e 65 64 20 69 6e 20 74 68 69 73 20 66 69 6c 65  ned in this file
01c0: 2c 20 0a 2a 2a 20 46 54 53 35 20 6d 61 79 20 62  , .** FTS5 may b
01d0: 65 20 65 78 74 65 6e 64 65 64 20 77 69 74 68 3a  e extended with:
01e0: 0a 2a 2a 0a 2a 2a 20 20 20 20 20 2a 20 63 75 73  .**.**     * cus
01f0: 74 6f 6d 20 74 6f 6b 65 6e 69 7a 65 72 73 2c 20  tom tokenizers, 
0200: 61 6e 64 0a 2a 2a 20 20 20 20 20 2a 20 63 75 73  and.**     * cus
0210: 74 6f 6d 20 61 75 78 69 6c 69 61 72 79 20 66 75  tom auxiliary fu
0220: 6e 63 74 69 6f 6e 73 2e 0a 2a 2f 0a 0a 0a 23 69  nctions..*/...#i
0230: 66 6e 64 65 66 20 5f 46 54 53 35 5f 48 0a 23 64  fndef _FTS5_H.#d
0240: 65 66 69 6e 65 20 5f 46 54 53 35 5f 48 0a 0a 23  efine _FTS5_H..#
0250: 69 6e 63 6c 75 64 65 20 22 73 71 6c 69 74 65 33  include "sqlite3
0260: 2e 68 22 0a 0a 23 69 66 64 65 66 20 5f 5f 63 70  .h"..#ifdef __cp
0270: 6c 75 73 70 6c 75 73 0a 65 78 74 65 72 6e 20 22  lusplus.extern "
0280: 43 22 20 7b 0a 23 65 6e 64 69 66 0a 0a 2f 2a 2a  C" {.#endif../**
0290: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
02a0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
02b0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
02c0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
02d0: 2a 2a 2a 2a 2a 2a 2a 0a 2a 2a 20 43 55 53 54 4f  *******.** CUSTO
02e0: 4d 20 41 55 58 49 4c 49 41 52 59 20 46 55 4e 43  M AUXILIARY FUNC
02f0: 54 49 4f 4e 53 0a 2a 2a 0a 2a 2a 20 56 69 72 74  TIONS.**.** Virt
0300: 75 61 6c 20 74 61 62 6c 65 20 69 6d 70 6c 65 6d  ual table implem
0310: 65 6e 74 61 74 69 6f 6e 73 20 6d 61 79 20 6f 76  entations may ov
0320: 65 72 6c 6f 61 64 20 53 51 4c 20 66 75 6e 63 74  erload SQL funct
0330: 69 6f 6e 73 20 62 79 20 69 6d 70 6c 65 6d 65 6e  ions by implemen
0340: 74 69 6e 67 0a 2a 2a 20 74 68 65 20 73 71 6c 69  ting.** the sqli
0350: 74 65 33 5f 6d 6f 64 75 6c 65 2e 78 46 69 6e 64  te3_module.xFind
0360: 46 75 6e 63 74 69 6f 6e 28 29 20 6d 65 74 68 6f  Function() metho
0370: 64 2e 0a 2a 2f 0a 0a 74 79 70 65 64 65 66 20 73  d..*/..typedef s
0380: 74 72 75 63 74 20 46 74 73 35 45 78 74 65 6e 73  truct Fts5Extens
0390: 69 6f 6e 41 70 69 20 46 74 73 35 45 78 74 65 6e  ionApi Fts5Exten
03a0: 73 69 6f 6e 41 70 69 3b 0a 74 79 70 65 64 65 66  sionApi;.typedef
03b0: 20 73 74 72 75 63 74 20 46 74 73 35 43 6f 6e 74   struct Fts5Cont
03c0: 65 78 74 20 46 74 73 35 43 6f 6e 74 65 78 74 3b  ext Fts5Context;
03d0: 0a 74 79 70 65 64 65 66 20 73 74 72 75 63 74 20  .typedef struct 
03e0: 46 74 73 35 50 68 72 61 73 65 49 74 65 72 20 46  Fts5PhraseIter F
03f0: 74 73 35 50 68 72 61 73 65 49 74 65 72 3b 0a 0a  ts5PhraseIter;..
0400: 74 79 70 65 64 65 66 20 76 6f 69 64 20 28 2a 66  typedef void (*f
0410: 74 73 35 5f 65 78 74 65 6e 73 69 6f 6e 5f 66 75  ts5_extension_fu
0420: 6e 63 74 69 6f 6e 29 28 0a 20 20 63 6f 6e 73 74  nction)(.  const
0430: 20 46 74 73 35 45 78 74 65 6e 73 69 6f 6e 41 70   Fts5ExtensionAp
0440: 69 20 2a 70 41 70 69 2c 20 20 20 2f 2a 20 41 50  i *pApi,   /* AP
0450: 49 20 6f 66 66 65 72 65 64 20 62 79 20 63 75 72  I offered by cur
0460: 72 65 6e 74 20 46 54 53 20 76 65 72 73 69 6f 6e  rent FTS version
0470: 20 2a 2f 0a 20 20 46 74 73 35 43 6f 6e 74 65 78   */.  Fts5Contex
0480: 74 20 2a 70 46 74 73 2c 20 20 20 20 20 20 20 20  t *pFts,        
0490: 20 20 20 20 20 20 2f 2a 20 46 69 72 73 74 20 61        /* First a
04a0: 72 67 20 74 6f 20 70 61 73 73 20 74 6f 20 70 41  rg to pass to pA
04b0: 70 69 20 66 75 6e 63 74 69 6f 6e 73 20 2a 2f 0a  pi functions */.
04c0: 20 20 73 71 6c 69 74 65 33 5f 63 6f 6e 74 65 78    sqlite3_contex
04d0: 74 20 2a 70 43 74 78 2c 20 20 20 20 20 20 20 20  t *pCtx,        
04e0: 20 20 2f 2a 20 43 6f 6e 74 65 78 74 20 66 6f 72    /* Context for
04f0: 20 72 65 74 75 72 6e 69 6e 67 20 72 65 73 75 6c   returning resul
0500: 74 2f 65 72 72 6f 72 20 2a 2f 0a 20 20 69 6e 74  t/error */.  int
0510: 20 6e 56 61 6c 2c 20 20 20 20 20 20 20 20 20 20   nVal,          
0520: 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20               /* 
0530: 4e 75 6d 62 65 72 20 6f 66 20 76 61 6c 75 65 73  Number of values
0540: 20 69 6e 20 61 70 56 61 6c 5b 5d 20 61 72 72 61   in apVal[] arra
0550: 79 20 2a 2f 0a 20 20 73 71 6c 69 74 65 33 5f 76  y */.  sqlite3_v
0560: 61 6c 75 65 20 2a 2a 61 70 56 61 6c 20 20 20 20  alue **apVal    
0570: 20 20 20 20 20 20 20 2f 2a 20 41 72 72 61 79 20         /* Array 
0580: 6f 66 20 74 72 61 69 6c 69 6e 67 20 61 72 67 75  of trailing argu
0590: 6d 65 6e 74 73 20 2a 2f 0a 29 3b 0a 0a 73 74 72  ments */.);..str
05a0: 75 63 74 20 46 74 73 35 50 68 72 61 73 65 49 74  uct Fts5PhraseIt
05b0: 65 72 20 7b 0a 20 20 63 6f 6e 73 74 20 75 6e 73  er {.  const uns
05c0: 69 67 6e 65 64 20 63 68 61 72 20 2a 61 3b 0a 20  igned char *a;. 
05d0: 20 63 6f 6e 73 74 20 75 6e 73 69 67 6e 65 64 20   const unsigned 
05e0: 63 68 61 72 20 2a 62 3b 0a 7d 3b 0a 0a 2f 2a 0a  char *b;.};../*.
05f0: 2a 2a 20 45 58 54 45 4e 53 49 4f 4e 20 41 50 49  ** EXTENSION API
0600: 20 46 55 4e 43 54 49 4f 4e 53 0a 2a 2a 0a 2a 2a   FUNCTIONS.**.**
0610: 20 78 55 73 65 72 44 61 74 61 28 70 46 74 73 29   xUserData(pFts)
0620: 3a 0a 2a 2a 20 20 20 52 65 74 75 72 6e 20 61 20  :.**   Return a 
0630: 63 6f 70 79 20 6f 66 20 74 68 65 20 63 6f 6e 74  copy of the cont
0640: 65 78 74 20 70 6f 69 6e 74 65 72 20 74 68 65 20  ext pointer the 
0650: 65 78 74 65 6e 73 69 6f 6e 20 66 75 6e 63 74 69  extension functi
0660: 6f 6e 20 77 61 73 20 0a 2a 2a 20 20 20 72 65 67  on was .**   reg
0670: 69 73 74 65 72 65 64 20 77 69 74 68 2e 0a 2a 2a  istered with..**
0680: 0a 2a 2a 20 78 43 6f 6c 75 6d 6e 54 6f 74 61 6c  .** xColumnTotal
0690: 53 69 7a 65 28 70 46 74 73 2c 20 69 43 6f 6c 2c  Size(pFts, iCol,
06a0: 20 70 6e 54 6f 6b 65 6e 29 3a 0a 2a 2a 20 20 20   pnToken):.**   
06b0: 49 66 20 70 61 72 61 6d 65 74 65 72 20 69 43 6f  If parameter iCo
06c0: 6c 20 69 73 20 6c 65 73 73 20 74 68 61 6e 20 7a  l is less than z
06d0: 65 72 6f 2c 20 73 65 74 20 6f 75 74 70 75 74 20  ero, set output 
06e0: 76 61 72 69 61 62 6c 65 20 2a 70 6e 54 6f 6b 65  variable *pnToke
06f0: 6e 0a 2a 2a 20 20 20 74 6f 20 74 68 65 20 74 6f  n.**   to the to
0700: 74 61 6c 20 6e 75 6d 62 65 72 20 6f 66 20 74 6f  tal number of to
0710: 6b 65 6e 73 20 69 6e 20 74 68 65 20 46 54 53 35  kens in the FTS5
0720: 20 74 61 62 6c 65 2e 20 4f 72 2c 20 69 66 20 69   table. Or, if i
0730: 43 6f 6c 20 69 73 0a 2a 2a 20 20 20 6e 6f 6e 2d  Col is.**   non-
0740: 6e 65 67 61 74 69 76 65 20 62 75 74 20 6c 65 73  negative but les
0750: 73 20 74 68 61 6e 20 74 68 65 20 6e 75 6d 62 65  s than the numbe
0760: 72 20 6f 66 20 63 6f 6c 75 6d 6e 73 20 69 6e 20  r of columns in 
0770: 74 68 65 20 74 61 62 6c 65 2c 20 72 65 74 75 72  the table, retur
0780: 6e 0a 2a 2a 20 20 20 74 68 65 20 74 6f 74 61 6c  n.**   the total
0790: 20 6e 75 6d 62 65 72 20 6f 66 20 74 6f 6b 65 6e   number of token
07a0: 73 20 69 6e 20 63 6f 6c 75 6d 6e 20 69 43 6f 6c  s in column iCol
07b0: 2c 20 63 6f 6e 73 69 64 65 72 69 6e 67 20 61 6c  , considering al
07c0: 6c 20 72 6f 77 73 20 69 6e 20 0a 2a 2a 20 20 20  l rows in .**   
07d0: 74 68 65 20 46 54 53 35 20 74 61 62 6c 65 2e 0a  the FTS5 table..
07e0: 2a 2a 0a 2a 2a 20 20 20 49 66 20 70 61 72 61 6d  **.**   If param
07f0: 65 74 65 72 20 69 43 6f 6c 20 69 73 20 67 72 65  eter iCol is gre
0800: 61 74 65 72 20 74 68 61 6e 20 6f 72 20 65 71 75  ater than or equ
0810: 61 6c 20 74 6f 20 74 68 65 20 6e 75 6d 62 65 72  al to the number
0820: 20 6f 66 20 63 6f 6c 75 6d 6e 73 0a 2a 2a 20 20   of columns.**  
0830: 20 69 6e 20 74 68 65 20 74 61 62 6c 65 2c 20 53   in the table, S
0840: 51 4c 49 54 45 5f 52 41 4e 47 45 20 69 73 20 72  QLITE_RANGE is r
0850: 65 74 75 72 6e 65 64 2e 20 4f 72 2c 20 69 66 20  eturned. Or, if 
0860: 61 6e 20 65 72 72 6f 72 20 6f 63 63 75 72 73 20  an error occurs 
0870: 28 65 2e 67 2e 0a 2a 2a 20 20 20 61 6e 20 4f 4f  (e.g..**   an OO
0880: 4d 20 63 6f 6e 64 69 74 69 6f 6e 20 6f 72 20 49  M condition or I
0890: 4f 20 65 72 72 6f 72 29 2c 20 61 6e 20 61 70 70  O error), an app
08a0: 72 6f 70 72 69 61 74 65 20 53 51 4c 69 74 65 20  ropriate SQLite 
08b0: 65 72 72 6f 72 20 63 6f 64 65 20 69 73 20 0a 2a  error code is .*
08c0: 2a 20 20 20 72 65 74 75 72 6e 65 64 2e 0a 2a 2a  *   returned..**
08d0: 0a 2a 2a 20 78 43 6f 6c 75 6d 6e 43 6f 75 6e 74  .** xColumnCount
08e0: 28 70 46 74 73 29 3a 0a 2a 2a 20 20 20 52 65 74  (pFts):.**   Ret
08f0: 75 72 6e 20 74 68 65 20 6e 75 6d 62 65 72 20 6f  urn the number o
0900: 66 20 63 6f 6c 75 6d 6e 73 20 69 6e 20 74 68 65  f columns in the
0910: 20 74 61 62 6c 65 2e 0a 2a 2a 0a 2a 2a 20 78 43   table..**.** xC
0920: 6f 6c 75 6d 6e 53 69 7a 65 28 70 46 74 73 2c 20  olumnSize(pFts, 
0930: 69 43 6f 6c 2c 20 70 6e 54 6f 6b 65 6e 29 3a 0a  iCol, pnToken):.
0940: 2a 2a 20 20 20 49 66 20 70 61 72 61 6d 65 74 65  **   If paramete
0950: 72 20 69 43 6f 6c 20 69 73 20 6c 65 73 73 20 74  r iCol is less t
0960: 68 61 6e 20 7a 65 72 6f 2c 20 73 65 74 20 6f 75  han zero, set ou
0970: 74 70 75 74 20 76 61 72 69 61 62 6c 65 20 2a 70  tput variable *p
0980: 6e 54 6f 6b 65 6e 0a 2a 2a 20 20 20 74 6f 20 74  nToken.**   to t
0990: 68 65 20 74 6f 74 61 6c 20 6e 75 6d 62 65 72 20  he total number 
09a0: 6f 66 20 74 6f 6b 65 6e 73 20 69 6e 20 74 68 65  of tokens in the
09b0: 20 63 75 72 72 65 6e 74 20 72 6f 77 2e 20 4f 72   current row. Or
09c0: 2c 20 69 66 20 69 43 6f 6c 20 69 73 0a 2a 2a 20  , if iCol is.** 
09d0: 20 20 6e 6f 6e 2d 6e 65 67 61 74 69 76 65 20 62    non-negative b
09e0: 75 74 20 6c 65 73 73 20 74 68 61 6e 20 74 68 65  ut less than the
09f0: 20 6e 75 6d 62 65 72 20 6f 66 20 63 6f 6c 75 6d   number of colum
0a00: 6e 73 20 69 6e 20 74 68 65 20 74 61 62 6c 65 2c  ns in the table,
0a10: 20 73 65 74 0a 2a 2a 20 20 20 2a 70 6e 54 6f 6b   set.**   *pnTok
0a20: 65 6e 20 74 6f 20 74 68 65 20 6e 75 6d 62 65 72  en to the number
0a30: 20 6f 66 20 74 6f 6b 65 6e 73 20 69 6e 20 63 6f   of tokens in co
0a40: 6c 75 6d 6e 20 69 43 6f 6c 20 6f 66 20 74 68 65  lumn iCol of the
0a50: 20 63 75 72 72 65 6e 74 20 72 6f 77 2e 0a 2a 2a   current row..**
0a60: 0a 2a 2a 20 20 20 49 66 20 70 61 72 61 6d 65 74  .**   If paramet
0a70: 65 72 20 69 43 6f 6c 20 69 73 20 67 72 65 61 74  er iCol is great
0a80: 65 72 20 74 68 61 6e 20 6f 72 20 65 71 75 61 6c  er than or equal
0a90: 20 74 6f 20 74 68 65 20 6e 75 6d 62 65 72 20 6f   to the number o
0aa0: 66 20 63 6f 6c 75 6d 6e 73 0a 2a 2a 20 20 20 69  f columns.**   i
0ab0: 6e 20 74 68 65 20 74 61 62 6c 65 2c 20 53 51 4c  n the table, SQL
0ac0: 49 54 45 5f 52 41 4e 47 45 20 69 73 20 72 65 74  ITE_RANGE is ret
0ad0: 75 72 6e 65 64 2e 20 4f 72 2c 20 69 66 20 61 6e  urned. Or, if an
0ae0: 20 65 72 72 6f 72 20 6f 63 63 75 72 73 20 28 65   error occurs (e
0af0: 2e 67 2e 0a 2a 2a 20 20 20 61 6e 20 4f 4f 4d 20  .g..**   an OOM 
0b00: 63 6f 6e 64 69 74 69 6f 6e 20 6f 72 20 49 4f 20  condition or IO 
0b10: 65 72 72 6f 72 29 2c 20 61 6e 20 61 70 70 72 6f  error), an appro
0b20: 70 72 69 61 74 65 20 53 51 4c 69 74 65 20 65 72  priate SQLite er
0b30: 72 6f 72 20 63 6f 64 65 20 69 73 20 0a 2a 2a 20  ror code is .** 
0b40: 20 20 72 65 74 75 72 6e 65 64 2e 0a 2a 2a 0a 2a    returned..**.*
0b50: 2a 20 20 20 54 68 69 73 20 66 75 6e 63 74 69 6f  *   This functio
0b60: 6e 20 6d 61 79 20 62 65 20 71 75 69 74 65 20 69  n may be quite i
0b70: 6e 65 66 66 69 63 69 65 6e 74 20 69 66 20 75 73  nefficient if us
0b80: 65 64 20 77 69 74 68 20 61 6e 20 46 54 53 35 20  ed with an FTS5 
0b90: 74 61 62 6c 65 0a 2a 2a 20 20 20 63 72 65 61 74  table.**   creat
0ba0: 65 64 20 77 69 74 68 20 74 68 65 20 22 63 6f 6c  ed with the "col
0bb0: 75 6d 6e 73 69 7a 65 3d 30 22 20 6f 70 74 69 6f  umnsize=0" optio
0bc0: 6e 2e 0a 2a 2a 0a 2a 2a 20 78 43 6f 6c 75 6d 6e  n..**.** xColumn
0bd0: 54 65 78 74 3a 0a 2a 2a 20 20 20 54 68 69 73 20  Text:.**   This 
0be0: 66 75 6e 63 74 69 6f 6e 20 61 74 74 65 6d 70 74  function attempt
0bf0: 73 20 74 6f 20 72 65 74 72 69 65 76 65 20 74 68  s to retrieve th
0c00: 65 20 74 65 78 74 20 6f 66 20 63 6f 6c 75 6d 6e  e text of column
0c10: 20 69 43 6f 6c 20 6f 66 20 74 68 65 0a 2a 2a 20   iCol of the.** 
0c20: 20 20 63 75 72 72 65 6e 74 20 64 6f 63 75 6d 65    current docume
0c30: 6e 74 2e 20 49 66 20 73 75 63 63 65 73 73 66 75  nt. If successfu
0c40: 6c 2c 20 28 2a 70 7a 29 20 69 73 20 73 65 74 20  l, (*pz) is set 
0c50: 74 6f 20 70 6f 69 6e 74 20 74 6f 20 61 20 62 75  to point to a bu
0c60: 66 66 65 72 0a 2a 2a 20 20 20 63 6f 6e 74 61 69  ffer.**   contai
0c70: 6e 69 6e 67 20 74 68 65 20 74 65 78 74 20 69 6e  ning the text in
0c80: 20 75 74 66 2d 38 20 65 6e 63 6f 64 69 6e 67 2c   utf-8 encoding,
0c90: 20 28 2a 70 6e 29 20 69 73 20 73 65 74 20 74 6f   (*pn) is set to
0ca0: 20 74 68 65 20 73 69 7a 65 20 69 6e 20 62 79 74   the size in byt
0cb0: 65 73 0a 2a 2a 20 20 20 28 6e 6f 74 20 63 68 61  es.**   (not cha
0cc0: 72 61 63 74 65 72 73 29 20 6f 66 20 74 68 65 20  racters) of the 
0cd0: 62 75 66 66 65 72 20 61 6e 64 20 53 51 4c 49 54  buffer and SQLIT
0ce0: 45 5f 4f 4b 20 69 73 20 72 65 74 75 72 6e 65 64  E_OK is returned
0cf0: 2e 20 4f 74 68 65 72 77 69 73 65 2c 0a 2a 2a 20  . Otherwise,.** 
0d00: 20 20 69 66 20 61 6e 20 65 72 72 6f 72 20 6f 63    if an error oc
0d10: 63 75 72 73 2c 20 61 6e 20 53 51 4c 69 74 65 20  curs, an SQLite 
0d20: 65 72 72 6f 72 20 63 6f 64 65 20 69 73 20 72 65  error code is re
0d30: 74 75 72 6e 65 64 20 61 6e 64 20 74 68 65 20 66  turned and the f
0d40: 69 6e 61 6c 20 76 61 6c 75 65 73 0a 2a 2a 20 20  inal values.**  
0d50: 20 6f 66 20 28 2a 70 7a 29 20 61 6e 64 20 28 2a   of (*pz) and (*
0d60: 70 6e 29 20 61 72 65 20 75 6e 64 65 66 69 6e 65  pn) are undefine
0d70: 64 2e 0a 2a 2a 0a 2a 2a 20 78 50 68 72 61 73 65  d..**.** xPhrase
0d80: 43 6f 75 6e 74 3a 0a 2a 2a 20 20 20 52 65 74 75  Count:.**   Retu
0d90: 72 6e 73 20 74 68 65 20 6e 75 6d 62 65 72 20 6f  rns the number o
0da0: 66 20 70 68 72 61 73 65 73 20 69 6e 20 74 68 65  f phrases in the
0db0: 20 63 75 72 72 65 6e 74 20 71 75 65 72 79 20 65   current query e
0dc0: 78 70 72 65 73 73 69 6f 6e 2e 0a 2a 2a 0a 2a 2a  xpression..**.**
0dd0: 20 78 50 68 72 61 73 65 53 69 7a 65 3a 0a 2a 2a   xPhraseSize:.**
0de0: 20 20 20 52 65 74 75 72 6e 73 20 74 68 65 20 6e     Returns the n
0df0: 75 6d 62 65 72 20 6f 66 20 74 6f 6b 65 6e 73 20  umber of tokens 
0e00: 69 6e 20 70 68 72 61 73 65 20 69 50 68 72 61 73  in phrase iPhras
0e10: 65 20 6f 66 20 74 68 65 20 71 75 65 72 79 2e 20  e of the query. 
0e20: 50 68 72 61 73 65 73 0a 2a 2a 20 20 20 61 72 65  Phrases.**   are
0e30: 20 6e 75 6d 62 65 72 65 64 20 73 74 61 72 74 69   numbered starti
0e40: 6e 67 20 66 72 6f 6d 20 7a 65 72 6f 2e 0a 2a 2a  ng from zero..**
0e50: 0a 2a 2a 20 78 49 6e 73 74 43 6f 75 6e 74 3a 0a  .** xInstCount:.
0e60: 2a 2a 20 20 20 53 65 74 20 2a 70 6e 49 6e 73 74  **   Set *pnInst
0e70: 20 74 6f 20 74 68 65 20 74 6f 74 61 6c 20 6e 75   to the total nu
0e80: 6d 62 65 72 20 6f 66 20 6f 63 63 75 72 72 65 6e  mber of occurren
0e90: 63 65 73 20 6f 66 20 61 6c 6c 20 70 68 72 61 73  ces of all phras
0ea0: 65 73 20 77 69 74 68 69 6e 0a 2a 2a 20 20 20 74  es within.**   t
0eb0: 68 65 20 71 75 65 72 79 20 77 69 74 68 69 6e 20  he query within 
0ec0: 74 68 65 20 63 75 72 72 65 6e 74 20 72 6f 77 2e  the current row.
0ed0: 20 52 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 4f   Return SQLITE_O
0ee0: 4b 20 69 66 20 73 75 63 63 65 73 73 66 75 6c 2c  K if successful,
0ef0: 20 6f 72 0a 2a 2a 20 20 20 61 6e 20 65 72 72 6f   or.**   an erro
0f00: 72 20 63 6f 64 65 20 28 69 2e 65 2e 20 53 51 4c  r code (i.e. SQL
0f10: 49 54 45 5f 4e 4f 4d 45 4d 29 20 69 66 20 61 6e  ITE_NOMEM) if an
0f20: 20 65 72 72 6f 72 20 6f 63 63 75 72 73 2e 0a 2a   error occurs..*
0f30: 2a 0a 2a 2a 20 20 20 54 68 69 73 20 41 50 49 20  *.**   This API 
0f40: 63 61 6e 20 62 65 20 71 75 69 74 65 20 73 6c 6f  can be quite slo
0f50: 77 20 69 66 20 75 73 65 64 20 77 69 74 68 20 61  w if used with a
0f60: 6e 20 46 54 53 35 20 74 61 62 6c 65 20 63 72 65  n FTS5 table cre
0f70: 61 74 65 64 20 77 69 74 68 20 74 68 65 0a 2a 2a  ated with the.**
0f80: 20 20 20 22 64 65 74 61 69 6c 3d 6e 6f 6e 65 22     "detail=none"
0f90: 20 6f 72 20 22 64 65 74 61 69 6c 3d 63 6f 6c 75   or "detail=colu
0fa0: 6d 6e 22 20 6f 70 74 69 6f 6e 2e 20 49 66 20 74  mn" option. If t
0fb0: 68 65 20 46 54 53 35 20 74 61 62 6c 65 20 69 73  he FTS5 table is
0fc0: 20 63 72 65 61 74 65 64 20 0a 2a 2a 20 20 20 77   created .**   w
0fd0: 69 74 68 20 65 69 74 68 65 72 20 22 64 65 74 61  ith either "deta
0fe0: 69 6c 3d 6e 6f 6e 65 22 20 6f 72 20 22 64 65 74  il=none" or "det
0ff0: 61 69 6c 3d 63 6f 6c 75 6d 6e 22 20 61 6e 64 20  ail=column" and 
1000: 22 63 6f 6e 74 65 6e 74 3d 22 20 6f 70 74 69 6f  "content=" optio
1010: 6e 20 0a 2a 2a 20 20 20 28 69 2e 65 2e 20 69 66  n .**   (i.e. if
1020: 20 69 74 20 69 73 20 61 20 63 6f 6e 74 65 6e 74   it is a content
1030: 6c 65 73 73 20 74 61 62 6c 65 29 2c 20 74 68 65  less table), the
1040: 6e 20 74 68 69 73 20 41 50 49 20 61 6c 77 61 79  n this API alway
1050: 73 20 72 65 74 75 72 6e 73 20 30 2e 0a 2a 2a 0a  s returns 0..**.
1060: 2a 2a 20 78 49 6e 73 74 3a 0a 2a 2a 20 20 20 51  ** xInst:.**   Q
1070: 75 65 72 79 20 66 6f 72 20 74 68 65 20 64 65 74  uery for the det
1080: 61 69 6c 73 20 6f 66 20 70 68 72 61 73 65 20 6d  ails of phrase m
1090: 61 74 63 68 20 69 49 64 78 20 77 69 74 68 69 6e  atch iIdx within
10a0: 20 74 68 65 20 63 75 72 72 65 6e 74 20 72 6f 77   the current row
10b0: 2e 0a 2a 2a 20 20 20 50 68 72 61 73 65 20 6d 61  ..**   Phrase ma
10c0: 74 63 68 65 73 20 61 72 65 20 6e 75 6d 62 65 72  tches are number
10d0: 65 64 20 73 74 61 72 74 69 6e 67 20 66 72 6f 6d  ed starting from
10e0: 20 7a 65 72 6f 2c 20 73 6f 20 74 68 65 20 69 49   zero, so the iI
10f0: 64 78 20 61 72 67 75 6d 65 6e 74 0a 2a 2a 20 20  dx argument.**  
1100: 20 73 68 6f 75 6c 64 20 62 65 20 67 72 65 61 74   should be great
1110: 65 72 20 74 68 61 6e 20 6f 72 20 65 71 75 61 6c  er than or equal
1120: 20 74 6f 20 7a 65 72 6f 20 61 6e 64 20 73 6d 61   to zero and sma
1130: 6c 6c 65 72 20 74 68 61 6e 20 74 68 65 20 76 61  ller than the va
1140: 6c 75 65 0a 2a 2a 20 20 20 6f 75 74 70 75 74 20  lue.**   output 
1150: 62 79 20 78 49 6e 73 74 43 6f 75 6e 74 28 29 2e  by xInstCount().
1160: 0a 2a 2a 0a 2a 2a 20 20 20 55 73 75 61 6c 6c 79  .**.**   Usually
1170: 2c 20 6f 75 74 70 75 74 20 70 61 72 61 6d 65 74  , output paramet
1180: 65 72 20 2a 70 69 50 68 72 61 73 65 20 69 73 20  er *piPhrase is 
1190: 73 65 74 20 74 6f 20 74 68 65 20 70 68 72 61 73  set to the phras
11a0: 65 20 6e 75 6d 62 65 72 2c 20 2a 70 69 43 6f 6c  e number, *piCol
11b0: 0a 2a 2a 20 20 20 74 6f 20 74 68 65 20 63 6f 6c  .**   to the col
11c0: 75 6d 6e 20 69 6e 20 77 68 69 63 68 20 69 74 20  umn in which it 
11d0: 6f 63 63 75 72 73 20 61 6e 64 20 2a 70 69 4f 66  occurs and *piOf
11e0: 66 20 74 68 65 20 74 6f 6b 65 6e 20 6f 66 66 73  f the token offs
11f0: 65 74 20 6f 66 20 74 68 65 0a 2a 2a 20 20 20 66  et of the.**   f
1200: 69 72 73 74 20 74 6f 6b 65 6e 20 6f 66 20 74 68  irst token of th
1210: 65 20 70 68 72 61 73 65 2e 20 52 65 74 75 72 6e  e phrase. Return
1220: 73 20 53 51 4c 49 54 45 5f 4f 4b 20 69 66 20 73  s SQLITE_OK if s
1230: 75 63 63 65 73 73 66 75 6c 2c 20 6f 72 20 61 6e  uccessful, or an
1240: 20 65 72 72 6f 72 0a 2a 2a 20 20 20 63 6f 64 65   error.**   code
1250: 20 28 69 2e 65 2e 20 53 51 4c 49 54 45 5f 4e 4f   (i.e. SQLITE_NO
1260: 4d 45 4d 29 20 69 66 20 61 6e 20 65 72 72 6f 72  MEM) if an error
1270: 20 6f 63 63 75 72 73 2e 0a 2a 2a 0a 2a 2a 20 20   occurs..**.**  
1280: 20 54 68 69 73 20 41 50 49 20 63 61 6e 20 62 65   This API can be
1290: 20 71 75 69 74 65 20 73 6c 6f 77 20 69 66 20 75   quite slow if u
12a0: 73 65 64 20 77 69 74 68 20 61 6e 20 46 54 53 35  sed with an FTS5
12b0: 20 74 61 62 6c 65 20 63 72 65 61 74 65 64 20 77   table created w
12c0: 69 74 68 20 74 68 65 0a 2a 2a 20 20 20 22 64 65  ith the.**   "de
12d0: 74 61 69 6c 3d 6e 6f 6e 65 22 20 6f 72 20 22 64  tail=none" or "d
12e0: 65 74 61 69 6c 3d 63 6f 6c 75 6d 6e 22 20 6f 70  etail=column" op
12f0: 74 69 6f 6e 2e 20 0a 2a 2a 0a 2a 2a 20 78 52 6f  tion. .**.** xRo
1300: 77 69 64 3a 0a 2a 2a 20 20 20 52 65 74 75 72 6e  wid:.**   Return
1310: 73 20 74 68 65 20 72 6f 77 69 64 20 6f 66 20 74  s the rowid of t
1320: 68 65 20 63 75 72 72 65 6e 74 20 72 6f 77 2e 0a  he current row..
1330: 2a 2a 0a 2a 2a 20 78 54 6f 6b 65 6e 69 7a 65 3a  **.** xTokenize:
1340: 0a 2a 2a 20 20 20 54 6f 6b 65 6e 69 7a 65 20 74  .**   Tokenize t
1350: 65 78 74 20 75 73 69 6e 67 20 74 68 65 20 74 6f  ext using the to
1360: 6b 65 6e 69 7a 65 72 20 62 65 6c 6f 6e 67 69 6e  kenizer belongin
1370: 67 20 74 6f 20 74 68 65 20 46 54 53 35 20 74 61  g to the FTS5 ta
1380: 62 6c 65 2e 0a 2a 2a 0a 2a 2a 20 78 51 75 65 72  ble..**.** xQuer
1390: 79 50 68 72 61 73 65 28 70 46 74 73 35 2c 20 69  yPhrase(pFts5, i
13a0: 50 68 72 61 73 65 2c 20 70 55 73 65 72 44 61 74  Phrase, pUserDat
13b0: 61 2c 20 78 43 61 6c 6c 62 61 63 6b 29 3a 0a 2a  a, xCallback):.*
13c0: 2a 20 20 20 54 68 69 73 20 41 50 49 20 66 75 6e  *   This API fun
13d0: 63 74 69 6f 6e 20 69 73 20 75 73 65 64 20 74 6f  ction is used to
13e0: 20 71 75 65 72 79 20 74 68 65 20 46 54 53 20 74   query the FTS t
13f0: 61 62 6c 65 20 66 6f 72 20 70 68 72 61 73 65 20  able for phrase 
1400: 69 50 68 72 61 73 65 0a 2a 2a 20 20 20 6f 66 20  iPhrase.**   of 
1410: 74 68 65 20 63 75 72 72 65 6e 74 20 71 75 65 72  the current quer
1420: 79 2e 20 53 70 65 63 69 66 69 63 61 6c 6c 79 2c  y. Specifically,
1430: 20 61 20 71 75 65 72 79 20 65 71 75 69 76 61 6c   a query equival
1440: 65 6e 74 20 74 6f 3a 0a 2a 2a 0a 2a 2a 20 20 20  ent to:.**.**   
1450: 20 20 20 20 2e 2e 2e 20 46 52 4f 4d 20 66 74 73      ... FROM fts
1460: 74 61 62 6c 65 20 57 48 45 52 45 20 66 74 73 74  table WHERE ftst
1470: 61 62 6c 65 20 4d 41 54 43 48 20 24 70 20 4f 52  able MATCH $p OR
1480: 44 45 52 20 42 59 20 72 6f 77 69 64 0a 2a 2a 0a  DER BY rowid.**.
1490: 2a 2a 20 20 20 77 69 74 68 20 24 70 20 73 65 74  **   with $p set
14a0: 20 74 6f 20 61 20 70 68 72 61 73 65 20 65 71 75   to a phrase equ
14b0: 69 76 61 6c 65 6e 74 20 74 6f 20 74 68 65 20 70  ivalent to the p
14c0: 68 72 61 73 65 20 69 50 68 72 61 73 65 20 6f 66  hrase iPhrase of
14d0: 20 74 68 65 0a 2a 2a 20 20 20 63 75 72 72 65 6e   the.**   curren
14e0: 74 20 71 75 65 72 79 20 69 73 20 65 78 65 63 75  t query is execu
14f0: 74 65 64 2e 20 41 6e 79 20 63 6f 6c 75 6d 6e 20  ted. Any column 
1500: 66 69 6c 74 65 72 20 74 68 61 74 20 61 70 70 6c  filter that appl
1510: 69 65 73 20 74 6f 0a 2a 2a 20 20 20 70 68 72 61  ies to.**   phra
1520: 73 65 20 69 50 68 72 61 73 65 20 6f 66 20 74 68  se iPhrase of th
1530: 65 20 63 75 72 72 65 6e 74 20 71 75 65 72 79 20  e current query 
1540: 69 73 20 69 6e 63 6c 75 64 65 64 20 69 6e 20 24  is included in $
1550: 70 2e 20 46 6f 72 20 65 61 63 68 20 0a 2a 2a 20  p. For each .** 
1560: 20 20 72 6f 77 20 76 69 73 69 74 65 64 2c 20 74    row visited, t
1570: 68 65 20 63 61 6c 6c 62 61 63 6b 20 66 75 6e 63  he callback func
1580: 74 69 6f 6e 20 70 61 73 73 65 64 20 61 73 20 74  tion passed as t
1590: 68 65 20 66 6f 75 72 74 68 20 61 72 67 75 6d 65  he fourth argume
15a0: 6e 74 20 0a 2a 2a 20 20 20 69 73 20 69 6e 76 6f  nt .**   is invo
15b0: 6b 65 64 2e 20 54 68 65 20 63 6f 6e 74 65 78 74  ked. The context
15c0: 20 61 6e 64 20 41 50 49 20 6f 62 6a 65 63 74 73   and API objects
15d0: 20 70 61 73 73 65 64 20 74 6f 20 74 68 65 20 63   passed to the c
15e0: 61 6c 6c 62 61 63 6b 20 0a 2a 2a 20 20 20 66 75  allback .**   fu
15f0: 6e 63 74 69 6f 6e 20 6d 61 79 20 62 65 20 75 73  nction may be us
1600: 65 64 20 74 6f 20 61 63 63 65 73 73 20 74 68 65  ed to access the
1610: 20 70 72 6f 70 65 72 74 69 65 73 20 6f 66 20 65   properties of e
1620: 61 63 68 20 6d 61 74 63 68 65 64 20 72 6f 77 2e  ach matched row.
1630: 0a 2a 2a 20 20 20 49 6e 76 6f 6b 69 6e 67 20 41  .**   Invoking A
1640: 70 69 2e 78 55 73 65 72 44 61 74 61 28 29 20 72  pi.xUserData() r
1650: 65 74 75 72 6e 73 20 61 20 63 6f 70 79 20 6f 66  eturns a copy of
1660: 20 74 68 65 20 70 6f 69 6e 74 65 72 20 70 61 73   the pointer pas
1670: 73 65 64 20 61 73 20 0a 2a 2a 20 20 20 74 68 65  sed as .**   the
1680: 20 74 68 69 72 64 20 61 72 67 75 6d 65 6e 74 20   third argument 
1690: 74 6f 20 70 55 73 65 72 44 61 74 61 2e 0a 2a 2a  to pUserData..**
16a0: 0a 2a 2a 20 20 20 49 66 20 74 68 65 20 63 61 6c  .**   If the cal
16b0: 6c 62 61 63 6b 20 66 75 6e 63 74 69 6f 6e 20 72  lback function r
16c0: 65 74 75 72 6e 73 20 61 6e 79 20 76 61 6c 75 65  eturns any value
16d0: 20 6f 74 68 65 72 20 74 68 61 6e 20 53 51 4c 49   other than SQLI
16e0: 54 45 5f 4f 4b 2c 20 74 68 65 0a 2a 2a 20 20 20  TE_OK, the.**   
16f0: 71 75 65 72 79 20 69 73 20 61 62 61 6e 64 6f 6e  query is abandon
1700: 65 64 20 61 6e 64 20 74 68 65 20 78 51 75 65 72  ed and the xQuer
1710: 79 50 68 72 61 73 65 20 66 75 6e 63 74 69 6f 6e  yPhrase function
1720: 20 72 65 74 75 72 6e 73 20 69 6d 6d 65 64 69 61   returns immedia
1730: 74 65 6c 79 2e 0a 2a 2a 20 20 20 49 66 20 74 68  tely..**   If th
1740: 65 20 72 65 74 75 72 6e 65 64 20 76 61 6c 75 65  e returned value
1750: 20 69 73 20 53 51 4c 49 54 45 5f 44 4f 4e 45 2c   is SQLITE_DONE,
1760: 20 78 51 75 65 72 79 50 68 72 61 73 65 20 72 65   xQueryPhrase re
1770: 74 75 72 6e 73 20 53 51 4c 49 54 45 5f 4f 4b 2e  turns SQLITE_OK.
1780: 0a 2a 2a 20 20 20 4f 74 68 65 72 77 69 73 65 2c  .**   Otherwise,
1790: 20 74 68 65 20 65 72 72 6f 72 20 63 6f 64 65 20   the error code 
17a0: 69 73 20 70 72 6f 70 61 67 61 74 65 64 20 75 70  is propagated up
17b0: 77 61 72 64 73 2e 0a 2a 2a 0a 2a 2a 20 20 20 49  wards..**.**   I
17c0: 66 20 74 68 65 20 71 75 65 72 79 20 72 75 6e 73  f the query runs
17d0: 20 74 6f 20 63 6f 6d 70 6c 65 74 69 6f 6e 20 77   to completion w
17e0: 69 74 68 6f 75 74 20 69 6e 63 69 64 65 6e 74 2c  ithout incident,
17f0: 20 53 51 4c 49 54 45 5f 4f 4b 20 69 73 20 72 65   SQLITE_OK is re
1800: 74 75 72 6e 65 64 2e 0a 2a 2a 20 20 20 4f 72 2c  turned..**   Or,
1810: 20 69 66 20 73 6f 6d 65 20 65 72 72 6f 72 20 6f   if some error o
1820: 63 63 75 72 73 20 62 65 66 6f 72 65 20 74 68 65  ccurs before the
1830: 20 71 75 65 72 79 20 63 6f 6d 70 6c 65 74 65 73   query completes
1840: 20 6f 72 20 69 73 20 61 62 6f 72 74 65 64 20 62   or is aborted b
1850: 79 0a 2a 2a 20 20 20 74 68 65 20 63 61 6c 6c 62  y.**   the callb
1860: 61 63 6b 2c 20 61 6e 20 53 51 4c 69 74 65 20 65  ack, an SQLite e
1870: 72 72 6f 72 20 63 6f 64 65 20 69 73 20 72 65 74  rror code is ret
1880: 75 72 6e 65 64 2e 0a 2a 2a 0a 2a 2a 0a 2a 2a 20  urned..**.**.** 
1890: 78 53 65 74 41 75 78 64 61 74 61 28 70 46 74 73  xSetAuxdata(pFts
18a0: 35 2c 20 70 41 75 78 2c 20 78 44 65 6c 65 74 65  5, pAux, xDelete
18b0: 29 0a 2a 2a 0a 2a 2a 20 20 20 53 61 76 65 20 74  ).**.**   Save t
18c0: 68 65 20 70 6f 69 6e 74 65 72 20 70 61 73 73 65  he pointer passe
18d0: 64 20 61 73 20 74 68 65 20 73 65 63 6f 6e 64 20  d as the second 
18e0: 61 72 67 75 6d 65 6e 74 20 61 73 20 74 68 65 20  argument as the 
18f0: 65 78 74 65 6e 73 69 6f 6e 20 66 75 6e 63 74 69  extension functi
1900: 6f 6e 73 20 0a 2a 2a 20 20 20 22 61 75 78 69 6c  ons .**   "auxil
1910: 69 61 72 79 20 64 61 74 61 22 2e 20 54 68 65 20  iary data". The 
1920: 70 6f 69 6e 74 65 72 20 6d 61 79 20 74 68 65 6e  pointer may then
1930: 20 62 65 20 72 65 74 72 69 65 76 65 64 20 62 79   be retrieved by
1940: 20 74 68 65 20 63 75 72 72 65 6e 74 20 6f 72 20   the current or 
1950: 61 6e 79 0a 2a 2a 20 20 20 66 75 74 75 72 65 20  any.**   future 
1960: 69 6e 76 6f 63 61 74 69 6f 6e 20 6f 66 20 74 68  invocation of th
1970: 65 20 73 61 6d 65 20 66 74 73 35 20 65 78 74 65  e same fts5 exte
1980: 6e 73 69 6f 6e 20 66 75 6e 63 74 69 6f 6e 20 6d  nsion function m
1990: 61 64 65 20 61 73 20 70 61 72 74 20 6f 66 0a 2a  ade as part of.*
19a0: 2a 20 20 20 74 68 65 20 73 61 6d 65 20 4d 41 54  *   the same MAT
19b0: 43 48 20 71 75 65 72 79 20 75 73 69 6e 67 20 74  CH query using t
19c0: 68 65 20 78 47 65 74 41 75 78 64 61 74 61 28 29  he xGetAuxdata()
19d0: 20 41 50 49 2e 0a 2a 2a 0a 2a 2a 20 20 20 45 61   API..**.**   Ea
19e0: 63 68 20 65 78 74 65 6e 73 69 6f 6e 20 66 75 6e  ch extension fun
19f0: 63 74 69 6f 6e 20 69 73 20 61 6c 6c 6f 63 61 74  ction is allocat
1a00: 65 64 20 61 20 73 69 6e 67 6c 65 20 61 75 78 69  ed a single auxi
1a10: 6c 69 61 72 79 20 64 61 74 61 20 73 6c 6f 74 20  liary data slot 
1a20: 66 6f 72 0a 2a 2a 20 20 20 65 61 63 68 20 46 54  for.**   each FT
1a30: 53 20 71 75 65 72 79 20 28 4d 41 54 43 48 20 65  S query (MATCH e
1a40: 78 70 72 65 73 73 69 6f 6e 29 2e 20 49 66 20 74  xpression). If t
1a50: 68 65 20 65 78 74 65 6e 73 69 6f 6e 20 66 75 6e  he extension fun
1a60: 63 74 69 6f 6e 20 69 73 20 69 6e 76 6f 6b 65 64  ction is invoked
1a70: 20 0a 2a 2a 20 20 20 6d 6f 72 65 20 74 68 61 6e   .**   more than
1a80: 20 6f 6e 63 65 20 66 6f 72 20 61 20 73 69 6e 67   once for a sing
1a90: 6c 65 20 46 54 53 20 71 75 65 72 79 2c 20 74 68  le FTS query, th
1aa0: 65 6e 20 61 6c 6c 20 69 6e 76 6f 63 61 74 69 6f  en all invocatio
1ab0: 6e 73 20 73 68 61 72 65 20 61 20 0a 2a 2a 20 20  ns share a .**  
1ac0: 20 73 69 6e 67 6c 65 20 61 75 78 69 6c 69 61 72   single auxiliar
1ad0: 79 20 64 61 74 61 20 63 6f 6e 74 65 78 74 2e 0a  y data context..
1ae0: 2a 2a 0a 2a 2a 20 20 20 49 66 20 74 68 65 72 65  **.**   If there
1af0: 20 69 73 20 61 6c 72 65 61 64 79 20 61 6e 20 61   is already an a
1b00: 75 78 69 6c 69 61 72 79 20 64 61 74 61 20 70 6f  uxiliary data po
1b10: 69 6e 74 65 72 20 77 68 65 6e 20 74 68 69 73 20  inter when this 
1b20: 66 75 6e 63 74 69 6f 6e 20 69 73 0a 2a 2a 20 20  function is.**  
1b30: 20 69 6e 76 6f 6b 65 64 2c 20 74 68 65 6e 20 69   invoked, then i
1b40: 74 20 69 73 20 72 65 70 6c 61 63 65 64 20 62 79  t is replaced by
1b50: 20 74 68 65 20 6e 65 77 20 70 6f 69 6e 74 65 72   the new pointer
1b60: 2e 20 49 66 20 61 6e 20 78 44 65 6c 65 74 65 20  . If an xDelete 
1b70: 63 61 6c 6c 62 61 63 6b 0a 2a 2a 20 20 20 77 61  callback.**   wa
1b80: 73 20 73 70 65 63 69 66 69 65 64 20 61 6c 6f 6e  s specified alon
1b90: 67 20 77 69 74 68 20 74 68 65 20 6f 72 69 67 69  g with the origi
1ba0: 6e 61 6c 20 70 6f 69 6e 74 65 72 2c 20 69 74 20  nal pointer, it 
1bb0: 69 73 20 69 6e 76 6f 6b 65 64 20 61 74 20 74 68  is invoked at th
1bc0: 69 73 0a 2a 2a 20 20 20 70 6f 69 6e 74 2e 0a 2a  is.**   point..*
1bd0: 2a 0a 2a 2a 20 20 20 54 68 65 20 78 44 65 6c 65  *.**   The xDele
1be0: 74 65 20 63 61 6c 6c 62 61 63 6b 2c 20 69 66 20  te callback, if 
1bf0: 6f 6e 65 20 69 73 20 73 70 65 63 69 66 69 65 64  one is specified
1c00: 2c 20 69 73 20 61 6c 73 6f 20 69 6e 76 6f 6b 65  , is also invoke
1c10: 64 20 6f 6e 20 74 68 65 0a 2a 2a 20 20 20 61 75  d on the.**   au
1c20: 78 69 6c 69 61 72 79 20 64 61 74 61 20 70 6f 69  xiliary data poi
1c30: 6e 74 65 72 20 61 66 74 65 72 20 74 68 65 20 46  nter after the F
1c40: 54 53 35 20 71 75 65 72 79 20 68 61 73 20 66 69  TS5 query has fi
1c50: 6e 69 73 68 65 64 2e 0a 2a 2a 0a 2a 2a 20 20 20  nished..**.**   
1c60: 49 66 20 61 6e 20 65 72 72 6f 72 20 28 65 2e 67  If an error (e.g
1c70: 2e 20 61 6e 20 4f 4f 4d 20 63 6f 6e 64 69 74 69  . an OOM conditi
1c80: 6f 6e 29 20 6f 63 63 75 72 73 20 77 69 74 68 69  on) occurs withi
1c90: 6e 20 74 68 69 73 20 66 75 6e 63 74 69 6f 6e 2c  n this function,
1ca0: 0a 2a 2a 20 20 20 74 68 65 20 61 75 78 69 6c 69  .**   the auxili
1cb0: 61 72 79 20 64 61 74 61 20 69 73 20 73 65 74 20  ary data is set 
1cc0: 74 6f 20 4e 55 4c 4c 20 61 6e 64 20 61 6e 20 65  to NULL and an e
1cd0: 72 72 6f 72 20 63 6f 64 65 20 72 65 74 75 72 6e  rror code return
1ce0: 65 64 2e 20 49 66 20 74 68 65 0a 2a 2a 20 20 20  ed. If the.**   
1cf0: 78 44 65 6c 65 74 65 20 70 61 72 61 6d 65 74 65  xDelete paramete
1d00: 72 20 77 61 73 20 6e 6f 74 20 4e 55 4c 4c 2c 20  r was not NULL, 
1d10: 69 74 20 69 73 20 69 6e 76 6f 6b 65 64 20 6f 6e  it is invoked on
1d20: 20 74 68 65 20 61 75 78 69 6c 69 61 72 79 20 64   the auxiliary d
1d30: 61 74 61 0a 2a 2a 20 20 20 70 6f 69 6e 74 65 72  ata.**   pointer
1d40: 20 62 65 66 6f 72 65 20 72 65 74 75 72 6e 69 6e   before returnin
1d50: 67 2e 0a 2a 2a 0a 2a 2a 0a 2a 2a 20 78 47 65 74  g..**.**.** xGet
1d60: 41 75 78 64 61 74 61 28 70 46 74 73 35 2c 20 62  Auxdata(pFts5, b
1d70: 43 6c 65 61 72 29 0a 2a 2a 0a 2a 2a 20 20 20 52  Clear).**.**   R
1d80: 65 74 75 72 6e 73 20 74 68 65 20 63 75 72 72 65  eturns the curre
1d90: 6e 74 20 61 75 78 69 6c 69 61 72 79 20 64 61 74  nt auxiliary dat
1da0: 61 20 70 6f 69 6e 74 65 72 20 66 6f 72 20 74 68  a pointer for th
1db0: 65 20 66 74 73 35 20 65 78 74 65 6e 73 69 6f 6e  e fts5 extension
1dc0: 20 0a 2a 2a 20 20 20 66 75 6e 63 74 69 6f 6e 2e   .**   function.
1dd0: 20 53 65 65 20 74 68 65 20 78 53 65 74 41 75 78   See the xSetAux
1de0: 64 61 74 61 28 29 20 6d 65 74 68 6f 64 20 66 6f  data() method fo
1df0: 72 20 64 65 74 61 69 6c 73 2e 0a 2a 2a 0a 2a 2a  r details..**.**
1e00: 20 20 20 49 66 20 74 68 65 20 62 43 6c 65 61 72     If the bClear
1e10: 20 61 72 67 75 6d 65 6e 74 20 69 73 20 6e 6f 6e   argument is non
1e20: 2d 7a 65 72 6f 2c 20 74 68 65 6e 20 74 68 65 20  -zero, then the 
1e30: 61 75 78 69 6c 69 61 72 79 20 64 61 74 61 20 69  auxiliary data i
1e40: 73 20 63 6c 65 61 72 65 64 0a 2a 2a 20 20 20 28  s cleared.**   (
1e50: 73 65 74 20 74 6f 20 4e 55 4c 4c 29 20 62 65 66  set to NULL) bef
1e60: 6f 72 65 20 74 68 69 73 20 66 75 6e 63 74 69 6f  ore this functio
1e70: 6e 20 72 65 74 75 72 6e 73 2e 20 49 6e 20 74 68  n returns. In th
1e80: 69 73 20 63 61 73 65 20 74 68 65 20 78 44 65 6c  is case the xDel
1e90: 65 74 65 2c 0a 2a 2a 20 20 20 69 66 20 61 6e 79  ete,.**   if any
1ea0: 2c 20 69 73 20 6e 6f 74 20 69 6e 76 6f 6b 65 64  , is not invoked
1eb0: 2e 0a 2a 2a 0a 2a 2a 0a 2a 2a 20 78 52 6f 77 43  ..**.**.** xRowC
1ec0: 6f 75 6e 74 28 70 46 74 73 35 2c 20 70 6e 52 6f  ount(pFts5, pnRo
1ed0: 77 29 0a 2a 2a 0a 2a 2a 20 20 20 54 68 69 73 20  w).**.**   This 
1ee0: 66 75 6e 63 74 69 6f 6e 20 69 73 20 75 73 65 64  function is used
1ef0: 20 74 6f 20 72 65 74 72 69 65 76 65 20 74 68 65   to retrieve the
1f00: 20 74 6f 74 61 6c 20 6e 75 6d 62 65 72 20 6f 66   total number of
1f10: 20 72 6f 77 73 20 69 6e 20 74 68 65 20 74 61 62   rows in the tab
1f20: 6c 65 2e 0a 2a 2a 20 20 20 49 6e 20 6f 74 68 65  le..**   In othe
1f30: 72 20 77 6f 72 64 73 2c 20 74 68 65 20 73 61 6d  r words, the sam
1f40: 65 20 76 61 6c 75 65 20 74 68 61 74 20 77 6f 75  e value that wou
1f50: 6c 64 20 62 65 20 72 65 74 75 72 6e 65 64 20 62  ld be returned b
1f60: 79 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 20 20  y:.**.**        
1f70: 53 45 4c 45 43 54 20 63 6f 75 6e 74 28 2a 29 20  SELECT count(*) 
1f80: 46 52 4f 4d 20 66 74 73 74 61 62 6c 65 3b 0a 2a  FROM ftstable;.*
1f90: 2a 0a 2a 2a 20 78 50 68 72 61 73 65 46 69 72 73  *.** xPhraseFirs
1fa0: 74 28 29 0a 2a 2a 20 20 20 54 68 69 73 20 66 75  t().**   This fu
1fb0: 6e 63 74 69 6f 6e 20 69 73 20 75 73 65 64 2c 20  nction is used, 
1fc0: 61 6c 6f 6e 67 20 77 69 74 68 20 74 79 70 65 20  along with type 
1fd0: 46 74 73 35 50 68 72 61 73 65 49 74 65 72 20 61  Fts5PhraseIter a
1fe0: 6e 64 20 74 68 65 20 78 50 68 72 61 73 65 4e 65  nd the xPhraseNe
1ff0: 78 74 0a 2a 2a 20 20 20 6d 65 74 68 6f 64 2c 20  xt.**   method, 
2000: 74 6f 20 69 74 65 72 61 74 65 20 74 68 72 6f 75  to iterate throu
2010: 67 68 20 61 6c 6c 20 69 6e 73 74 61 6e 63 65 73  gh all instances
2020: 20 6f 66 20 61 20 73 69 6e 67 6c 65 20 71 75 65   of a single que
2030: 72 79 20 70 68 72 61 73 65 20 77 69 74 68 69 6e  ry phrase within
2040: 0a 2a 2a 20 20 20 74 68 65 20 63 75 72 72 65 6e  .**   the curren
2050: 74 20 72 6f 77 2e 20 54 68 69 73 20 69 73 20 74  t row. This is t
2060: 68 65 20 73 61 6d 65 20 69 6e 66 6f 72 6d 61 74  he same informat
2070: 69 6f 6e 20 61 73 20 69 73 20 61 63 63 65 73 73  ion as is access
2080: 69 62 6c 65 20 76 69 61 20 74 68 65 0a 2a 2a 20  ible via the.** 
2090: 20 20 78 49 6e 73 74 43 6f 75 6e 74 2f 78 49 6e    xInstCount/xIn
20a0: 73 74 20 41 50 49 73 2e 20 57 68 69 6c 65 20 74  st APIs. While t
20b0: 68 65 20 78 49 6e 73 74 43 6f 75 6e 74 2f 78 49  he xInstCount/xI
20c0: 6e 73 74 20 41 50 49 73 20 61 72 65 20 6d 6f 72  nst APIs are mor
20d0: 65 20 63 6f 6e 76 65 6e 69 65 6e 74 0a 2a 2a 20  e convenient.** 
20e0: 20 20 74 6f 20 75 73 65 2c 20 74 68 69 73 20 41    to use, this A
20f0: 50 49 20 6d 61 79 20 62 65 20 66 61 73 74 65 72  PI may be faster
2100: 20 75 6e 64 65 72 20 73 6f 6d 65 20 63 69 72 63   under some circ
2110: 75 6d 73 74 61 6e 63 65 73 2e 20 54 6f 20 69 74  umstances. To it
2120: 65 72 61 74 65 20 0a 2a 2a 20 20 20 74 68 72 6f  erate .**   thro
2130: 75 67 68 20 69 6e 73 74 61 6e 63 65 73 20 6f 66  ugh instances of
2140: 20 70 68 72 61 73 65 20 69 50 68 72 61 73 65 2c   phrase iPhrase,
2150: 20 75 73 65 20 74 68 65 20 66 6f 6c 6c 6f 77 69   use the followi
2160: 6e 67 20 63 6f 64 65 3a 0a 2a 2a 0a 2a 2a 20 20  ng code:.**.**  
2170: 20 20 20 20 20 46 74 73 35 50 68 72 61 73 65 49       Fts5PhraseI
2180: 74 65 72 20 69 74 65 72 3b 0a 2a 2a 20 20 20 20  ter iter;.**    
2190: 20 20 20 69 6e 74 20 69 43 6f 6c 2c 20 69 4f 66     int iCol, iOf
21a0: 66 3b 0a 2a 2a 20 20 20 20 20 20 20 66 6f 72 28  f;.**       for(
21b0: 70 41 70 69 2d 3e 78 50 68 72 61 73 65 46 69 72  pApi->xPhraseFir
21c0: 73 74 28 70 46 74 73 2c 20 69 50 68 72 61 73 65  st(pFts, iPhrase
21d0: 2c 20 26 69 74 65 72 2c 20 26 69 43 6f 6c 2c 20  , &iter, &iCol, 
21e0: 26 69 4f 66 66 29 3b 0a 2a 2a 20 20 20 20 20 20  &iOff);.**      
21f0: 20 20 20 20 20 69 43 6f 6c 3e 3d 30 3b 0a 2a 2a       iCol>=0;.**
2200: 20 20 20 20 20 20 20 20 20 20 20 70 41 70 69 2d             pApi-
2210: 3e 78 50 68 72 61 73 65 4e 65 78 74 28 70 46 74  >xPhraseNext(pFt
2220: 73 2c 20 26 69 74 65 72 2c 20 26 69 43 6f 6c 2c  s, &iter, &iCol,
2230: 20 26 69 4f 66 66 29 0a 2a 2a 20 20 20 20 20 20   &iOff).**      
2240: 20 29 7b 0a 2a 2a 20 20 20 20 20 20 20 20 20 2f   ){.**         /
2250: 2f 20 41 6e 20 69 6e 73 74 61 6e 63 65 20 6f 66  / An instance of
2260: 20 70 68 72 61 73 65 20 69 50 68 72 61 73 65 20   phrase iPhrase 
2270: 61 74 20 6f 66 66 73 65 74 20 69 4f 66 66 20 6f  at offset iOff o
2280: 66 20 63 6f 6c 75 6d 6e 20 69 43 6f 6c 0a 2a 2a  f column iCol.**
2290: 20 20 20 20 20 20 20 7d 0a 2a 2a 0a 2a 2a 20 20         }.**.**  
22a0: 20 54 68 65 20 46 74 73 35 50 68 72 61 73 65 49   The Fts5PhraseI
22b0: 74 65 72 20 73 74 72 75 63 74 75 72 65 20 69 73  ter structure is
22c0: 20 64 65 66 69 6e 65 64 20 61 62 6f 76 65 2e 20   defined above. 
22d0: 41 70 70 6c 69 63 61 74 69 6f 6e 73 20 73 68 6f  Applications sho
22e0: 75 6c 64 20 6e 6f 74 0a 2a 2a 20 20 20 6d 6f 64  uld not.**   mod
22f0: 69 66 79 20 74 68 69 73 20 73 74 72 75 63 74 75  ify this structu
2300: 72 65 20 64 69 72 65 63 74 6c 79 20 2d 20 69 74  re directly - it
2310: 20 73 68 6f 75 6c 64 20 6f 6e 6c 79 20 62 65 20   should only be 
2320: 75 73 65 64 20 61 73 20 73 68 6f 77 6e 20 61 62  used as shown ab
2330: 6f 76 65 0a 2a 2a 20 20 20 77 69 74 68 20 74 68  ove.**   with th
2340: 65 20 78 50 68 72 61 73 65 46 69 72 73 74 28 29  e xPhraseFirst()
2350: 20 61 6e 64 20 78 50 68 72 61 73 65 4e 65 78 74   and xPhraseNext
2360: 28 29 20 41 50 49 20 6d 65 74 68 6f 64 73 20 28  () API methods (
2370: 61 6e 64 20 62 79 0a 2a 2a 20 20 20 78 50 68 72  and by.**   xPhr
2380: 61 73 65 46 69 72 73 74 43 6f 6c 75 6d 6e 28 29  aseFirstColumn()
2390: 20 61 6e 64 20 78 50 68 72 61 73 65 4e 65 78 74   and xPhraseNext
23a0: 43 6f 6c 75 6d 6e 28 29 20 61 73 20 69 6c 6c 75  Column() as illu
23b0: 73 74 72 61 74 65 64 20 62 65 6c 6f 77 29 2e 0a  strated below)..
23c0: 2a 2a 0a 2a 2a 20 20 20 54 68 69 73 20 41 50 49  **.**   This API
23d0: 20 63 61 6e 20 62 65 20 71 75 69 74 65 20 73 6c   can be quite sl
23e0: 6f 77 20 69 66 20 75 73 65 64 20 77 69 74 68 20  ow if used with 
23f0: 61 6e 20 46 54 53 35 20 74 61 62 6c 65 20 63 72  an FTS5 table cr
2400: 65 61 74 65 64 20 77 69 74 68 20 74 68 65 0a 2a  eated with the.*
2410: 2a 20 20 20 22 64 65 74 61 69 6c 3d 6e 6f 6e 65  *   "detail=none
2420: 22 20 6f 72 20 22 64 65 74 61 69 6c 3d 63 6f 6c  " or "detail=col
2430: 75 6d 6e 22 20 6f 70 74 69 6f 6e 2e 20 49 66 20  umn" option. If 
2440: 74 68 65 20 46 54 53 35 20 74 61 62 6c 65 20 69  the FTS5 table i
2450: 73 20 63 72 65 61 74 65 64 20 0a 2a 2a 20 20 20  s created .**   
2460: 77 69 74 68 20 65 69 74 68 65 72 20 22 64 65 74  with either "det
2470: 61 69 6c 3d 6e 6f 6e 65 22 20 6f 72 20 22 64 65  ail=none" or "de
2480: 74 61 69 6c 3d 63 6f 6c 75 6d 6e 22 20 61 6e 64  tail=column" and
2490: 20 22 63 6f 6e 74 65 6e 74 3d 22 20 6f 70 74 69   "content=" opti
24a0: 6f 6e 20 0a 2a 2a 20 20 20 28 69 2e 65 2e 20 69  on .**   (i.e. i
24b0: 66 20 69 74 20 69 73 20 61 20 63 6f 6e 74 65 6e  f it is a conten
24c0: 74 6c 65 73 73 20 74 61 62 6c 65 29 2c 20 74 68  tless table), th
24d0: 65 6e 20 74 68 69 73 20 41 50 49 20 61 6c 77 61  en this API alwa
24e0: 79 73 20 69 74 65 72 61 74 65 73 0a 2a 2a 20 20  ys iterates.**  
24f0: 20 74 68 72 6f 75 67 68 20 61 6e 20 65 6d 70 74   through an empt
2500: 79 20 73 65 74 20 28 61 6c 6c 20 63 61 6c 6c 73  y set (all calls
2510: 20 74 6f 20 78 50 68 72 61 73 65 46 69 72 73 74   to xPhraseFirst
2520: 28 29 20 73 65 74 20 69 43 6f 6c 20 74 6f 20 2d  () set iCol to -
2530: 31 29 2e 0a 2a 2a 0a 2a 2a 20 78 50 68 72 61 73  1)..**.** xPhras
2540: 65 4e 65 78 74 28 29 0a 2a 2a 20 20 20 53 65 65  eNext().**   See
2550: 20 78 50 68 72 61 73 65 46 69 72 73 74 20 61 62   xPhraseFirst ab
2560: 6f 76 65 2e 0a 2a 2a 0a 2a 2a 20 78 50 68 72 61  ove..**.** xPhra
2570: 73 65 46 69 72 73 74 43 6f 6c 75 6d 6e 28 29 0a  seFirstColumn().
2580: 2a 2a 20 20 20 54 68 69 73 20 66 75 6e 63 74 69  **   This functi
2590: 6f 6e 20 61 6e 64 20 78 50 68 72 61 73 65 4e 65  on and xPhraseNe
25a0: 78 74 43 6f 6c 75 6d 6e 28 29 20 61 72 65 20 73  xtColumn() are s
25b0: 69 6d 69 6c 61 72 20 74 6f 20 74 68 65 20 78 50  imilar to the xP
25c0: 68 72 61 73 65 46 69 72 73 74 28 29 0a 2a 2a 20  hraseFirst().** 
25d0: 20 20 61 6e 64 20 78 50 68 72 61 73 65 4e 65 78    and xPhraseNex
25e0: 74 28 29 20 41 50 49 73 20 64 65 73 63 72 69 62  t() APIs describ
25f0: 65 64 20 61 62 6f 76 65 2e 20 54 68 65 20 64 69  ed above. The di
2600: 66 66 65 72 65 6e 63 65 20 69 73 20 74 68 61 74  fference is that
2610: 20 69 6e 73 74 65 61 64 0a 2a 2a 20 20 20 6f 66   instead.**   of
2620: 20 69 74 65 72 61 74 69 6e 67 20 74 68 72 6f 75   iterating throu
2630: 67 68 20 61 6c 6c 20 69 6e 73 74 61 6e 63 65 73  gh all instances
2640: 20 6f 66 20 61 20 70 68 72 61 73 65 20 69 6e 20   of a phrase in 
2650: 74 68 65 20 63 75 72 72 65 6e 74 20 72 6f 77 2c  the current row,
2660: 20 74 68 65 73 65 0a 2a 2a 20 20 20 41 50 49 73   these.**   APIs
2670: 20 61 72 65 20 75 73 65 64 20 74 6f 20 69 74 65   are used to ite
2680: 72 61 74 65 20 74 68 72 6f 75 67 68 20 74 68 65  rate through the
2690: 20 73 65 74 20 6f 66 20 63 6f 6c 75 6d 6e 73 20   set of columns 
26a0: 69 6e 20 74 68 65 20 63 75 72 72 65 6e 74 20 72  in the current r
26b0: 6f 77 0a 2a 2a 20 20 20 74 68 61 74 20 63 6f 6e  ow.**   that con
26c0: 74 61 69 6e 20 6f 6e 65 20 6f 72 20 6d 6f 72 65  tain one or more
26d0: 20 69 6e 73 74 61 6e 63 65 73 20 6f 66 20 61 20   instances of a 
26e0: 73 70 65 63 69 66 69 65 64 20 70 68 72 61 73 65  specified phrase
26f0: 2e 20 46 6f 72 20 65 78 61 6d 70 6c 65 3a 0a 2a  . For example:.*
2700: 2a 0a 2a 2a 20 20 20 20 20 20 20 46 74 73 35 50  *.**       Fts5P
2710: 68 72 61 73 65 49 74 65 72 20 69 74 65 72 3b 0a  hraseIter iter;.
2720: 2a 2a 20 20 20 20 20 20 20 69 6e 74 20 69 43 6f  **       int iCo
2730: 6c 3b 0a 2a 2a 20 20 20 20 20 20 20 66 6f 72 28  l;.**       for(
2740: 70 41 70 69 2d 3e 78 50 68 72 61 73 65 46 69 72  pApi->xPhraseFir
2750: 73 74 43 6f 6c 75 6d 6e 28 70 46 74 73 2c 20 69  stColumn(pFts, i
2760: 50 68 72 61 73 65 2c 20 26 69 74 65 72 2c 20 26  Phrase, &iter, &
2770: 69 43 6f 6c 29 3b 0a 2a 2a 20 20 20 20 20 20 20  iCol);.**       
2780: 20 20 20 20 69 43 6f 6c 3e 3d 30 3b 0a 2a 2a 20      iCol>=0;.** 
2790: 20 20 20 20 20 20 20 20 20 20 70 41 70 69 2d 3e            pApi->
27a0: 78 50 68 72 61 73 65 4e 65 78 74 43 6f 6c 75 6d  xPhraseNextColum
27b0: 6e 28 70 46 74 73 2c 20 26 69 74 65 72 2c 20 26  n(pFts, &iter, &
27c0: 69 43 6f 6c 29 0a 2a 2a 20 20 20 20 20 20 20 29  iCol).**       )
27d0: 7b 0a 2a 2a 20 20 20 20 20 20 20 20 20 2f 2f 20  {.**         // 
27e0: 43 6f 6c 75 6d 6e 20 69 43 6f 6c 20 63 6f 6e 74  Column iCol cont
27f0: 61 69 6e 73 20 61 74 20 6c 65 61 73 74 20 6f 6e  ains at least on
2800: 65 20 69 6e 73 74 61 6e 63 65 20 6f 66 20 70 68  e instance of ph
2810: 72 61 73 65 20 69 50 68 72 61 73 65 0a 2a 2a 20  rase iPhrase.** 
2820: 20 20 20 20 20 20 7d 0a 2a 2a 0a 2a 2a 20 20 20        }.**.**   
2830: 54 68 69 73 20 41 50 49 20 63 61 6e 20 62 65 20  This API can be 
2840: 71 75 69 74 65 20 73 6c 6f 77 20 69 66 20 75 73  quite slow if us
2850: 65 64 20 77 69 74 68 20 61 6e 20 46 54 53 35 20  ed with an FTS5 
2860: 74 61 62 6c 65 20 63 72 65 61 74 65 64 20 77 69  table created wi
2870: 74 68 20 74 68 65 0a 2a 2a 20 20 20 22 64 65 74  th the.**   "det
2880: 61 69 6c 3d 6e 6f 6e 65 22 20 6f 70 74 69 6f 6e  ail=none" option
2890: 2e 20 49 66 20 74 68 65 20 46 54 53 35 20 74 61  . If the FTS5 ta
28a0: 62 6c 65 20 69 73 20 63 72 65 61 74 65 64 20 77  ble is created w
28b0: 69 74 68 20 65 69 74 68 65 72 20 0a 2a 2a 20 20  ith either .**  
28c0: 20 22 64 65 74 61 69 6c 3d 6e 6f 6e 65 22 20 22   "detail=none" "
28d0: 63 6f 6e 74 65 6e 74 3d 22 20 6f 70 74 69 6f 6e  content=" option
28e0: 20 28 69 2e 65 2e 20 69 66 20 69 74 20 69 73 20   (i.e. if it is 
28f0: 61 20 63 6f 6e 74 65 6e 74 6c 65 73 73 20 74 61  a contentless ta
2900: 62 6c 65 29 2c 20 0a 2a 2a 20 20 20 74 68 65 6e  ble), .**   then
2910: 20 74 68 69 73 20 41 50 49 20 61 6c 77 61 79 73   this API always
2920: 20 69 74 65 72 61 74 65 73 20 74 68 72 6f 75 67   iterates throug
2930: 68 20 61 6e 20 65 6d 70 74 79 20 73 65 74 20 28  h an empty set (
2940: 61 6c 6c 20 63 61 6c 6c 73 20 74 6f 20 0a 2a 2a  all calls to .**
2950: 20 20 20 78 50 68 72 61 73 65 46 69 72 73 74 43     xPhraseFirstC
2960: 6f 6c 75 6d 6e 28 29 20 73 65 74 20 69 43 6f 6c  olumn() set iCol
2970: 20 74 6f 20 2d 31 29 2e 0a 2a 2a 0a 2a 2a 20 20   to -1)..**.**  
2980: 20 54 68 65 20 69 6e 66 6f 72 6d 61 74 69 6f 6e   The information
2990: 20 61 63 63 65 73 73 65 64 20 75 73 69 6e 67 20   accessed using 
29a0: 74 68 69 73 20 41 50 49 20 61 6e 64 20 69 74 73  this API and its
29b0: 20 63 6f 6d 70 61 6e 69 6f 6e 0a 2a 2a 20 20 20   companion.**   
29c0: 78 50 68 72 61 73 65 46 69 72 73 74 43 6f 6c 75  xPhraseFirstColu
29d0: 6d 6e 28 29 20 6d 61 79 20 61 6c 73 6f 20 62 65  mn() may also be
29e0: 20 6f 62 74 61 69 6e 65 64 20 75 73 69 6e 67 20   obtained using 
29f0: 78 50 68 72 61 73 65 46 69 72 73 74 2f 78 50 68  xPhraseFirst/xPh
2a00: 72 61 73 65 4e 65 78 74 0a 2a 2a 20 20 20 28 6f  raseNext.**   (o
2a10: 72 20 78 49 6e 73 74 2f 78 49 6e 73 74 43 6f 75  r xInst/xInstCou
2a20: 6e 74 29 2e 20 54 68 65 20 63 68 69 65 66 20 61  nt). The chief a
2a30: 64 76 61 6e 74 61 67 65 20 6f 66 20 74 68 69 73  dvantage of this
2a40: 20 41 50 49 20 69 73 20 74 68 61 74 20 69 74 20   API is that it 
2a50: 69 73 0a 2a 2a 20 20 20 73 69 67 6e 69 66 69 63  is.**   signific
2a60: 61 6e 74 6c 79 20 6d 6f 72 65 20 65 66 66 69 63  antly more effic
2a70: 69 65 6e 74 20 74 68 61 6e 20 74 68 6f 73 65 20  ient than those 
2a80: 61 6c 74 65 72 6e 61 74 69 76 65 73 20 77 68 65  alternatives whe
2a90: 6e 20 75 73 65 64 20 77 69 74 68 0a 2a 2a 20 20  n used with.**  
2aa0: 20 22 64 65 74 61 69 6c 3d 63 6f 6c 75 6d 6e 22   "detail=column"
2ab0: 20 74 61 62 6c 65 73 2e 20 20 0a 2a 2a 0a 2a 2a   tables.  .**.**
2ac0: 20 78 50 68 72 61 73 65 4e 65 78 74 43 6f 6c 75   xPhraseNextColu
2ad0: 6d 6e 28 29 0a 2a 2a 20 20 20 53 65 65 20 78 50  mn().**   See xP
2ae0: 68 72 61 73 65 46 69 72 73 74 43 6f 6c 75 6d 6e  hraseFirstColumn
2af0: 20 61 62 6f 76 65 2e 0a 2a 2f 0a 73 74 72 75 63   above..*/.struc
2b00: 74 20 46 74 73 35 45 78 74 65 6e 73 69 6f 6e 41  t Fts5ExtensionA
2b10: 70 69 20 7b 0a 20 20 69 6e 74 20 69 56 65 72 73  pi {.  int iVers
2b20: 69 6f 6e 3b 20 20 20 20 20 20 20 20 20 20 20 20  ion;            
2b30: 20 20 20 20 20 20 20 2f 2a 20 43 75 72 72 65 6e         /* Curren
2b40: 74 6c 79 20 61 6c 77 61 79 73 20 73 65 74 20 74  tly always set t
2b50: 6f 20 33 20 2a 2f 0a 0a 20 20 76 6f 69 64 20 2a  o 3 */..  void *
2b60: 28 2a 78 55 73 65 72 44 61 74 61 29 28 46 74 73  (*xUserData)(Fts
2b70: 35 43 6f 6e 74 65 78 74 2a 29 3b 0a 0a 20 20 69  5Context*);..  i
2b80: 6e 74 20 28 2a 78 43 6f 6c 75 6d 6e 43 6f 75 6e  nt (*xColumnCoun
2b90: 74 29 28 46 74 73 35 43 6f 6e 74 65 78 74 2a 29  t)(Fts5Context*)
2ba0: 3b 0a 20 20 69 6e 74 20 28 2a 78 52 6f 77 43 6f  ;.  int (*xRowCo
2bb0: 75 6e 74 29 28 46 74 73 35 43 6f 6e 74 65 78 74  unt)(Fts5Context
2bc0: 2a 2c 20 73 71 6c 69 74 65 33 5f 69 6e 74 36 34  *, sqlite3_int64
2bd0: 20 2a 70 6e 52 6f 77 29 3b 0a 20 20 69 6e 74 20   *pnRow);.  int 
2be0: 28 2a 78 43 6f 6c 75 6d 6e 54 6f 74 61 6c 53 69  (*xColumnTotalSi
2bf0: 7a 65 29 28 46 74 73 35 43 6f 6e 74 65 78 74 2a  ze)(Fts5Context*
2c00: 2c 20 69 6e 74 20 69 43 6f 6c 2c 20 73 71 6c 69  , int iCol, sqli
2c10: 74 65 33 5f 69 6e 74 36 34 20 2a 70 6e 54 6f 6b  te3_int64 *pnTok
2c20: 65 6e 29 3b 0a 0a 20 20 69 6e 74 20 28 2a 78 54  en);..  int (*xT
2c30: 6f 6b 65 6e 69 7a 65 29 28 46 74 73 35 43 6f 6e  okenize)(Fts5Con
2c40: 74 65 78 74 2a 2c 20 0a 20 20 20 20 63 6f 6e 73  text*, .    cons
2c50: 74 20 63 68 61 72 20 2a 70 54 65 78 74 2c 20 69  t char *pText, i
2c60: 6e 74 20 6e 54 65 78 74 2c 20 2f 2a 20 54 65 78  nt nText, /* Tex
2c70: 74 20 74 6f 20 74 6f 6b 65 6e 69 7a 65 20 2a 2f  t to tokenize */
2c80: 0a 20 20 20 20 76 6f 69 64 20 2a 70 43 74 78 2c  .    void *pCtx,
2c90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2ca0: 20 20 20 2f 2a 20 43 6f 6e 74 65 78 74 20 70 61     /* Context pa
2cb0: 73 73 65 64 20 74 6f 20 78 54 6f 6b 65 6e 28 29  ssed to xToken()
2cc0: 20 2a 2f 0a 20 20 20 20 69 6e 74 20 28 2a 78 54   */.    int (*xT
2cd0: 6f 6b 65 6e 29 28 76 6f 69 64 2a 2c 20 69 6e 74  oken)(void*, int
2ce0: 2c 20 63 6f 6e 73 74 20 63 68 61 72 2a 2c 20 69  , const char*, i
2cf0: 6e 74 2c 20 69 6e 74 2c 20 69 6e 74 29 20 20 20  nt, int, int)   
2d00: 20 20 20 20 2f 2a 20 43 61 6c 6c 62 61 63 6b 20      /* Callback 
2d10: 2a 2f 0a 20 20 29 3b 0a 0a 20 20 69 6e 74 20 28  */.  );..  int (
2d20: 2a 78 50 68 72 61 73 65 43 6f 75 6e 74 29 28 46  *xPhraseCount)(F
2d30: 74 73 35 43 6f 6e 74 65 78 74 2a 29 3b 0a 20 20  ts5Context*);.  
2d40: 69 6e 74 20 28 2a 78 50 68 72 61 73 65 53 69 7a  int (*xPhraseSiz
2d50: 65 29 28 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c  e)(Fts5Context*,
2d60: 20 69 6e 74 20 69 50 68 72 61 73 65 29 3b 0a 0a   int iPhrase);..
2d70: 20 20 69 6e 74 20 28 2a 78 49 6e 73 74 43 6f 75    int (*xInstCou
2d80: 6e 74 29 28 46 74 73 35 43 6f 6e 74 65 78 74 2a  nt)(Fts5Context*
2d90: 2c 20 69 6e 74 20 2a 70 6e 49 6e 73 74 29 3b 0a  , int *pnInst);.
2da0: 20 20 69 6e 74 20 28 2a 78 49 6e 73 74 29 28 46    int (*xInst)(F
2db0: 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20 69 6e 74  ts5Context*, int
2dc0: 20 69 49 64 78 2c 20 69 6e 74 20 2a 70 69 50 68   iIdx, int *piPh
2dd0: 72 61 73 65 2c 20 69 6e 74 20 2a 70 69 43 6f 6c  rase, int *piCol
2de0: 2c 20 69 6e 74 20 2a 70 69 4f 66 66 29 3b 0a 0a  , int *piOff);..
2df0: 20 20 73 71 6c 69 74 65 33 5f 69 6e 74 36 34 20    sqlite3_int64 
2e00: 28 2a 78 52 6f 77 69 64 29 28 46 74 73 35 43 6f  (*xRowid)(Fts5Co
2e10: 6e 74 65 78 74 2a 29 3b 0a 20 20 69 6e 74 20 28  ntext*);.  int (
2e20: 2a 78 43 6f 6c 75 6d 6e 54 65 78 74 29 28 46 74  *xColumnText)(Ft
2e30: 73 35 43 6f 6e 74 65 78 74 2a 2c 20 69 6e 74 20  s5Context*, int 
2e40: 69 43 6f 6c 2c 20 63 6f 6e 73 74 20 63 68 61 72  iCol, const char
2e50: 20 2a 2a 70 7a 2c 20 69 6e 74 20 2a 70 6e 29 3b   **pz, int *pn);
2e60: 0a 20 20 69 6e 74 20 28 2a 78 43 6f 6c 75 6d 6e  .  int (*xColumn
2e70: 53 69 7a 65 29 28 46 74 73 35 43 6f 6e 74 65 78  Size)(Fts5Contex
2e80: 74 2a 2c 20 69 6e 74 20 69 43 6f 6c 2c 20 69 6e  t*, int iCol, in
2e90: 74 20 2a 70 6e 54 6f 6b 65 6e 29 3b 0a 0a 20 20  t *pnToken);..  
2ea0: 69 6e 74 20 28 2a 78 51 75 65 72 79 50 68 72 61  int (*xQueryPhra
2eb0: 73 65 29 28 46 74 73 35 43 6f 6e 74 65 78 74 2a  se)(Fts5Context*
2ec0: 2c 20 69 6e 74 20 69 50 68 72 61 73 65 2c 20 76  , int iPhrase, v
2ed0: 6f 69 64 20 2a 70 55 73 65 72 44 61 74 61 2c 0a  oid *pUserData,.
2ee0: 20 20 20 20 69 6e 74 28 2a 29 28 63 6f 6e 73 74      int(*)(const
2ef0: 20 46 74 73 35 45 78 74 65 6e 73 69 6f 6e 41 70   Fts5ExtensionAp
2f00: 69 2a 2c 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c  i*,Fts5Context*,
2f10: 76 6f 69 64 2a 29 0a 20 20 29 3b 0a 20 20 69 6e  void*).  );.  in
2f20: 74 20 28 2a 78 53 65 74 41 75 78 64 61 74 61 29  t (*xSetAuxdata)
2f30: 28 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20 76  (Fts5Context*, v
2f40: 6f 69 64 20 2a 70 41 75 78 2c 20 76 6f 69 64 28  oid *pAux, void(
2f50: 2a 78 44 65 6c 65 74 65 29 28 76 6f 69 64 2a 29  *xDelete)(void*)
2f60: 29 3b 0a 20 20 76 6f 69 64 20 2a 28 2a 78 47 65  );.  void *(*xGe
2f70: 74 41 75 78 64 61 74 61 29 28 46 74 73 35 43 6f  tAuxdata)(Fts5Co
2f80: 6e 74 65 78 74 2a 2c 20 69 6e 74 20 62 43 6c 65  ntext*, int bCle
2f90: 61 72 29 3b 0a 0a 20 20 69 6e 74 20 28 2a 78 50  ar);..  int (*xP
2fa0: 68 72 61 73 65 46 69 72 73 74 29 28 46 74 73 35  hraseFirst)(Fts5
2fb0: 43 6f 6e 74 65 78 74 2a 2c 20 69 6e 74 20 69 50  Context*, int iP
2fc0: 68 72 61 73 65 2c 20 46 74 73 35 50 68 72 61 73  hrase, Fts5Phras
2fd0: 65 49 74 65 72 2a 2c 20 69 6e 74 2a 2c 20 69 6e  eIter*, int*, in
2fe0: 74 2a 29 3b 0a 20 20 76 6f 69 64 20 28 2a 78 50  t*);.  void (*xP
2ff0: 68 72 61 73 65 4e 65 78 74 29 28 46 74 73 35 43  hraseNext)(Fts5C
3000: 6f 6e 74 65 78 74 2a 2c 20 46 74 73 35 50 68 72  ontext*, Fts5Phr
3010: 61 73 65 49 74 65 72 2a 2c 20 69 6e 74 20 2a 70  aseIter*, int *p
3020: 69 43 6f 6c 2c 20 69 6e 74 20 2a 70 69 4f 66 66  iCol, int *piOff
3030: 29 3b 0a 0a 20 20 69 6e 74 20 28 2a 78 50 68 72  );..  int (*xPhr
3040: 61 73 65 46 69 72 73 74 43 6f 6c 75 6d 6e 29 28  aseFirstColumn)(
3050: 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20 69 6e  Fts5Context*, in
3060: 74 20 69 50 68 72 61 73 65 2c 20 46 74 73 35 50  t iPhrase, Fts5P
3070: 68 72 61 73 65 49 74 65 72 2a 2c 20 69 6e 74 2a  hraseIter*, int*
3080: 29 3b 0a 20 20 76 6f 69 64 20 28 2a 78 50 68 72  );.  void (*xPhr
3090: 61 73 65 4e 65 78 74 43 6f 6c 75 6d 6e 29 28 46  aseNextColumn)(F
30a0: 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20 46 74 73  ts5Context*, Fts
30b0: 35 50 68 72 61 73 65 49 74 65 72 2a 2c 20 69 6e  5PhraseIter*, in
30c0: 74 20 2a 70 69 43 6f 6c 29 3b 0a 7d 3b 0a 0a 2f  t *piCol);.};../
30d0: 2a 20 0a 2a 2a 20 43 55 53 54 4f 4d 20 41 55 58  * .** CUSTOM AUX
30e0: 49 4c 49 41 52 59 20 46 55 4e 43 54 49 4f 4e 53  ILIARY FUNCTIONS
30f0: 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  .***************
3100: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3110: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3120: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2f 0a 0a 2f 2a 2a  **********/../**
3140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3170: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3180: 2a 2a 2a 2a 2a 2a 2a 0a 2a 2a 20 43 55 53 54 4f  *******.** CUSTO
3190: 4d 20 54 4f 4b 45 4e 49 5a 45 52 53 0a 2a 2a 0a  M TOKENIZERS.**.
31a0: 2a 2a 20 41 70 70 6c 69 63 61 74 69 6f 6e 73 20  ** Applications 
31b0: 6d 61 79 20 61 6c 73 6f 20 72 65 67 69 73 74 65  may also registe
31c0: 72 20 63 75 73 74 6f 6d 20 74 6f 6b 65 6e 69 7a  r custom tokeniz
31d0: 65 72 20 74 79 70 65 73 2e 20 41 20 74 6f 6b 65  er types. A toke
31e0: 6e 69 7a 65 72 20 0a 2a 2a 20 69 73 20 72 65 67  nizer .** is reg
31f0: 69 73 74 65 72 65 64 20 62 79 20 70 72 6f 76 69  istered by provi
3200: 64 69 6e 67 20 66 74 73 35 20 77 69 74 68 20 61  ding fts5 with a
3210: 20 70 6f 70 75 6c 61 74 65 64 20 69 6e 73 74 61   populated insta
3220: 6e 63 65 20 6f 66 20 74 68 65 20 0a 2a 2a 20 66  nce of the .** f
3230: 6f 6c 6c 6f 77 69 6e 67 20 73 74 72 75 63 74 75  ollowing structu
3240: 72 65 2e 20 41 6c 6c 20 73 74 72 75 63 74 75 72  re. All structur
3250: 65 20 6d 65 74 68 6f 64 73 20 6d 75 73 74 20 62  e methods must b
3260: 65 20 64 65 66 69 6e 65 64 2c 20 73 65 74 74 69  e defined, setti
3270: 6e 67 0a 2a 2a 20 61 6e 79 20 6d 65 6d 62 65 72  ng.** any member
3280: 20 6f 66 20 74 68 65 20 66 74 73 35 5f 74 6f 6b   of the fts5_tok
3290: 65 6e 69 7a 65 72 20 73 74 72 75 63 74 20 74 6f  enizer struct to
32a0: 20 4e 55 4c 4c 20 6c 65 61 64 73 20 74 6f 20 75   NULL leads to u
32b0: 6e 64 65 66 69 6e 65 64 0a 2a 2a 20 62 65 68 61  ndefined.** beha
32c0: 76 69 6f 75 72 2e 20 54 68 65 20 73 74 72 75 63  viour. The struc
32d0: 74 75 72 65 20 6d 65 74 68 6f 64 73 20 61 72 65  ture methods are
32e0: 20 65 78 70 65 63 74 65 64 20 74 6f 20 66 75 6e   expected to fun
32f0: 63 74 69 6f 6e 20 61 73 20 66 6f 6c 6c 6f 77 73  ction as follows
3300: 3a 0a 2a 2a 0a 2a 2a 20 78 43 72 65 61 74 65 3a  :.**.** xCreate:
3310: 0a 2a 2a 20 20 20 54 68 69 73 20 66 75 6e 63 74  .**   This funct
3320: 69 6f 6e 20 69 73 20 75 73 65 64 20 74 6f 20 61  ion is used to a
3330: 6c 6c 6f 63 61 74 65 20 61 6e 64 20 69 6e 69 74  llocate and init
3340: 69 61 6c 69 7a 65 20 61 20 74 6f 6b 65 6e 69 7a  ialize a tokeniz
3350: 65 72 20 69 6e 73 74 61 6e 63 65 2e 0a 2a 2a 20  er instance..** 
3360: 20 20 41 20 74 6f 6b 65 6e 69 7a 65 72 20 69 6e    A tokenizer in
3370: 73 74 61 6e 63 65 20 69 73 20 72 65 71 75 69 72  stance is requir
3380: 65 64 20 74 6f 20 61 63 74 75 61 6c 6c 79 20 74  ed to actually t
3390: 6f 6b 65 6e 69 7a 65 20 74 65 78 74 2e 0a 2a 2a  okenize text..**
33a0: 0a 2a 2a 20 20 20 54 68 65 20 66 69 72 73 74 20  .**   The first 
33b0: 61 72 67 75 6d 65 6e 74 20 70 61 73 73 65 64 20  argument passed 
33c0: 74 6f 20 74 68 69 73 20 66 75 6e 63 74 69 6f 6e  to this function
33d0: 20 69 73 20 61 20 63 6f 70 79 20 6f 66 20 74 68   is a copy of th
33e0: 65 20 28 76 6f 69 64 2a 29 0a 2a 2a 20 20 20 70  e (void*).**   p
33f0: 6f 69 6e 74 65 72 20 70 72 6f 76 69 64 65 64 20  ointer provided 
3400: 62 79 20 74 68 65 20 61 70 70 6c 69 63 61 74 69  by the applicati
3410: 6f 6e 20 77 68 65 6e 20 74 68 65 20 66 74 73 35  on when the fts5
3420: 5f 74 6f 6b 65 6e 69 7a 65 72 20 6f 62 6a 65 63  _tokenizer objec
3430: 74 0a 2a 2a 20 20 20 77 61 73 20 72 65 67 69 73  t.**   was regis
3440: 74 65 72 65 64 20 77 69 74 68 20 46 54 53 35 20  tered with FTS5 
3450: 28 74 68 65 20 74 68 69 72 64 20 61 72 67 75 6d  (the third argum
3460: 65 6e 74 20 74 6f 20 78 43 72 65 61 74 65 54 6f  ent to xCreateTo
3470: 6b 65 6e 69 7a 65 72 28 29 29 2e 20 0a 2a 2a 20  kenizer()). .** 
3480: 20 20 54 68 65 20 73 65 63 6f 6e 64 20 61 6e 64    The second and
3490: 20 74 68 69 72 64 20 61 72 67 75 6d 65 6e 74 73   third arguments
34a0: 20 61 72 65 20 61 6e 20 61 72 72 61 79 20 6f 66   are an array of
34b0: 20 6e 75 6c 2d 74 65 72 6d 69 6e 61 74 65 64 20   nul-terminated 
34c0: 73 74 72 69 6e 67 73 0a 2a 2a 20 20 20 63 6f 6e  strings.**   con
34d0: 74 61 69 6e 69 6e 67 20 74 68 65 20 74 6f 6b 65  taining the toke
34e0: 6e 69 7a 65 72 20 61 72 67 75 6d 65 6e 74 73 2c  nizer arguments,
34f0: 20 69 66 20 61 6e 79 2c 20 73 70 65 63 69 66 69   if any, specifi
3500: 65 64 20 66 6f 6c 6c 6f 77 69 6e 67 20 74 68 65  ed following the
3510: 0a 2a 2a 20 20 20 74 6f 6b 65 6e 69 7a 65 72 20  .**   tokenizer 
3520: 6e 61 6d 65 20 61 73 20 70 61 72 74 20 6f 66 20  name as part of 
3530: 74 68 65 20 43 52 45 41 54 45 20 56 49 52 54 55  the CREATE VIRTU
3540: 41 4c 20 54 41 42 4c 45 20 73 74 61 74 65 6d 65  AL TABLE stateme
3550: 6e 74 20 75 73 65 64 0a 2a 2a 20 20 20 74 6f 20  nt used.**   to 
3560: 63 72 65 61 74 65 20 74 68 65 20 46 54 53 35 20  create the FTS5 
3570: 74 61 62 6c 65 2e 0a 2a 2a 0a 2a 2a 20 20 20 54  table..**.**   T
3580: 68 65 20 66 69 6e 61 6c 20 61 72 67 75 6d 65 6e  he final argumen
3590: 74 20 69 73 20 61 6e 20 6f 75 74 70 75 74 20 76  t is an output v
35a0: 61 72 69 61 62 6c 65 2e 20 49 66 20 73 75 63 63  ariable. If succ
35b0: 65 73 73 66 75 6c 2c 20 28 2a 70 70 4f 75 74 29  essful, (*ppOut)
35c0: 20 0a 2a 2a 20 20 20 73 68 6f 75 6c 64 20 62 65   .**   should be
35d0: 20 73 65 74 20 74 6f 20 70 6f 69 6e 74 20 74 6f   set to point to
35e0: 20 74 68 65 20 6e 65 77 20 74 6f 6b 65 6e 69 7a   the new tokeniz
35f0: 65 72 20 68 61 6e 64 6c 65 20 61 6e 64 20 53 51  er handle and SQ
3600: 4c 49 54 45 5f 4f 4b 0a 2a 2a 20 20 20 72 65 74  LITE_OK.**   ret
3610: 75 72 6e 65 64 2e 20 49 66 20 61 6e 20 65 72 72  urned. If an err
3620: 6f 72 20 6f 63 63 75 72 73 2c 20 73 6f 6d 65 20  or occurs, some 
3630: 76 61 6c 75 65 20 6f 74 68 65 72 20 74 68 61 6e  value other than
3640: 20 53 51 4c 49 54 45 5f 4f 4b 20 73 68 6f 75 6c   SQLITE_OK shoul
3650: 64 0a 2a 2a 20 20 20 62 65 20 72 65 74 75 72 6e  d.**   be return
3660: 65 64 2e 20 49 6e 20 74 68 69 73 20 63 61 73 65  ed. In this case
3670: 2c 20 66 74 73 35 20 61 73 73 75 6d 65 73 20 74  , fts5 assumes t
3680: 68 61 74 20 74 68 65 20 66 69 6e 61 6c 20 76 61  hat the final va
3690: 6c 75 65 20 6f 66 20 2a 70 70 4f 75 74 20 0a 2a  lue of *ppOut .*
36a0: 2a 20 20 20 69 73 20 75 6e 64 65 66 69 6e 65 64  *   is undefined
36b0: 2e 0a 2a 2a 0a 2a 2a 20 78 44 65 6c 65 74 65 3a  ..**.** xDelete:
36c0: 0a 2a 2a 20 20 20 54 68 69 73 20 66 75 6e 63 74  .**   This funct
36d0: 69 6f 6e 20 69 73 20 69 6e 76 6f 6b 65 64 20 74  ion is invoked t
36e0: 6f 20 64 65 6c 65 74 65 20 61 20 74 6f 6b 65 6e  o delete a token
36f0: 69 7a 65 72 20 68 61 6e 64 6c 65 20 70 72 65 76  izer handle prev
3700: 69 6f 75 73 6c 79 0a 2a 2a 20 20 20 61 6c 6c 6f  iously.**   allo
3710: 63 61 74 65 64 20 75 73 69 6e 67 20 78 43 72 65  cated using xCre
3720: 61 74 65 28 29 2e 20 46 74 73 35 20 67 75 61 72  ate(). Fts5 guar
3730: 61 6e 74 65 65 73 20 74 68 61 74 20 74 68 69 73  antees that this
3740: 20 66 75 6e 63 74 69 6f 6e 20 77 69 6c 6c 0a 2a   function will.*
3750: 2a 20 20 20 62 65 20 69 6e 76 6f 6b 65 64 20 65  *   be invoked e
3760: 78 61 63 74 6c 79 20 6f 6e 63 65 20 66 6f 72 20  xactly once for 
3770: 65 61 63 68 20 73 75 63 63 65 73 73 66 75 6c 20  each successful 
3780: 63 61 6c 6c 20 74 6f 20 78 43 72 65 61 74 65 28  call to xCreate(
3790: 29 2e 0a 2a 2a 0a 2a 2a 20 78 54 6f 6b 65 6e 69  )..**.** xTokeni
37a0: 7a 65 3a 0a 2a 2a 20 20 20 54 68 69 73 20 66 75  ze:.**   This fu
37b0: 6e 63 74 69 6f 6e 20 69 73 20 65 78 70 65 63 74  nction is expect
37c0: 65 64 20 74 6f 20 74 6f 6b 65 6e 69 7a 65 20 74  ed to tokenize t
37d0: 68 65 20 6e 54 65 78 74 20 62 79 74 65 20 73 74  he nText byte st
37e0: 72 69 6e 67 20 69 6e 64 69 63 61 74 65 64 20 0a  ring indicated .
37f0: 2a 2a 20 20 20 62 79 20 61 72 67 75 6d 65 6e 74  **   by argument
3800: 20 70 54 65 78 74 2e 20 70 54 65 78 74 20 6d 61   pText. pText ma
3810: 79 20 6f 72 20 6d 61 79 20 6e 6f 74 20 62 65 20  y or may not be 
3820: 6e 75 6c 2d 74 65 72 6d 69 6e 61 74 65 64 2e 20  nul-terminated. 
3830: 54 68 65 20 66 69 72 73 74 0a 2a 2a 20 20 20 61  The first.**   a
3840: 72 67 75 6d 65 6e 74 20 70 61 73 73 65 64 20 74  rgument passed t
3850: 6f 20 74 68 69 73 20 66 75 6e 63 74 69 6f 6e 20  o this function 
3860: 69 73 20 61 20 70 6f 69 6e 74 65 72 20 74 6f 20  is a pointer to 
3870: 61 6e 20 46 74 73 35 54 6f 6b 65 6e 69 7a 65 72  an Fts5Tokenizer
3880: 20 6f 62 6a 65 63 74 0a 2a 2a 20 20 20 72 65 74   object.**   ret
3890: 75 72 6e 65 64 20 62 79 20 61 6e 20 65 61 72 6c  urned by an earl
38a0: 69 65 72 20 63 61 6c 6c 20 74 6f 20 78 43 72 65  ier call to xCre
38b0: 61 74 65 28 29 2e 0a 2a 2a 0a 2a 2a 20 20 20 54  ate()..**.**   T
38c0: 68 65 20 73 65 63 6f 6e 64 20 61 72 67 75 6d 65  he second argume
38d0: 6e 74 20 69 6e 64 69 63 61 74 65 73 20 74 68 65  nt indicates the
38e0: 20 72 65 61 73 6f 6e 20 74 68 61 74 20 46 54 53   reason that FTS
38f0: 35 20 69 73 20 72 65 71 75 65 73 74 69 6e 67 0a  5 is requesting.
3900: 2a 2a 20 20 20 74 6f 6b 65 6e 69 7a 61 74 69 6f  **   tokenizatio
3910: 6e 20 6f 66 20 74 68 65 20 73 75 70 70 6c 69 65  n of the supplie
3920: 64 20 74 65 78 74 2e 20 54 68 69 73 20 69 73 20  d text. This is 
3930: 61 6c 77 61 79 73 20 6f 6e 65 20 6f 66 20 74 68  always one of th
3940: 65 20 66 6f 6c 6c 6f 77 69 6e 67 0a 2a 2a 20 20  e following.**  
3950: 20 66 6f 75 72 20 76 61 6c 75 65 73 3a 0a 2a 2a   four values:.**
3960: 0a 2a 2a 20 20 20 3c 75 6c 3e 3c 6c 69 3e 20 3c  .**   <ul><li> <
3970: 62 3e 46 54 53 35 5f 54 4f 4b 45 4e 49 5a 45 5f  b>FTS5_TOKENIZE_
3980: 44 4f 43 55 4d 45 4e 54 3c 2f 62 3e 20 2d 20 41  DOCUMENT</b> - A
3990: 20 64 6f 63 75 6d 65 6e 74 20 69 73 20 62 65 69   document is bei
39a0: 6e 67 20 69 6e 73 65 72 74 65 64 20 69 6e 74 6f  ng inserted into
39b0: 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 6f  .**            o
39c0: 72 20 72 65 6d 6f 76 65 64 20 66 72 6f 6d 20 74  r removed from t
39d0: 68 65 20 46 54 53 20 74 61 62 6c 65 2e 20 54 68  he FTS table. Th
39e0: 65 20 74 6f 6b 65 6e 69 7a 65 72 20 69 73 20 62  e tokenizer is b
39f0: 65 69 6e 67 20 69 6e 76 6f 6b 65 64 20 74 6f 0a  eing invoked to.
3a00: 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 64 65  **            de
3a10: 74 65 72 6d 69 6e 65 20 74 68 65 20 73 65 74 20  termine the set 
3a20: 6f 66 20 74 6f 6b 65 6e 73 20 74 6f 20 61 64 64  of tokens to add
3a30: 20 74 6f 20 28 6f 72 20 64 65 6c 65 74 65 20 66   to (or delete f
3a40: 72 6f 6d 29 20 74 68 65 0a 2a 2a 20 20 20 20 20  rom) the.**     
3a50: 20 20 20 20 20 20 20 46 54 53 20 69 6e 64 65 78         FTS index
3a60: 2e 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 20 3c 6c  ..**.**       <l
3a70: 69 3e 20 3c 62 3e 46 54 53 35 5f 54 4f 4b 45 4e  i> <b>FTS5_TOKEN
3a80: 49 5a 45 5f 51 55 45 52 59 3c 2f 62 3e 20 2d 20  IZE_QUERY</b> - 
3a90: 41 20 4d 41 54 43 48 20 71 75 65 72 79 20 69 73  A MATCH query is
3aa0: 20 62 65 69 6e 67 20 65 78 65 63 75 74 65 64 20   being executed 
3ab0: 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 61  .**            a
3ac0: 67 61 69 6e 73 74 20 74 68 65 20 46 54 53 20 69  gainst the FTS i
3ad0: 6e 64 65 78 2e 20 54 68 65 20 74 6f 6b 65 6e 69  ndex. The tokeni
3ae0: 7a 65 72 20 69 73 20 62 65 69 6e 67 20 63 61 6c  zer is being cal
3af0: 6c 65 64 20 74 6f 20 74 6f 6b 65 6e 69 7a 65 20  led to tokenize 
3b00: 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 61  .**            a
3b10: 20 62 61 72 65 77 6f 72 64 20 6f 72 20 71 75 6f   bareword or quo
3b20: 74 65 64 20 73 74 72 69 6e 67 20 73 70 65 63 69  ted string speci
3b30: 66 69 65 64 20 61 73 20 70 61 72 74 20 6f 66 20  fied as part of 
3b40: 74 68 65 20 71 75 65 72 79 2e 0a 2a 2a 0a 2a 2a  the query..**.**
3b50: 20 20 20 20 20 20 20 3c 6c 69 3e 20 3c 62 3e 28         <li> <b>(
3b60: 46 54 53 35 5f 54 4f 4b 45 4e 49 5a 45 5f 51 55  FTS5_TOKENIZE_QU
3b70: 45 52 59 20 7c 20 46 54 53 35 5f 54 4f 4b 45 4e  ERY | FTS5_TOKEN
3b80: 49 5a 45 5f 50 52 45 46 49 58 29 3c 2f 62 3e 20  IZE_PREFIX)</b> 
3b90: 2d 20 53 61 6d 65 20 61 73 0a 2a 2a 20 20 20 20  - Same as.**    
3ba0: 20 20 20 20 20 20 20 20 46 54 53 35 5f 54 4f 4b          FTS5_TOK
3bb0: 45 4e 49 5a 45 5f 51 55 45 52 59 2c 20 65 78 63  ENIZE_QUERY, exc
3bc0: 65 70 74 20 74 68 61 74 20 74 68 65 20 62 61 72  ept that the bar
3bd0: 65 77 6f 72 64 20 6f 72 20 71 75 6f 74 65 64 20  eword or quoted 
3be0: 73 74 72 69 6e 67 20 69 73 0a 2a 2a 20 20 20 20  string is.**    
3bf0: 20 20 20 20 20 20 20 20 66 6f 6c 6c 6f 77 65 64          followed
3c00: 20 62 79 20 61 20 22 2a 22 20 63 68 61 72 61 63   by a "*" charac
3c10: 74 65 72 2c 20 69 6e 64 69 63 61 74 69 6e 67 20  ter, indicating 
3c20: 74 68 61 74 20 74 68 65 20 6c 61 73 74 20 74 6f  that the last to
3c30: 6b 65 6e 0a 2a 2a 20 20 20 20 20 20 20 20 20 20  ken.**          
3c40: 20 20 72 65 74 75 72 6e 65 64 20 62 79 20 74 68    returned by th
3c50: 65 20 74 6f 6b 65 6e 69 7a 65 72 20 77 69 6c 6c  e tokenizer will
3c60: 20 62 65 20 74 72 65 61 74 65 64 20 61 73 20 61   be treated as a
3c70: 20 74 6f 6b 65 6e 20 70 72 65 66 69 78 2e 0a 2a   token prefix..*
3c80: 2a 0a 2a 2a 20 20 20 20 20 20 20 3c 6c 69 3e 20  *.**       <li> 
3c90: 3c 62 3e 46 54 53 35 5f 54 4f 4b 45 4e 49 5a 45  <b>FTS5_TOKENIZE
3ca0: 5f 41 55 58 3c 2f 62 3e 20 2d 20 54 68 65 20 74  _AUX</b> - The t
3cb0: 6f 6b 65 6e 69 7a 65 72 20 69 73 20 62 65 69 6e  okenizer is bein
3cc0: 67 20 69 6e 76 6f 6b 65 64 20 74 6f 20 0a 2a 2a  g invoked to .**
3cd0: 20 20 20 20 20 20 20 20 20 20 20 20 73 61 74 69              sati
3ce0: 73 66 79 20 61 6e 20 66 74 73 35 5f 61 70 69 2e  sfy an fts5_api.
3cf0: 78 54 6f 6b 65 6e 69 7a 65 28 29 20 72 65 71 75  xTokenize() requ
3d00: 65 73 74 20 6d 61 64 65 20 62 79 20 61 6e 20 61  est made by an a
3d10: 75 78 69 6c 69 61 72 79 0a 2a 2a 20 20 20 20 20  uxiliary.**     
3d20: 20 20 20 20 20 20 20 66 75 6e 63 74 69 6f 6e 2e         function.
3d30: 20 4f 72 20 61 6e 20 66 74 73 35 5f 61 70 69 2e   Or an fts5_api.
3d40: 78 43 6f 6c 75 6d 6e 53 69 7a 65 28 29 20 72 65  xColumnSize() re
3d50: 71 75 65 73 74 20 6d 61 64 65 20 62 79 20 74 68  quest made by th
3d60: 65 20 73 61 6d 65 0a 2a 2a 20 20 20 20 20 20 20  e same.**       
3d70: 20 20 20 20 20 6f 6e 20 61 20 63 6f 6c 75 6d 6e       on a column
3d80: 73 69 7a 65 3d 30 20 64 61 74 61 62 61 73 65 2e  size=0 database.
3d90: 20 20 0a 2a 2a 20 20 20 3c 2f 75 6c 3e 0a 2a 2a    .**   </ul>.**
3da0: 0a 2a 2a 20 20 20 46 6f 72 20 65 61 63 68 20 74  .**   For each t
3db0: 6f 6b 65 6e 20 69 6e 20 74 68 65 20 69 6e 70 75  oken in the inpu
3dc0: 74 20 73 74 72 69 6e 67 2c 20 74 68 65 20 73 75  t string, the su
3dd0: 70 70 6c 69 65 64 20 63 61 6c 6c 62 61 63 6b 20  pplied callback 
3de0: 78 54 6f 6b 65 6e 28 29 20 6d 75 73 74 0a 2a 2a  xToken() must.**
3df0: 20 20 20 62 65 20 69 6e 76 6f 6b 65 64 2e 20 54     be invoked. T
3e00: 68 65 20 66 69 72 73 74 20 61 72 67 75 6d 65 6e  he first argumen
3e10: 74 20 74 6f 20 69 74 20 73 68 6f 75 6c 64 20 62  t to it should b
3e20: 65 20 61 20 63 6f 70 79 20 6f 66 20 74 68 65 20  e a copy of the 
3e30: 70 6f 69 6e 74 65 72 0a 2a 2a 20 20 20 70 61 73  pointer.**   pas
3e40: 73 65 64 20 61 73 20 74 68 65 20 73 65 63 6f 6e  sed as the secon
3e50: 64 20 61 72 67 75 6d 65 6e 74 20 74 6f 20 78 54  d argument to xT
3e60: 6f 6b 65 6e 69 7a 65 28 29 2e 20 54 68 65 20 74  okenize(). The t
3e70: 68 69 72 64 20 61 6e 64 20 66 6f 75 72 74 68 0a  hird and fourth.
3e80: 2a 2a 20 20 20 61 72 67 75 6d 65 6e 74 73 20 61  **   arguments a
3e90: 72 65 20 61 20 70 6f 69 6e 74 65 72 20 74 6f 20  re a pointer to 
3ea0: 61 20 62 75 66 66 65 72 20 63 6f 6e 74 61 69 6e  a buffer contain
3eb0: 69 6e 67 20 74 68 65 20 74 6f 6b 65 6e 20 74 65  ing the token te
3ec0: 78 74 2c 20 61 6e 64 20 74 68 65 0a 2a 2a 20 20  xt, and the.**  
3ed0: 20 73 69 7a 65 20 6f 66 20 74 68 65 20 74 6f 6b   size of the tok
3ee0: 65 6e 20 69 6e 20 62 79 74 65 73 2e 20 54 68 65  en in bytes. The
3ef0: 20 34 74 68 20 61 6e 64 20 35 74 68 20 61 72 67   4th and 5th arg
3f00: 75 6d 65 6e 74 73 20 61 72 65 20 74 68 65 20 62  uments are the b
3f10: 79 74 65 20 6f 66 66 73 65 74 73 0a 2a 2a 20 20  yte offsets.**  
3f20: 20 6f 66 20 74 68 65 20 66 69 72 73 74 20 62 79   of the first by
3f30: 74 65 20 6f 66 20 61 6e 64 20 66 69 72 73 74 20  te of and first 
3f40: 62 79 74 65 20 69 6d 6d 65 64 69 61 74 65 6c 79  byte immediately
3f50: 20 66 6f 6c 6c 6f 77 69 6e 67 20 74 68 65 20 74   following the t
3f60: 65 78 74 20 66 72 6f 6d 0a 2a 2a 20 20 20 77 68  ext from.**   wh
3f70: 69 63 68 20 74 68 65 20 74 6f 6b 65 6e 20 69 73  ich the token is
3f80: 20 64 65 72 69 76 65 64 20 77 69 74 68 69 6e 20   derived within 
3f90: 74 68 65 20 69 6e 70 75 74 2e 0a 2a 2a 0a 2a 2a  the input..**.**
3fa0: 20 20 20 54 68 65 20 73 65 63 6f 6e 64 20 61 72     The second ar
3fb0: 67 75 6d 65 6e 74 20 70 61 73 73 65 64 20 74 6f  gument passed to
3fc0: 20 74 68 65 20 78 54 6f 6b 65 6e 28 29 20 63 61   the xToken() ca
3fd0: 6c 6c 62 61 63 6b 20 28 22 74 66 6c 61 67 73 22  llback ("tflags"
3fe0: 29 20 73 68 6f 75 6c 64 0a 2a 2a 20 20 20 6e 6f  ) should.**   no
3ff0: 72 6d 61 6c 6c 79 20 62 65 20 73 65 74 20 74 6f  rmally be set to
4000: 20 30 2e 20 54 68 65 20 65 78 63 65 70 74 69 6f   0. The exceptio
4010: 6e 20 69 73 20 69 66 20 74 68 65 20 74 6f 6b 65  n is if the toke
4020: 6e 69 7a 65 72 20 73 75 70 70 6f 72 74 73 20 0a  nizer supports .
4030: 2a 2a 20 20 20 73 79 6e 6f 6e 79 6d 73 2e 20 49  **   synonyms. I
4040: 6e 20 74 68 69 73 20 63 61 73 65 20 73 65 65 20  n this case see 
4050: 74 68 65 20 64 69 73 63 75 73 73 69 6f 6e 20 62  the discussion b
4060: 65 6c 6f 77 20 66 6f 72 20 64 65 74 61 69 6c 73  elow for details
4070: 2e 0a 2a 2a 0a 2a 2a 20 20 20 46 54 53 35 20 61  ..**.**   FTS5 a
4080: 73 73 75 6d 65 73 20 74 68 65 20 78 54 6f 6b 65  ssumes the xToke
4090: 6e 28 29 20 63 61 6c 6c 62 61 63 6b 20 69 73 20  n() callback is 
40a0: 69 6e 76 6f 6b 65 64 20 66 6f 72 20 65 61 63 68  invoked for each
40b0: 20 74 6f 6b 65 6e 20 69 6e 20 74 68 65 20 0a 2a   token in the .*
40c0: 2a 20 20 20 6f 72 64 65 72 20 74 68 61 74 20 74  *   order that t
40d0: 68 65 79 20 6f 63 63 75 72 20 77 69 74 68 69 6e  hey occur within
40e0: 20 74 68 65 20 69 6e 70 75 74 20 74 65 78 74 2e   the input text.
40f0: 0a 2a 2a 0a 2a 2a 20 20 20 49 66 20 61 6e 20 78  .**.**   If an x
4100: 54 6f 6b 65 6e 28 29 20 63 61 6c 6c 62 61 63 6b  Token() callback
4110: 20 72 65 74 75 72 6e 73 20 61 6e 79 20 76 61 6c   returns any val
4120: 75 65 20 6f 74 68 65 72 20 74 68 61 6e 20 53 51  ue other than SQ
4130: 4c 49 54 45 5f 4f 4b 2c 20 74 68 65 6e 0a 2a 2a  LITE_OK, then.**
4140: 20 20 20 74 68 65 20 74 6f 6b 65 6e 69 7a 61 74     the tokenizat
4150: 69 6f 6e 20 73 68 6f 75 6c 64 20 62 65 20 61 62  ion should be ab
4160: 61 6e 64 6f 6e 65 64 20 61 6e 64 20 74 68 65 20  andoned and the 
4170: 78 54 6f 6b 65 6e 69 7a 65 28 29 20 6d 65 74 68  xTokenize() meth
4180: 6f 64 20 73 68 6f 75 6c 64 0a 2a 2a 20 20 20 69  od should.**   i
4190: 6d 6d 65 64 69 61 74 65 6c 79 20 72 65 74 75 72  mmediately retur
41a0: 6e 20 61 20 63 6f 70 79 20 6f 66 20 74 68 65 20  n a copy of the 
41b0: 78 54 6f 6b 65 6e 28 29 20 72 65 74 75 72 6e 20  xToken() return 
41c0: 76 61 6c 75 65 2e 20 4f 72 2c 20 69 66 20 74 68  value. Or, if th
41d0: 65 0a 2a 2a 20 20 20 69 6e 70 75 74 20 62 75 66  e.**   input buf
41e0: 66 65 72 20 69 73 20 65 78 68 61 75 73 74 65 64  fer is exhausted
41f0: 2c 20 78 54 6f 6b 65 6e 69 7a 65 28 29 20 73 68  , xTokenize() sh
4200: 6f 75 6c 64 20 72 65 74 75 72 6e 20 53 51 4c 49  ould return SQLI
4210: 54 45 5f 4f 4b 2e 20 46 69 6e 61 6c 6c 79 2c 0a  TE_OK. Finally,.
4220: 2a 2a 20 20 20 69 66 20 61 6e 20 65 72 72 6f 72  **   if an error
4230: 20 6f 63 63 75 72 73 20 77 69 74 68 20 74 68 65   occurs with the
4240: 20 78 54 6f 6b 65 6e 69 7a 65 28 29 20 69 6d 70   xTokenize() imp
4250: 6c 65 6d 65 6e 74 61 74 69 6f 6e 20 69 74 73 65  lementation itse
4260: 6c 66 2c 20 69 74 0a 2a 2a 20 20 20 6d 61 79 20  lf, it.**   may 
4270: 61 62 61 6e 64 6f 6e 20 74 68 65 20 74 6f 6b 65  abandon the toke
4280: 6e 69 7a 61 74 69 6f 6e 20 61 6e 64 20 72 65 74  nization and ret
4290: 75 72 6e 20 61 6e 79 20 65 72 72 6f 72 20 63 6f  urn any error co
42a0: 64 65 20 6f 74 68 65 72 20 74 68 61 6e 0a 2a 2a  de other than.**
42b0: 20 20 20 53 51 4c 49 54 45 5f 4f 4b 20 6f 72 20     SQLITE_OK or 
42c0: 53 51 4c 49 54 45 5f 44 4f 4e 45 2e 0a 2a 2a 0a  SQLITE_DONE..**.
42d0: 2a 2a 20 53 59 4e 4f 4e 59 4d 20 53 55 50 50 4f  ** SYNONYM SUPPO
42e0: 52 54 0a 2a 2a 0a 2a 2a 20 20 20 43 75 73 74 6f  RT.**.**   Custo
42f0: 6d 20 74 6f 6b 65 6e 69 7a 65 72 73 20 6d 61 79  m tokenizers may
4300: 20 61 6c 73 6f 20 73 75 70 70 6f 72 74 20 73 79   also support sy
4310: 6e 6f 6e 79 6d 73 2e 20 43 6f 6e 73 69 64 65 72  nonyms. Consider
4320: 20 61 20 63 61 73 65 20 69 6e 20 77 68 69 63 68   a case in which
4330: 20 61 0a 2a 2a 20 20 20 75 73 65 72 20 77 69 73   a.**   user wis
4340: 68 65 73 20 74 6f 20 71 75 65 72 79 20 66 6f 72  hes to query for
4350: 20 61 20 70 68 72 61 73 65 20 73 75 63 68 20 61   a phrase such a
4360: 73 20 22 66 69 72 73 74 20 70 6c 61 63 65 22 2e  s "first place".
4370: 20 55 73 69 6e 67 20 74 68 65 20 0a 2a 2a 20 20   Using the .**  
4380: 20 62 75 69 6c 74 2d 69 6e 20 74 6f 6b 65 6e 69   built-in tokeni
4390: 7a 65 72 73 2c 20 74 68 65 20 46 54 53 35 20 71  zers, the FTS5 q
43a0: 75 65 72 79 20 27 66 69 72 73 74 20 2b 20 70 6c  uery 'first + pl
43b0: 61 63 65 27 20 77 69 6c 6c 20 6d 61 74 63 68 20  ace' will match 
43c0: 69 6e 73 74 61 6e 63 65 73 0a 2a 2a 20 20 20 6f  instances.**   o
43d0: 66 20 22 66 69 72 73 74 20 70 6c 61 63 65 22 20  f "first place" 
43e0: 77 69 74 68 69 6e 20 74 68 65 20 64 6f 63 75 6d  within the docum
43f0: 65 6e 74 20 73 65 74 2c 20 62 75 74 20 6e 6f 74  ent set, but not
4400: 20 61 6c 74 65 72 6e 61 74 69 76 65 20 66 6f 72   alternative for
4410: 6d 73 0a 2a 2a 20 20 20 73 75 63 68 20 61 73 20  ms.**   such as 
4420: 22 31 73 74 20 70 6c 61 63 65 22 2e 20 49 6e 20  "1st place". In 
4430: 73 6f 6d 65 20 61 70 70 6c 69 63 61 74 69 6f 6e  some application
4440: 73 2c 20 69 74 20 77 6f 75 6c 64 20 62 65 20 62  s, it would be b
4450: 65 74 74 65 72 20 74 6f 20 6d 61 74 63 68 0a 2a  etter to match.*
4460: 2a 20 20 20 61 6c 6c 20 69 6e 73 74 61 6e 63 65  *   all instance
4470: 73 20 6f 66 20 22 66 69 72 73 74 20 70 6c 61 63  s of "first plac
4480: 65 22 20 6f 72 20 22 31 73 74 20 70 6c 61 63 65  e" or "1st place
4490: 22 20 72 65 67 61 72 64 6c 65 73 73 20 6f 66 20  " regardless of 
44a0: 77 68 69 63 68 20 66 6f 72 6d 0a 2a 2a 20 20 20  which form.**   
44b0: 74 68 65 20 75 73 65 72 20 73 70 65 63 69 66 69  the user specifi
44c0: 65 64 20 69 6e 20 74 68 65 20 4d 41 54 43 48 20  ed in the MATCH 
44d0: 71 75 65 72 79 20 74 65 78 74 2e 0a 2a 2a 0a 2a  query text..**.*
44e0: 2a 20 20 20 54 68 65 72 65 20 61 72 65 20 73 65  *   There are se
44f0: 76 65 72 61 6c 20 77 61 79 73 20 74 6f 20 61 70  veral ways to ap
4500: 70 72 6f 61 63 68 20 74 68 69 73 20 69 6e 20 46  proach this in F
4510: 54 53 35 3a 0a 2a 2a 0a 2a 2a 20 20 20 3c 6f 6c  TS5:.**.**   <ol
4520: 3e 3c 6c 69 3e 20 42 79 20 6d 61 70 70 69 6e 67  ><li> By mapping
4530: 20 61 6c 6c 20 73 79 6e 6f 6e 79 6d 73 20 74 6f   all synonyms to
4540: 20 61 20 73 69 6e 67 6c 65 20 74 6f 6b 65 6e 2e   a single token.
4550: 20 49 6e 20 74 68 69 73 20 63 61 73 65 2c 20 74   In this case, t
4560: 68 65 20 0a 2a 2a 20 20 20 20 20 20 20 20 20 20  he .**          
4570: 20 20 49 6e 20 74 68 65 20 61 62 6f 76 65 20 65    In the above e
4580: 78 61 6d 70 6c 65 2c 20 74 68 69 73 20 6d 65 61  xample, this mea
4590: 6e 73 20 74 68 61 74 20 74 68 65 20 74 6f 6b 65  ns that the toke
45a0: 6e 69 7a 65 72 20 72 65 74 75 72 6e 73 20 74 68  nizer returns th
45b0: 65 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20  e.**            
45c0: 73 61 6d 65 20 74 6f 6b 65 6e 20 66 6f 72 20 69  same token for i
45d0: 6e 70 75 74 73 20 22 66 69 72 73 74 22 20 61 6e  nputs "first" an
45e0: 64 20 22 31 73 74 22 2e 20 53 61 79 20 74 68 61  d "1st". Say tha
45f0: 74 20 74 6f 6b 65 6e 20 69 73 20 69 6e 0a 2a 2a  t token is in.**
4600: 20 20 20 20 20 20 20 20 20 20 20 20 66 61 63 74              fact
4610: 20 22 66 69 72 73 74 22 2c 20 73 6f 20 74 68 61   "first", so tha
4620: 74 20 77 68 65 6e 20 74 68 65 20 75 73 65 72 20  t when the user 
4630: 69 6e 73 65 72 74 73 20 74 68 65 20 64 6f 63 75  inserts the docu
4640: 6d 65 6e 74 20 22 49 20 77 6f 6e 0a 2a 2a 20 20  ment "I won.**  
4650: 20 20 20 20 20 20 20 20 20 20 31 73 74 20 70 6c            1st pl
4660: 61 63 65 22 20 65 6e 74 72 69 65 73 20 61 72 65  ace" entries are
4670: 20 61 64 64 65 64 20 74 6f 20 74 68 65 20 69 6e   added to the in
4680: 64 65 78 20 66 6f 72 20 74 6f 6b 65 6e 73 20 22  dex for tokens "
4690: 69 22 2c 20 22 77 6f 6e 22 2c 0a 2a 2a 20 20 20  i", "won",.**   
46a0: 20 20 20 20 20 20 20 20 20 22 66 69 72 73 74 22           "first"
46b0: 20 61 6e 64 20 22 70 6c 61 63 65 22 2e 20 49 66   and "place". If
46c0: 20 74 68 65 20 75 73 65 72 20 74 68 65 6e 20 71   the user then q
46d0: 75 65 72 69 65 73 20 66 6f 72 20 27 31 73 74 20  ueries for '1st 
46e0: 2b 20 70 6c 61 63 65 27 2c 0a 2a 2a 20 20 20 20  + place',.**    
46f0: 20 20 20 20 20 20 20 20 74 68 65 20 74 6f 6b 65          the toke
4700: 6e 69 7a 65 72 20 73 75 62 73 74 69 74 75 74 65  nizer substitute
4710: 73 20 22 66 69 72 73 74 22 20 66 6f 72 20 22 31  s "first" for "1
4720: 73 74 22 20 61 6e 64 20 74 68 65 20 71 75 65 72  st" and the quer
4730: 79 20 77 6f 72 6b 73 0a 2a 2a 20 20 20 20 20 20  y works.**      
4740: 20 20 20 20 20 20 61 73 20 65 78 70 65 63 74 65        as expecte
4750: 64 2e 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 20 3c  d..**.**       <
4760: 6c 69 3e 20 42 79 20 71 75 65 72 79 69 6e 67 20  li> By querying 
4770: 74 68 65 20 69 6e 64 65 78 20 66 6f 72 20 61 6c  the index for al
4780: 6c 20 73 79 6e 6f 6e 79 6d 73 20 6f 66 20 65 61  l synonyms of ea
4790: 63 68 20 71 75 65 72 79 20 74 65 72 6d 0a 2a 2a  ch query term.**
47a0: 20 20 20 20 20 20 20 20 20 20 20 20 73 65 70 61              sepa
47b0: 72 61 74 65 6c 79 2e 20 49 6e 20 74 68 69 73 20  rately. In this 
47c0: 63 61 73 65 2c 20 77 68 65 6e 20 74 6f 6b 65 6e  case, when token
47d0: 69 7a 69 6e 67 20 71 75 65 72 79 20 74 65 78 74  izing query text
47e0: 2c 20 74 68 65 0a 2a 2a 20 20 20 20 20 20 20 20  , the.**        
47f0: 20 20 20 20 74 6f 6b 65 6e 69 7a 65 72 20 6d 61      tokenizer ma
4800: 79 20 70 72 6f 76 69 64 65 20 6d 75 6c 74 69 70  y provide multip
4810: 6c 65 20 73 79 6e 6f 6e 79 6d 73 20 66 6f 72 20  le synonyms for 
4820: 61 20 73 69 6e 67 6c 65 20 74 65 72 6d 20 0a 2a  a single term .*
4830: 2a 20 20 20 20 20 20 20 20 20 20 20 20 77 69 74  *            wit
4840: 68 69 6e 20 74 68 65 20 64 6f 63 75 6d 65 6e 74  hin the document
4850: 2e 20 46 54 53 35 20 74 68 65 6e 20 71 75 65 72  . FTS5 then quer
4860: 69 65 73 20 74 68 65 20 69 6e 64 65 78 20 66 6f  ies the index fo
4870: 72 20 65 61 63 68 20 0a 2a 2a 20 20 20 20 20 20  r each .**      
4880: 20 20 20 20 20 20 73 79 6e 6f 6e 79 6d 20 69 6e        synonym in
4890: 64 69 76 69 64 75 61 6c 6c 79 2e 20 46 6f 72 20  dividually. For 
48a0: 65 78 61 6d 70 6c 65 2c 20 66 61 63 65 64 20 77  example, faced w
48b0: 69 74 68 20 74 68 65 20 71 75 65 72 79 3a 0a 2a  ith the query:.*
48c0: 2a 0a 2a 2a 20 20 20 3c 63 6f 64 65 62 6c 6f 63  *.**   <codebloc
48d0: 6b 3e 0a 2a 2a 20 20 20 20 20 2e 2e 2e 20 4d 41  k>.**     ... MA
48e0: 54 43 48 20 27 66 69 72 73 74 20 70 6c 61 63 65  TCH 'first place
48f0: 27 3c 2f 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2a 2a  '</codeblock>.**
4900: 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 74  .**            t
4910: 68 65 20 74 6f 6b 65 6e 69 7a 65 72 20 6f 66 66  he tokenizer off
4920: 65 72 73 20 62 6f 74 68 20 22 31 73 74 22 20 61  ers both "1st" a
4930: 6e 64 20 22 66 69 72 73 74 22 20 61 73 20 73 79  nd "first" as sy
4940: 6e 6f 6e 79 6d 73 20 66 6f 72 20 74 68 65 0a 2a  nonyms for the.*
4950: 2a 20 20 20 20 20 20 20 20 20 20 20 20 66 69 72  *            fir
4960: 73 74 20 74 6f 6b 65 6e 20 69 6e 20 74 68 65 20  st token in the 
4970: 4d 41 54 43 48 20 71 75 65 72 79 20 61 6e 64 20  MATCH query and 
4980: 46 54 53 35 20 65 66 66 65 63 74 69 76 65 6c 79  FTS5 effectively
4990: 20 72 75 6e 73 20 61 20 71 75 65 72 79 20 0a 2a   runs a query .*
49a0: 2a 20 20 20 20 20 20 20 20 20 20 20 20 73 69 6d  *            sim
49b0: 69 6c 61 72 20 74 6f 3a 0a 2a 2a 0a 2a 2a 20 20  ilar to:.**.**  
49c0: 20 3c 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2a 2a 20   <codeblock>.** 
49d0: 20 20 20 20 2e 2e 2e 20 4d 41 54 43 48 20 27 28      ... MATCH '(
49e0: 66 69 72 73 74 20 4f 52 20 31 73 74 29 20 70 6c  first OR 1st) pl
49f0: 61 63 65 27 3c 2f 63 6f 64 65 62 6c 6f 63 6b 3e  ace'</codeblock>
4a00: 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 20 20 20 20  .**.**          
4a10: 20 20 65 78 63 65 70 74 20 74 68 61 74 2c 20 66    except that, f
4a20: 6f 72 20 74 68 65 20 70 75 72 70 6f 73 65 73 20  or the purposes 
4a30: 6f 66 20 61 75 78 69 6c 69 61 72 79 20 66 75 6e  of auxiliary fun
4a40: 63 74 69 6f 6e 73 2c 20 74 68 65 20 71 75 65 72  ctions, the quer
4a50: 79 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20  y.**            
4a60: 73 74 69 6c 6c 20 61 70 70 65 61 72 73 20 74 6f  still appears to
4a70: 20 63 6f 6e 74 61 69 6e 20 6a 75 73 74 20 74 77   contain just tw
4a80: 6f 20 70 68 72 61 73 65 73 20 2d 20 22 28 66 69  o phrases - "(fi
4a90: 72 73 74 20 4f 52 20 31 73 74 29 22 20 0a 2a 2a  rst OR 1st)" .**
4aa0: 20 20 20 20 20 20 20 20 20 20 20 20 62 65 69 6e              bein
4ab0: 67 20 74 72 65 61 74 65 64 20 61 73 20 61 20 73  g treated as a s
4ac0: 69 6e 67 6c 65 20 70 68 72 61 73 65 2e 0a 2a 2a  ingle phrase..**
4ad0: 0a 2a 2a 20 20 20 20 20 20 20 3c 6c 69 3e 20 42  .**       <li> B
4ae0: 79 20 61 64 64 69 6e 67 20 6d 75 6c 74 69 70 6c  y adding multipl
4af0: 65 20 73 79 6e 6f 6e 79 6d 73 20 66 6f 72 20 61  e synonyms for a
4b00: 20 73 69 6e 67 6c 65 20 74 65 72 6d 20 74 6f 20   single term to 
4b10: 74 68 65 20 46 54 53 20 69 6e 64 65 78 2e 0a 2a  the FTS index..*
4b20: 2a 20 20 20 20 20 20 20 20 20 20 20 20 55 73 69  *            Usi
4b30: 6e 67 20 74 68 69 73 20 6d 65 74 68 6f 64 2c 20  ng this method, 
4b40: 77 68 65 6e 20 74 6f 6b 65 6e 69 7a 69 6e 67 20  when tokenizing 
4b50: 64 6f 63 75 6d 65 6e 74 20 74 65 78 74 2c 20 74  document text, t
4b60: 68 65 20 74 6f 6b 65 6e 69 7a 65 72 0a 2a 2a 20  he tokenizer.** 
4b70: 20 20 20 20 20 20 20 20 20 20 20 70 72 6f 76 69             provi
4b80: 64 65 73 20 6d 75 6c 74 69 70 6c 65 20 73 79 6e  des multiple syn
4b90: 6f 6e 79 6d 73 20 66 6f 72 20 65 61 63 68 20 74  onyms for each t
4ba0: 6f 6b 65 6e 2e 20 53 6f 20 74 68 61 74 20 77 68  oken. So that wh
4bb0: 65 6e 20 61 20 0a 2a 2a 20 20 20 20 20 20 20 20  en a .**        
4bc0: 20 20 20 20 64 6f 63 75 6d 65 6e 74 20 73 75 63      document suc
4bd0: 68 20 61 73 20 22 49 20 77 6f 6e 20 66 69 72 73  h as "I won firs
4be0: 74 20 70 6c 61 63 65 22 20 69 73 20 74 6f 6b 65  t place" is toke
4bf0: 6e 69 7a 65 64 2c 20 65 6e 74 72 69 65 73 20 61  nized, entries a
4c00: 72 65 0a 2a 2a 20 20 20 20 20 20 20 20 20 20 20  re.**           
4c10: 20 61 64 64 65 64 20 74 6f 20 74 68 65 20 46 54   added to the FT
4c20: 53 20 69 6e 64 65 78 20 66 6f 72 20 22 69 22 2c  S index for "i",
4c30: 20 22 77 6f 6e 22 2c 20 22 66 69 72 73 74 22 2c   "won", "first",
4c40: 20 22 31 73 74 22 20 61 6e 64 0a 2a 2a 20 20 20   "1st" and.**   
4c50: 20 20 20 20 20 20 20 20 20 22 70 6c 61 63 65 22           "place"
4c60: 2e 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 20 20 20  ..**.**         
4c70: 20 20 20 54 68 69 73 20 77 61 79 2c 20 65 76 65     This way, eve
4c80: 6e 20 69 66 20 74 68 65 20 74 6f 6b 65 6e 69 7a  n if the tokeniz
4c90: 65 72 20 64 6f 65 73 20 6e 6f 74 20 70 72 6f 76  er does not prov
4ca0: 69 64 65 20 73 79 6e 6f 6e 79 6d 73 0a 2a 2a 20  ide synonyms.** 
4cb0: 20 20 20 20 20 20 20 20 20 20 20 77 68 65 6e 20             when 
4cc0: 74 6f 6b 65 6e 69 7a 69 6e 67 20 71 75 65 72 79  tokenizing query
4cd0: 20 74 65 78 74 20 28 69 74 20 73 68 6f 75 6c 64   text (it should
4ce0: 20 6e 6f 74 20 2d 20 74 6f 20 64 6f 20 73 6f 20   not - to do so 
4cf0: 77 6f 75 6c 64 20 62 65 0a 2a 2a 20 20 20 20 20  would be.**     
4d00: 20 20 20 20 20 20 20 69 6e 65 66 66 69 63 69 65         inefficie
4d10: 6e 74 29 2c 20 69 74 20 64 6f 65 73 6e 27 74 20  nt), it doesn't 
4d20: 6d 61 74 74 65 72 20 69 66 20 74 68 65 20 75 73  matter if the us
4d30: 65 72 20 71 75 65 72 69 65 73 20 66 6f 72 20 0a  er queries for .
4d40: 2a 2a 20 20 20 20 20 20 20 20 20 20 20 20 27 66  **            'f
4d50: 69 72 73 74 20 2b 20 70 6c 61 63 65 27 20 6f 72  irst + place' or
4d60: 20 27 31 73 74 20 2b 20 70 6c 61 63 65 27 2c 20   '1st + place', 
4d70: 61 73 20 74 68 65 72 65 20 61 72 65 20 65 6e 74  as there are ent
4d80: 72 69 65 73 20 69 6e 20 74 68 65 0a 2a 2a 20 20  ries in the.**  
4d90: 20 20 20 20 20 20 20 20 20 20 46 54 53 20 69 6e            FTS in
4da0: 64 65 78 20 63 6f 72 72 65 73 70 6f 6e 64 69 6e  dex correspondin
4db0: 67 20 74 6f 20 62 6f 74 68 20 66 6f 72 6d 73 20  g to both forms 
4dc0: 6f 66 20 74 68 65 20 66 69 72 73 74 20 74 6f 6b  of the first tok
4dd0: 65 6e 2e 0a 2a 2a 20 20 20 3c 2f 6f 6c 3e 0a 2a  en..**   </ol>.*
4de0: 2a 0a 2a 2a 20 20 20 57 68 65 74 68 65 72 20 69  *.**   Whether i
4df0: 74 20 69 73 20 70 61 72 73 69 6e 67 20 64 6f 63  t is parsing doc
4e00: 75 6d 65 6e 74 20 6f 72 20 71 75 65 72 79 20 74  ument or query t
4e10: 65 78 74 2c 20 61 6e 79 20 63 61 6c 6c 20 74 6f  ext, any call to
4e20: 20 78 54 6f 6b 65 6e 20 74 68 61 74 0a 2a 2a 20   xToken that.** 
4e30: 20 20 73 70 65 63 69 66 69 65 73 20 61 20 3c 69    specifies a <i
4e40: 3e 74 66 6c 61 67 73 3c 2f 69 3e 20 61 72 67 75  >tflags</i> argu
4e50: 6d 65 6e 74 20 77 69 74 68 20 74 68 65 20 46 54  ment with the FT
4e60: 53 35 5f 54 4f 4b 45 4e 5f 43 4f 4c 4f 43 41 54  S5_TOKEN_COLOCAT
4e70: 45 44 20 62 69 74 0a 2a 2a 20 20 20 69 73 20 63  ED bit.**   is c
4e80: 6f 6e 73 69 64 65 72 65 64 20 74 6f 20 73 75 70  onsidered to sup
4e90: 70 6c 79 20 61 20 73 79 6e 6f 6e 79 6d 20 66 6f  ply a synonym fo
4ea0: 72 20 74 68 65 20 70 72 65 76 69 6f 75 73 20 74  r the previous t
4eb0: 6f 6b 65 6e 2e 20 46 6f 72 20 65 78 61 6d 70 6c  oken. For exampl
4ec0: 65 2c 0a 2a 2a 20 20 20 77 68 65 6e 20 70 61 72  e,.**   when par
4ed0: 73 69 6e 67 20 74 68 65 20 64 6f 63 75 6d 65 6e  sing the documen
4ee0: 74 20 22 49 20 77 6f 6e 20 66 69 72 73 74 20 70  t "I won first p
4ef0: 6c 61 63 65 22 2c 20 61 20 74 6f 6b 65 6e 69 7a  lace", a tokeniz
4f00: 65 72 20 74 68 61 74 20 73 75 70 70 6f 72 74 73  er that supports
4f10: 0a 2a 2a 20 20 20 73 79 6e 6f 6e 79 6d 73 20 77  .**   synonyms w
4f20: 6f 75 6c 64 20 63 61 6c 6c 20 78 54 6f 6b 65 6e  ould call xToken
4f30: 28 29 20 35 20 74 69 6d 65 73 2c 20 61 73 20 66  () 5 times, as f
4f40: 6f 6c 6c 6f 77 73 3a 0a 2a 2a 0a 2a 2a 20 20 20  ollows:.**.**   
4f50: 3c 63 6f 64 65 62 6c 6f 63 6b 3e 0a 2a 2a 20 20  <codeblock>.**  
4f60: 20 20 20 20 20 78 54 6f 6b 65 6e 28 70 43 74 78       xToken(pCtx
4f70: 2c 20 30 2c 20 22 69 22 2c 20 20 20 20 20 20 20  , 0, "i",       
4f80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 31                 1
4f90: 2c 20 20 30 2c 20 20 31 29 3b 0a 2a 2a 20 20 20  ,  0,  1);.**   
4fa0: 20 20 20 20 78 54 6f 6b 65 6e 28 70 43 74 78 2c      xToken(pCtx,
4fb0: 20 30 2c 20 22 77 6f 6e 22 2c 20 20 20 20 20 20   0, "won",      
4fc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 33 2c                3,
4fd0: 20 20 32 2c 20 20 35 29 3b 0a 2a 2a 20 20 20 20    2,  5);.**    
4fe0: 20 20 20 78 54 6f 6b 65 6e 28 70 43 74 78 2c 20     xToken(pCtx, 
4ff0: 30 2c 20 22 66 69 72 73 74 22 2c 20 20 20 20 20  0, "first",     
5000: 20 20 20 20 20 20 20 20 20 20 20 20 20 35 2c 20               5, 
5010: 20 36 2c 20 31 31 29 3b 0a 2a 2a 20 20 20 20 20   6, 11);.**     
5020: 20 20 78 54 6f 6b 65 6e 28 70 43 74 78 2c 20 46    xToken(pCtx, F
5030: 54 53 35 5f 54 4f 4b 45 4e 5f 43 4f 4c 4f 43 41  TS5_TOKEN_COLOCA
5040: 54 45 44 2c 20 22 31 73 74 22 2c 20 33 2c 20 20  TED, "1st", 3,  
5050: 36 2c 20 31 31 29 3b 0a 2a 2a 20 20 20 20 20 20  6, 11);.**      
5060: 20 78 54 6f 6b 65 6e 28 70 43 74 78 2c 20 30 2c   xToken(pCtx, 0,
5070: 20 22 70 6c 61 63 65 22 2c 20 20 20 20 20 20 20   "place",       
5080: 20 20 20 20 20 20 20 20 20 20 20 35 2c 20 31 32             5, 12
5090: 2c 20 31 37 29 3b 0a 2a 2a 3c 2f 63 6f 64 65 62  , 17);.**</codeb
50a0: 6c 6f 63 6b 3e 0a 2a 2a 0a 2a 2a 20 20 20 49 74  lock>.**.**   It
50b0: 20 69 73 20 61 6e 20 65 72 72 6f 72 20 74 6f 20   is an error to 
50c0: 73 70 65 63 69 66 79 20 74 68 65 20 46 54 53 35  specify the FTS5
50d0: 5f 54 4f 4b 45 4e 5f 43 4f 4c 4f 43 41 54 45 44  _TOKEN_COLOCATED
50e0: 20 66 6c 61 67 20 74 68 65 20 66 69 72 73 74 20   flag the first 
50f0: 74 69 6d 65 0a 2a 2a 20 20 20 78 54 6f 6b 65 6e  time.**   xToken
5100: 28 29 20 69 73 20 63 61 6c 6c 65 64 2e 20 4d 75  () is called. Mu
5110: 6c 74 69 70 6c 65 20 73 79 6e 6f 6e 79 6d 73 20  ltiple synonyms 
5120: 6d 61 79 20 62 65 20 73 70 65 63 69 66 69 65 64  may be specified
5130: 20 66 6f 72 20 61 20 73 69 6e 67 6c 65 20 74 6f   for a single to
5140: 6b 65 6e 0a 2a 2a 20 20 20 62 79 20 6d 61 6b 69  ken.**   by maki
5150: 6e 67 20 6d 75 6c 74 69 70 6c 65 20 63 61 6c 6c  ng multiple call
5160: 73 20 74 6f 20 78 54 6f 6b 65 6e 28 46 54 53 35  s to xToken(FTS5
5170: 5f 54 4f 4b 45 4e 5f 43 4f 4c 4f 43 41 54 45 44  _TOKEN_COLOCATED
5180: 29 20 69 6e 20 73 65 71 75 65 6e 63 65 2e 20 0a  ) in sequence. .
5190: 2a 2a 20 20 20 54 68 65 72 65 20 69 73 20 6e 6f  **   There is no
51a0: 20 6c 69 6d 69 74 20 74 6f 20 74 68 65 20 6e 75   limit to the nu
51b0: 6d 62 65 72 20 6f 66 20 73 79 6e 6f 6e 79 6d 73  mber of synonyms
51c0: 20 74 68 61 74 20 6d 61 79 20 62 65 20 70 72 6f   that may be pro
51d0: 76 69 64 65 64 20 66 6f 72 20 61 0a 2a 2a 20 20  vided for a.**  
51e0: 20 73 69 6e 67 6c 65 20 74 6f 6b 65 6e 2e 0a 2a   single token..*
51f0: 2a 0a 2a 2a 20 20 20 49 6e 20 6d 61 6e 79 20 63  *.**   In many c
5200: 61 73 65 73 2c 20 6d 65 74 68 6f 64 20 28 31 29  ases, method (1)
5210: 20 61 62 6f 76 65 20 69 73 20 74 68 65 20 62 65   above is the be
5220: 73 74 20 61 70 70 72 6f 61 63 68 2e 20 49 74 20  st approach. It 
5230: 64 6f 65 73 20 6e 6f 74 20 61 64 64 20 0a 2a 2a  does not add .**
5240: 20 20 20 65 78 74 72 61 20 64 61 74 61 20 74 6f     extra data to
5250: 20 74 68 65 20 46 54 53 20 69 6e 64 65 78 20 6f   the FTS index o
5260: 72 20 72 65 71 75 69 72 65 20 46 54 53 35 20 74  r require FTS5 t
5270: 6f 20 71 75 65 72 79 20 66 6f 72 20 6d 75 6c 74  o query for mult
5280: 69 70 6c 65 20 74 65 72 6d 73 2c 0a 2a 2a 20 20  iple terms,.**  
5290: 20 73 6f 20 69 74 20 69 73 20 65 66 66 69 63 69   so it is effici
52a0: 65 6e 74 20 69 6e 20 74 65 72 6d 73 20 6f 66 20  ent in terms of 
52b0: 64 69 73 6b 20 73 70 61 63 65 20 61 6e 64 20 71  disk space and q
52c0: 75 65 72 79 20 73 70 65 65 64 2e 20 48 6f 77 65  uery speed. Howe
52d0: 76 65 72 2c 20 69 74 0a 2a 2a 20 20 20 64 6f 65  ver, it.**   doe
52e0: 73 20 6e 6f 74 20 73 75 70 70 6f 72 74 20 70 72  s not support pr
52f0: 65 66 69 78 20 71 75 65 72 69 65 73 20 76 65 72  efix queries ver
5300: 79 20 77 65 6c 6c 2e 20 49 66 2c 20 61 73 20 73  y well. If, as s
5310: 75 67 67 65 73 74 65 64 20 61 62 6f 76 65 2c 20  uggested above, 
5320: 74 68 65 0a 2a 2a 20 20 20 74 6f 6b 65 6e 20 22  the.**   token "
5330: 66 69 72 73 74 22 20 69 73 20 73 75 62 73 74 69  first" is substi
5340: 74 75 74 65 64 20 66 6f 72 20 22 31 73 74 22 20  tuted for "1st" 
5350: 62 79 20 74 68 65 20 74 6f 6b 65 6e 69 7a 65 72  by the tokenizer
5360: 2c 20 74 68 65 6e 20 74 68 65 20 71 75 65 72 79  , then the query
5370: 3a 0a 2a 2a 0a 2a 2a 20 20 20 3c 63 6f 64 65 62  :.**.**   <codeb
5380: 6c 6f 63 6b 3e 0a 2a 2a 20 20 20 20 20 2e 2e 2e  lock>.**     ...
5390: 20 4d 41 54 43 48 20 27 31 73 2a 27 3c 2f 63 6f   MATCH '1s*'</co
53a0: 64 65 62 6c 6f 63 6b 3e 0a 2a 2a 0a 2a 2a 20 20  deblock>.**.**  
53b0: 20 77 69 6c 6c 20 6e 6f 74 20 6d 61 74 63 68 20   will not match 
53c0: 64 6f 63 75 6d 65 6e 74 73 20 74 68 61 74 20 63  documents that c
53d0: 6f 6e 74 61 69 6e 20 74 68 65 20 74 6f 6b 65 6e  ontain the token
53e0: 20 22 31 73 74 22 20 28 61 73 20 74 68 65 20 74   "1st" (as the t
53f0: 6f 6b 65 6e 69 7a 65 72 0a 2a 2a 20 20 20 77 69  okenizer.**   wi
5400: 6c 6c 20 70 72 6f 62 61 62 6c 79 20 6e 6f 74 20  ll probably not 
5410: 6d 61 70 20 22 31 73 22 20 74 6f 20 61 6e 79 20  map "1s" to any 
5420: 70 72 65 66 69 78 20 6f 66 20 22 66 69 72 73 74  prefix of "first
5430: 22 29 2e 0a 2a 2a 0a 2a 2a 20 20 20 46 6f 72 20  ")..**.**   For 
5440: 66 75 6c 6c 20 70 72 65 66 69 78 20 73 75 70 70  full prefix supp
5450: 6f 72 74 2c 20 6d 65 74 68 6f 64 20 28 33 29 20  ort, method (3) 
5460: 6d 61 79 20 62 65 20 70 72 65 66 65 72 72 65 64  may be preferred
5470: 2e 20 49 6e 20 74 68 69 73 20 63 61 73 65 2c 20  . In this case, 
5480: 0a 2a 2a 20 20 20 62 65 63 61 75 73 65 20 74 68  .**   because th
5490: 65 20 69 6e 64 65 78 20 63 6f 6e 74 61 69 6e 73  e index contains
54a0: 20 65 6e 74 72 69 65 73 20 66 6f 72 20 62 6f 74   entries for bot
54b0: 68 20 22 66 69 72 73 74 22 20 61 6e 64 20 22 31  h "first" and "1
54c0: 73 74 22 2c 20 70 72 65 66 69 78 0a 2a 2a 20 20  st", prefix.**  
54d0: 20 71 75 65 72 69 65 73 20 73 75 63 68 20 61 73   queries such as
54e0: 20 27 66 69 2a 27 20 6f 72 20 27 31 73 2a 27 20   'fi*' or '1s*' 
54f0: 77 69 6c 6c 20 6d 61 74 63 68 20 63 6f 72 72 65  will match corre
5500: 63 74 6c 79 2e 20 48 6f 77 65 76 65 72 2c 20 62  ctly. However, b
5510: 65 63 61 75 73 65 0a 2a 2a 20 20 20 65 78 74 72  ecause.**   extr
5520: 61 20 65 6e 74 72 69 65 73 20 61 72 65 20 61 64  a entries are ad
5530: 64 65 64 20 74 6f 20 74 68 65 20 46 54 53 20 69  ded to the FTS i
5540: 6e 64 65 78 2c 20 74 68 69 73 20 6d 65 74 68 6f  ndex, this metho
5550: 64 20 75 73 65 73 20 6d 6f 72 65 20 73 70 61 63  d uses more spac
5560: 65 0a 2a 2a 20 20 20 77 69 74 68 69 6e 20 74 68  e.**   within th
5570: 65 20 64 61 74 61 62 61 73 65 2e 0a 2a 2a 0a 2a  e database..**.*
5580: 2a 20 20 20 4d 65 74 68 6f 64 20 28 32 29 20 6f  *   Method (2) o
5590: 66 66 65 72 73 20 61 20 6d 69 64 70 6f 69 6e 74  ffers a midpoint
55a0: 20 62 65 74 77 65 65 6e 20 28 31 29 20 61 6e 64   between (1) and
55b0: 20 28 33 29 2e 20 55 73 69 6e 67 20 74 68 69 73   (3). Using this
55c0: 20 6d 65 74 68 6f 64 2c 0a 2a 2a 20 20 20 61 20   method,.**   a 
55d0: 71 75 65 72 79 20 73 75 63 68 20 61 73 20 27 31  query such as '1
55e0: 73 2a 27 20 77 69 6c 6c 20 6d 61 74 63 68 20 64  s*' will match d
55f0: 6f 63 75 6d 65 6e 74 73 20 74 68 61 74 20 63 6f  ocuments that co
5600: 6e 74 61 69 6e 20 74 68 65 20 6c 69 74 65 72 61  ntain the litera
5610: 6c 20 0a 2a 2a 20 20 20 74 6f 6b 65 6e 20 22 31  l .**   token "1
5620: 73 74 22 2c 20 62 75 74 20 6e 6f 74 20 22 66 69  st", but not "fi
5630: 72 73 74 22 20 28 61 73 73 75 6d 69 6e 67 20 74  rst" (assuming t
5640: 68 65 20 74 6f 6b 65 6e 69 7a 65 72 20 69 73 20  he tokenizer is 
5650: 6e 6f 74 20 61 62 6c 65 20 74 6f 0a 2a 2a 20 20  not able to.**  
5660: 20 70 72 6f 76 69 64 65 20 73 79 6e 6f 6e 79 6d   provide synonym
5670: 73 20 66 6f 72 20 70 72 65 66 69 78 65 73 29 2e  s for prefixes).
5680: 20 48 6f 77 65 76 65 72 2c 20 61 20 6e 6f 6e 2d   However, a non-
5690: 70 72 65 66 69 78 20 71 75 65 72 79 20 6c 69 6b  prefix query lik
56a0: 65 20 27 31 73 74 27 0a 2a 2a 20 20 20 77 69 6c  e '1st'.**   wil
56b0: 6c 20 6d 61 74 63 68 20 61 67 61 69 6e 73 74 20  l match against 
56c0: 22 31 73 74 22 20 61 6e 64 20 22 66 69 72 73 74  "1st" and "first
56d0: 22 2e 20 54 68 69 73 20 6d 65 74 68 6f 64 20 64  ". This method d
56e0: 6f 65 73 20 6e 6f 74 20 72 65 71 75 69 72 65 0a  oes not require.
56f0: 2a 2a 20 20 20 65 78 74 72 61 20 64 69 73 6b 20  **   extra disk 
5700: 73 70 61 63 65 2c 20 61 73 20 6e 6f 20 65 78 74  space, as no ext
5710: 72 61 20 65 6e 74 72 69 65 73 20 61 72 65 20 61  ra entries are a
5720: 64 64 65 64 20 74 6f 20 74 68 65 20 46 54 53 20  dded to the FTS 
5730: 69 6e 64 65 78 2e 20 0a 2a 2a 20 20 20 4f 6e 20  index. .**   On 
5740: 74 68 65 20 6f 74 68 65 72 20 68 61 6e 64 2c 20  the other hand, 
5750: 69 74 20 6d 61 79 20 72 65 71 75 69 72 65 20 6d  it may require m
5760: 6f 72 65 20 43 50 55 20 63 79 63 6c 65 73 20 74  ore CPU cycles t
5770: 6f 20 72 75 6e 20 4d 41 54 43 48 20 71 75 65 72  o run MATCH quer
5780: 69 65 73 2c 0a 2a 2a 20 20 20 61 73 20 73 65 70  ies,.**   as sep
5790: 61 72 61 74 65 20 71 75 65 72 69 65 73 20 6f 66  arate queries of
57a0: 20 74 68 65 20 46 54 53 20 69 6e 64 65 78 20 61   the FTS index a
57b0: 72 65 20 72 65 71 75 69 72 65 64 20 66 6f 72 20  re required for 
57c0: 65 61 63 68 20 73 79 6e 6f 6e 79 6d 2e 0a 2a 2a  each synonym..**
57d0: 0a 2a 2a 20 20 20 57 68 65 6e 20 75 73 69 6e 67  .**   When using
57e0: 20 6d 65 74 68 6f 64 73 20 28 32 29 20 6f 72 20   methods (2) or 
57f0: 28 33 29 2c 20 69 74 20 69 73 20 69 6d 70 6f 72  (3), it is impor
5800: 74 61 6e 74 20 74 68 61 74 20 74 68 65 20 74 6f  tant that the to
5810: 6b 65 6e 69 7a 65 72 20 6f 6e 6c 79 0a 2a 2a 20  kenizer only.** 
5820: 20 20 70 72 6f 76 69 64 65 20 73 79 6e 6f 6e 79    provide synony
5830: 6d 73 20 77 68 65 6e 20 74 6f 6b 65 6e 69 7a 69  ms when tokenizi
5840: 6e 67 20 64 6f 63 75 6d 65 6e 74 20 74 65 78 74  ng document text
5850: 20 28 6d 65 74 68 6f 64 20 28 32 29 29 20 6f 72   (method (2)) or
5860: 20 71 75 65 72 79 0a 2a 2a 20 20 20 74 65 78 74   query.**   text
5870: 20 28 6d 65 74 68 6f 64 20 28 33 29 29 2c 20 6e   (method (3)), n
5880: 6f 74 20 62 6f 74 68 2e 20 44 6f 69 6e 67 20 73  ot both. Doing s
5890: 6f 20 77 69 6c 6c 20 6e 6f 74 20 63 61 75 73 65  o will not cause
58a0: 20 61 6e 79 20 65 72 72 6f 72 73 2c 20 62 75 74   any errors, but
58b0: 20 69 73 0a 2a 2a 20 20 20 69 6e 65 66 66 69 63   is.**   ineffic
58c0: 69 65 6e 74 2e 0a 2a 2f 0a 74 79 70 65 64 65 66  ient..*/.typedef
58d0: 20 73 74 72 75 63 74 20 46 74 73 35 54 6f 6b 65   struct Fts5Toke
58e0: 6e 69 7a 65 72 20 46 74 73 35 54 6f 6b 65 6e 69  nizer Fts5Tokeni
58f0: 7a 65 72 3b 0a 74 79 70 65 64 65 66 20 73 74 72  zer;.typedef str
5900: 75 63 74 20 66 74 73 35 5f 74 6f 6b 65 6e 69 7a  uct fts5_tokeniz
5910: 65 72 20 66 74 73 35 5f 74 6f 6b 65 6e 69 7a 65  er fts5_tokenize
5920: 72 3b 0a 73 74 72 75 63 74 20 66 74 73 35 5f 74  r;.struct fts5_t
5930: 6f 6b 65 6e 69 7a 65 72 20 7b 0a 20 20 69 6e 74  okenizer {.  int
5940: 20 28 2a 78 43 72 65 61 74 65 29 28 76 6f 69 64   (*xCreate)(void
5950: 2a 2c 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 2a  *, const char **
5960: 61 7a 41 72 67 2c 20 69 6e 74 20 6e 41 72 67 2c  azArg, int nArg,
5970: 20 46 74 73 35 54 6f 6b 65 6e 69 7a 65 72 20 2a   Fts5Tokenizer *
5980: 2a 70 70 4f 75 74 29 3b 0a 20 20 76 6f 69 64 20  *ppOut);.  void 
5990: 28 2a 78 44 65 6c 65 74 65 29 28 46 74 73 35 54  (*xDelete)(Fts5T
59a0: 6f 6b 65 6e 69 7a 65 72 2a 29 3b 0a 20 20 69 6e  okenizer*);.  in
59b0: 74 20 28 2a 78 54 6f 6b 65 6e 69 7a 65 29 28 46  t (*xTokenize)(F
59c0: 74 73 35 54 6f 6b 65 6e 69 7a 65 72 2a 2c 20 0a  ts5Tokenizer*, .
59d0: 20 20 20 20 20 20 76 6f 69 64 20 2a 70 43 74 78        void *pCtx
59e0: 2c 0a 20 20 20 20 20 20 69 6e 74 20 66 6c 61 67  ,.      int flag
59f0: 73 2c 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a  s,            /*
5a00: 20 4d 61 73 6b 20 6f 66 20 46 54 53 35 5f 54 4f   Mask of FTS5_TO
5a10: 4b 45 4e 49 5a 45 5f 2a 20 66 6c 61 67 73 20 2a  KENIZE_* flags *
5a20: 2f 0a 20 20 20 20 20 20 63 6f 6e 73 74 20 63 68  /.      const ch
5a30: 61 72 20 2a 70 54 65 78 74 2c 20 69 6e 74 20 6e  ar *pText, int n
5a40: 54 65 78 74 2c 20 0a 20 20 20 20 20 20 69 6e 74  Text, .      int
5a50: 20 28 2a 78 54 6f 6b 65 6e 29 28 0a 20 20 20 20   (*xToken)(.    
5a60: 20 20 20 20 76 6f 69 64 20 2a 70 43 74 78 2c 20      void *pCtx, 
5a70: 20 20 20 20 20 20 20 20 2f 2a 20 43 6f 70 79 20          /* Copy 
5a80: 6f 66 20 32 6e 64 20 61 72 67 75 6d 65 6e 74 20  of 2nd argument 
5a90: 74 6f 20 78 54 6f 6b 65 6e 69 7a 65 28 29 20 2a  to xTokenize() *
5aa0: 2f 0a 20 20 20 20 20 20 20 20 69 6e 74 20 74 66  /.        int tf
5ab0: 6c 61 67 73 2c 20 20 20 20 20 20 20 20 20 2f 2a  lags,         /*
5ac0: 20 4d 61 73 6b 20 6f 66 20 46 54 53 35 5f 54 4f   Mask of FTS5_TO
5ad0: 4b 45 4e 5f 2a 20 66 6c 61 67 73 20 2a 2f 0a 20  KEN_* flags */. 
5ae0: 20 20 20 20 20 20 20 63 6f 6e 73 74 20 63 68 61         const cha
5af0: 72 20 2a 70 54 6f 6b 65 6e 2c 20 2f 2a 20 50 6f  r *pToken, /* Po
5b00: 69 6e 74 65 72 20 74 6f 20 62 75 66 66 65 72 20  inter to buffer 
5b10: 63 6f 6e 74 61 69 6e 69 6e 67 20 74 6f 6b 65 6e  containing token
5b20: 20 2a 2f 0a 20 20 20 20 20 20 20 20 69 6e 74 20   */.        int 
5b30: 6e 54 6f 6b 65 6e 2c 20 20 20 20 20 20 20 20 20  nToken,         
5b40: 2f 2a 20 53 69 7a 65 20 6f 66 20 74 6f 6b 65 6e  /* Size of token
5b50: 20 69 6e 20 62 79 74 65 73 20 2a 2f 0a 20 20 20   in bytes */.   
5b60: 20 20 20 20 20 69 6e 74 20 69 53 74 61 72 74 2c       int iStart,
5b70: 20 20 20 20 20 20 20 20 20 2f 2a 20 42 79 74 65           /* Byte
5b80: 20 6f 66 66 73 65 74 20 6f 66 20 74 6f 6b 65 6e   offset of token
5b90: 20 77 69 74 68 69 6e 20 69 6e 70 75 74 20 74 65   within input te
5ba0: 78 74 20 2a 2f 0a 20 20 20 20 20 20 20 20 69 6e  xt */.        in
5bb0: 74 20 69 45 6e 64 20 20 20 20 20 20 20 20 20 20  t iEnd          
5bc0: 20 20 2f 2a 20 42 79 74 65 20 6f 66 66 73 65 74    /* Byte offset
5bd0: 20 6f 66 20 65 6e 64 20 6f 66 20 74 6f 6b 65 6e   of end of token
5be0: 20 77 69 74 68 69 6e 20 69 6e 70 75 74 20 74 65   within input te
5bf0: 78 74 20 2a 2f 0a 20 20 20 20 20 20 29 0a 20 20  xt */.      ).  
5c00: 29 3b 0a 7d 3b 0a 0a 2f 2a 20 46 6c 61 67 73 20  );.};../* Flags 
5c10: 74 68 61 74 20 6d 61 79 20 62 65 20 70 61 73 73  that may be pass
5c20: 65 64 20 61 73 20 74 68 65 20 74 68 69 72 64 20  ed as the third 
5c30: 61 72 67 75 6d 65 6e 74 20 74 6f 20 78 54 6f 6b  argument to xTok
5c40: 65 6e 69 7a 65 28 29 20 2a 2f 0a 23 64 65 66 69  enize() */.#defi
5c50: 6e 65 20 46 54 53 35 5f 54 4f 4b 45 4e 49 5a 45  ne FTS5_TOKENIZE
5c60: 5f 51 55 45 52 59 20 20 20 20 20 30 78 30 30 30  _QUERY     0x000
5c70: 31 0a 23 64 65 66 69 6e 65 20 46 54 53 35 5f 54  1.#define FTS5_T
5c80: 4f 4b 45 4e 49 5a 45 5f 50 52 45 46 49 58 20 20  OKENIZE_PREFIX  
5c90: 20 20 30 78 30 30 30 32 0a 23 64 65 66 69 6e 65    0x0002.#define
5ca0: 20 46 54 53 35 5f 54 4f 4b 45 4e 49 5a 45 5f 44   FTS5_TOKENIZE_D
5cb0: 4f 43 55 4d 45 4e 54 20 20 30 78 30 30 30 34 0a  OCUMENT  0x0004.
5cc0: 23 64 65 66 69 6e 65 20 46 54 53 35 5f 54 4f 4b  #define FTS5_TOK
5cd0: 45 4e 49 5a 45 5f 41 55 58 20 20 20 20 20 20 20  ENIZE_AUX       
5ce0: 30 78 30 30 30 38 0a 0a 2f 2a 20 46 6c 61 67 73  0x0008../* Flags
5cf0: 20 74 68 61 74 20 6d 61 79 20 62 65 20 70 61 73   that may be pas
5d00: 73 65 64 20 62 79 20 74 68 65 20 74 6f 6b 65 6e  sed by the token
5d10: 69 7a 65 72 20 69 6d 70 6c 65 6d 65 6e 74 61 74  izer implementat
5d20: 69 6f 6e 20 62 61 63 6b 20 74 6f 20 46 54 53 35  ion back to FTS5
5d30: 0a 2a 2a 20 61 73 20 74 68 65 20 74 68 69 72 64  .** as the third
5d40: 20 61 72 67 75 6d 65 6e 74 20 74 6f 20 74 68 65   argument to the
5d50: 20 73 75 70 70 6c 69 65 64 20 78 54 6f 6b 65 6e   supplied xToken
5d60: 20 63 61 6c 6c 62 61 63 6b 2e 20 2a 2f 0a 23 64   callback. */.#d
5d70: 65 66 69 6e 65 20 46 54 53 35 5f 54 4f 4b 45 4e  efine FTS5_TOKEN
5d80: 5f 43 4f 4c 4f 43 41 54 45 44 20 20 20 20 30 78  _COLOCATED    0x
5d90: 30 30 30 31 20 20 20 20 20 20 2f 2a 20 53 61 6d  0001      /* Sam
5da0: 65 20 70 6f 73 69 74 69 6f 6e 20 61 73 20 70 72  e position as pr
5db0: 65 76 2e 20 74 6f 6b 65 6e 20 2a 2f 0a 0a 2f 2a  ev. token */../*
5dc0: 0a 2a 2a 20 45 4e 44 20 4f 46 20 43 55 53 54 4f  .** END OF CUSTO
5dd0: 4d 20 54 4f 4b 45 4e 49 5a 45 52 53 0a 2a 2a 2a  M TOKENIZERS.***
5de0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5df0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5e00: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5e10: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5e20: 2a 2a 2a 2a 2a 2a 2f 0a 0a 2f 2a 2a 2a 2a 2a 2a  ******/../******
5e30: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5e40: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5e50: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5e60: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5e70: 2a 2a 2a 0a 2a 2a 20 46 54 53 35 20 45 58 54 45  ***.** FTS5 EXTE
5e80: 4e 53 49 4f 4e 20 52 45 47 49 53 54 52 41 54 49  NSION REGISTRATI
5e90: 4f 4e 20 41 50 49 0a 2a 2f 0a 74 79 70 65 64 65  ON API.*/.typede
5ea0: 66 20 73 74 72 75 63 74 20 66 74 73 35 5f 61 70  f struct fts5_ap
5eb0: 69 20 66 74 73 35 5f 61 70 69 3b 0a 73 74 72 75  i fts5_api;.stru
5ec0: 63 74 20 66 74 73 35 5f 61 70 69 20 7b 0a 20 20  ct fts5_api {.  
5ed0: 69 6e 74 20 69 56 65 72 73 69 6f 6e 3b 20 20 20  int iVersion;   
5ee0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
5ef0: 2f 2a 20 43 75 72 72 65 6e 74 6c 79 20 61 6c 77  /* Currently alw
5f00: 61 79 73 20 73 65 74 20 74 6f 20 32 20 2a 2f 0a  ays set to 2 */.
5f10: 0a 20 20 2f 2a 20 43 72 65 61 74 65 20 61 20 6e  .  /* Create a n
5f20: 65 77 20 74 6f 6b 65 6e 69 7a 65 72 20 2a 2f 0a  ew tokenizer */.
5f30: 20 20 69 6e 74 20 28 2a 78 43 72 65 61 74 65 54    int (*xCreateT
5f40: 6f 6b 65 6e 69 7a 65 72 29 28 0a 20 20 20 20 66  okenizer)(.    f
5f50: 74 73 35 5f 61 70 69 20 2a 70 41 70 69 2c 0a 20  ts5_api *pApi,. 
5f60: 20 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a     const char *z
5f70: 4e 61 6d 65 2c 0a 20 20 20 20 76 6f 69 64 20 2a  Name,.    void *
5f80: 70 43 6f 6e 74 65 78 74 2c 0a 20 20 20 20 66 74  pContext,.    ft
5f90: 73 35 5f 74 6f 6b 65 6e 69 7a 65 72 20 2a 70 54  s5_tokenizer *pT
5fa0: 6f 6b 65 6e 69 7a 65 72 2c 0a 20 20 20 20 76 6f  okenizer,.    vo
5fb0: 69 64 20 28 2a 78 44 65 73 74 72 6f 79 29 28 76  id (*xDestroy)(v
5fc0: 6f 69 64 2a 29 0a 20 20 29 3b 0a 0a 20 20 2f 2a  oid*).  );..  /*
5fd0: 20 46 69 6e 64 20 61 6e 20 65 78 69 73 74 69 6e   Find an existin
5fe0: 67 20 74 6f 6b 65 6e 69 7a 65 72 20 2a 2f 0a 20  g tokenizer */. 
5ff0: 20 69 6e 74 20 28 2a 78 46 69 6e 64 54 6f 6b 65   int (*xFindToke
6000: 6e 69 7a 65 72 29 28 0a 20 20 20 20 66 74 73 35  nizer)(.    fts5
6010: 5f 61 70 69 20 2a 70 41 70 69 2c 0a 20 20 20 20  _api *pApi,.    
6020: 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a 4e 61 6d  const char *zNam
6030: 65 2c 0a 20 20 20 20 76 6f 69 64 20 2a 2a 70 70  e,.    void **pp
6040: 43 6f 6e 74 65 78 74 2c 0a 20 20 20 20 66 74 73  Context,.    fts
6050: 35 5f 74 6f 6b 65 6e 69 7a 65 72 20 2a 70 54 6f  5_tokenizer *pTo
6060: 6b 65 6e 69 7a 65 72 0a 20 20 29 3b 0a 0a 20 20  kenizer.  );..  
6070: 2f 2a 20 43 72 65 61 74 65 20 61 20 6e 65 77 20  /* Create a new 
6080: 61 75 78 69 6c 69 61 72 79 20 66 75 6e 63 74 69  auxiliary functi
6090: 6f 6e 20 2a 2f 0a 20 20 69 6e 74 20 28 2a 78 43  on */.  int (*xC
60a0: 72 65 61 74 65 46 75 6e 63 74 69 6f 6e 29 28 0a  reateFunction)(.
60b0: 20 20 20 20 66 74 73 35 5f 61 70 69 20 2a 70 41      fts5_api *pA
60c0: 70 69 2c 0a 20 20 20 20 63 6f 6e 73 74 20 63 68  pi,.    const ch
60d0: 61 72 20 2a 7a 4e 61 6d 65 2c 0a 20 20 20 20 76  ar *zName,.    v
60e0: 6f 69 64 20 2a 70 43 6f 6e 74 65 78 74 2c 0a 20  oid *pContext,. 
60f0: 20 20 20 66 74 73 35 5f 65 78 74 65 6e 73 69 6f     fts5_extensio
6100: 6e 5f 66 75 6e 63 74 69 6f 6e 20 78 46 75 6e 63  n_function xFunc
6110: 74 69 6f 6e 2c 0a 20 20 20 20 76 6f 69 64 20 28  tion,.    void (
6120: 2a 78 44 65 73 74 72 6f 79 29 28 76 6f 69 64 2a  *xDestroy)(void*
6130: 29 0a 20 20 29 3b 0a 7d 3b 0a 0a 2f 2a 0a 2a 2a  ).  );.};../*.**
6140: 20 45 4e 44 20 4f 46 20 52 45 47 49 53 54 52 41   END OF REGISTRA
6150: 54 49 4f 4e 20 41 50 49 0a 2a 2a 2a 2a 2a 2a 2a  TION API.*******
6160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
6170: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
6180: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
6190: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
61a0: 2a 2a 2f 0a 0a 23 69 66 64 65 66 20 5f 5f 63 70  **/..#ifdef __cp
61b0: 6c 75 73 70 6c 75 73 0a 7d 20 20 2f 2a 20 65 6e  lusplus.}  /* en
61c0: 64 20 6f 66 20 74 68 65 20 27 65 78 74 65 72 6e  d of the 'extern
61d0: 20 22 43 22 27 20 62 6c 6f 63 6b 20 2a 2f 0a 23   "C"' block */.#
61e0: 65 6e 64 69 66 0a 0a 23 65 6e 64 69 66 20 2f 2a  endif..#endif /*
61f0: 20 5f 46 54 53 35 5f 48 20 2a 2f 0a               _FTS5_H */.