/ Hex Artifact Content
Login

Artifact 0a0e97c65ba3b3e82638d7f7742c5d96f2b61535:


0000: 2f 2a 0a 2a 2a 20 32 30 31 34 20 4d 61 79 20 33  /*.** 2014 May 3
0010: 31 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75 74 68  1.**.** The auth
0020: 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63 6f 70  or disclaims cop
0030: 79 72 69 67 68 74 20 74 6f 20 74 68 69 73 20 73  yright to this s
0040: 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49 6e 20  ource code.  In 
0050: 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20 6c 65  place of.** a le
0060: 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65 72 65  gal notice, here
0070: 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67 3a 0a   is a blessing:.
0080: 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79 6f 75  **.**    May you
0090: 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e 6f 74   do good and not
00a0: 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d 61 79   evil..**    May
00b0: 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67 69 76   you find forgiv
00c0: 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72 73 65  eness for yourse
00d0: 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65 20 6f  lf and forgive o
00e0: 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d 61 79  thers..**    May
00f0: 20 79 6f 75 20 73 68 61 72 65 20 66 72 65 65 6c   you share freel
0100: 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e 67 20  y, never taking 
0110: 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20 67 69  more than you gi
0120: 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ve..**.*********
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 2a 2a 2a 0a 2a 2a 0a 2a 2a 20 49 6e 74 65  *****.**.** Inte
0180: 72 66 61 63 65 73 20 74 6f 20 65 78 74 65 6e 64  rfaces to extend
0190: 20 46 54 53 35 2e 20 55 73 69 6e 67 20 74 68 65   FTS5. Using the
01a0: 20 69 6e 74 65 72 66 61 63 65 73 20 64 65 66 69   interfaces defi
01b0: 6e 65 64 20 69 6e 20 74 68 69 73 20 66 69 6c 65  ned in this file
01c0: 2c 20 0a 2a 2a 20 46 54 53 35 20 6d 61 79 20 62  , .** FTS5 may b
01d0: 65 20 65 78 74 65 6e 64 65 64 20 77 69 74 68 3a  e extended with:
01e0: 0a 2a 2a 0a 2a 2a 20 20 20 20 20 2a 20 63 75 73  .**.**     * cus
01f0: 74 6f 6d 20 74 6f 6b 65 6e 69 7a 65 72 73 2c 20  tom tokenizers, 
0200: 61 6e 64 0a 2a 2a 20 20 20 20 20 2a 20 63 75 73  and.**     * cus
0210: 74 6f 6d 20 61 75 78 69 6c 69 61 72 79 20 66 75  tom auxiliary fu
0220: 6e 63 74 69 6f 6e 73 2e 0a 2a 2f 0a 0a 0a 23 69  nctions..*/...#i
0230: 66 6e 64 65 66 20 5f 46 54 53 35 5f 48 0a 23 64  fndef _FTS5_H.#d
0240: 65 66 69 6e 65 20 5f 46 54 53 35 5f 48 0a 0a 23  efine _FTS5_H..#
0250: 69 6e 63 6c 75 64 65 20 22 73 71 6c 69 74 65 33  include "sqlite3
0260: 2e 68 22 0a 0a 2f 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  .h"../**********
0270: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0280: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0290: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
02a0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 0a  ***************.
02b0: 2a 2a 20 43 55 53 54 4f 4d 20 41 55 58 49 4c 49  ** CUSTOM AUXILI
02c0: 41 52 59 20 46 55 4e 43 54 49 4f 4e 53 0a 2a 2a  ARY FUNCTIONS.**
02d0: 0a 2a 2a 20 56 69 72 74 75 61 6c 20 74 61 62 6c  .** Virtual tabl
02e0: 65 20 69 6d 70 6c 65 6d 65 6e 74 61 74 69 6f 6e  e implementation
02f0: 73 20 6d 61 79 20 6f 76 65 72 6c 6f 61 64 20 53  s may overload S
0300: 51 4c 20 66 75 6e 63 74 69 6f 6e 73 20 62 79 20  QL functions by 
0310: 69 6d 70 6c 65 6d 65 6e 74 69 6e 67 0a 2a 2a 20  implementing.** 
0320: 74 68 65 20 73 71 6c 69 74 65 33 5f 6d 6f 64 75  the sqlite3_modu
0330: 6c 65 2e 78 46 69 6e 64 46 75 6e 63 74 69 6f 6e  le.xFindFunction
0340: 28 29 20 6d 65 74 68 6f 64 2e 0a 2a 2f 0a 0a 74  () method..*/..t
0350: 79 70 65 64 65 66 20 73 74 72 75 63 74 20 46 74  ypedef struct Ft
0360: 73 35 45 78 74 65 6e 73 69 6f 6e 41 70 69 20 46  s5ExtensionApi F
0370: 74 73 35 45 78 74 65 6e 73 69 6f 6e 41 70 69 3b  ts5ExtensionApi;
0380: 0a 74 79 70 65 64 65 66 20 73 74 72 75 63 74 20  .typedef struct 
0390: 46 74 73 35 43 6f 6e 74 65 78 74 20 46 74 73 35  Fts5Context Fts5
03a0: 43 6f 6e 74 65 78 74 3b 0a 0a 74 79 70 65 64 65  Context;..typede
03b0: 66 20 76 6f 69 64 20 28 2a 66 74 73 35 5f 65 78  f void (*fts5_ex
03c0: 74 65 6e 73 69 6f 6e 5f 66 75 6e 63 74 69 6f 6e  tension_function
03d0: 29 28 0a 20 20 63 6f 6e 73 74 20 46 74 73 35 45  )(.  const Fts5E
03e0: 78 74 65 6e 73 69 6f 6e 41 70 69 20 2a 70 41 70  xtensionApi *pAp
03f0: 69 2c 20 20 20 2f 2a 20 41 50 49 20 6f 66 66 65  i,   /* API offe
0400: 72 65 64 20 62 79 20 63 75 72 72 65 6e 74 20 46  red by current F
0410: 54 53 20 76 65 72 73 69 6f 6e 20 2a 2f 0a 20 20  TS version */.  
0420: 46 74 73 35 43 6f 6e 74 65 78 74 20 2a 70 46 74  Fts5Context *pFt
0430: 73 2c 20 20 20 20 20 20 20 20 20 20 20 20 20 20  s,              
0440: 2f 2a 20 46 69 72 73 74 20 61 72 67 20 74 6f 20  /* First arg to 
0450: 70 61 73 73 20 74 6f 20 70 41 70 69 20 66 75 6e  pass to pApi fun
0460: 63 74 69 6f 6e 73 20 2a 2f 0a 20 20 73 71 6c 69  ctions */.  sqli
0470: 74 65 33 5f 63 6f 6e 74 65 78 74 20 2a 70 43 74  te3_context *pCt
0480: 78 2c 20 20 20 20 20 20 20 20 20 20 2f 2a 20 43  x,          /* C
0490: 6f 6e 74 65 78 74 20 66 6f 72 20 72 65 74 75 72  ontext for retur
04a0: 6e 69 6e 67 20 72 65 73 75 6c 74 2f 65 72 72 6f  ning result/erro
04b0: 72 20 2a 2f 0a 20 20 69 6e 74 20 6e 56 61 6c 2c  r */.  int nVal,
04c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
04d0: 20 20 20 20 20 20 20 2f 2a 20 4e 75 6d 62 65 72         /* Number
04e0: 20 6f 66 20 76 61 6c 75 65 73 20 69 6e 20 61 70   of values in ap
04f0: 56 61 6c 5b 5d 20 61 72 72 61 79 20 2a 2f 0a 20  Val[] array */. 
0500: 20 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 20 2a   sqlite3_value *
0510: 2a 61 70 56 61 6c 20 20 20 20 20 20 20 20 20 20  *apVal          
0520: 20 2f 2a 20 41 72 72 61 79 20 6f 66 20 74 72 61   /* Array of tra
0530: 69 6c 69 6e 67 20 61 72 67 75 6d 65 6e 74 73 20  iling arguments 
0540: 2a 2f 0a 29 3b 0a 0a 2f 2a 0a 2a 2a 20 45 58 54  */.);../*.** EXT
0550: 45 4e 53 49 4f 4e 20 41 50 49 20 46 55 4e 43 54  ENSION API FUNCT
0560: 49 4f 4e 53 0a 2a 2a 0a 2a 2a 20 78 55 73 65 72  IONS.**.** xUser
0570: 44 61 74 61 28 70 46 74 73 29 3a 0a 2a 2a 20 20  Data(pFts):.**  
0580: 20 52 65 74 75 72 6e 20 61 20 63 6f 70 79 20 6f   Return a copy o
0590: 66 20 74 68 65 20 63 6f 6e 74 65 78 74 20 70 6f  f the context po
05a0: 69 6e 74 65 72 20 74 68 65 20 65 78 74 65 6e 73  inter the extens
05b0: 69 6f 6e 20 66 75 6e 63 74 69 6f 6e 20 77 61 73  ion function was
05c0: 20 0a 2a 2a 20 20 20 72 65 67 69 73 74 65 72 65   .**   registere
05d0: 64 20 77 69 74 68 2e 0a 2a 2a 0a 2a 2a 0a 2a 2a  d with..**.**.**
05e0: 20 78 43 6f 6c 75 6d 6e 54 6f 74 61 6c 53 69 7a   xColumnTotalSiz
05f0: 65 28 70 46 74 73 2c 20 69 43 6f 6c 2c 20 70 6e  e(pFts, iCol, pn
0600: 54 6f 6b 65 6e 29 3a 0a 2a 2a 20 20 20 52 65 74  Token):.**   Ret
0610: 75 72 6e 73 20 74 68 65 20 74 6f 74 61 6c 20 6e  urns the total n
0620: 75 6d 62 65 72 20 6f 66 20 74 6f 6b 65 6e 73 20  umber of tokens 
0630: 69 6e 20 63 6f 6c 75 6d 6e 20 69 43 6f 6c 2c 20  in column iCol, 
0640: 63 6f 6e 73 69 64 65 72 69 6e 67 20 61 6c 6c 0a  considering all.
0650: 2a 2a 20 20 20 72 6f 77 73 20 69 6e 20 74 68 65  **   rows in the
0660: 20 46 54 53 35 20 74 61 62 6c 65 2e 0a 2a 2a 0a   FTS5 table..**.
0670: 2a 2a 0a 2a 2a 20 78 43 6f 6c 75 6d 6e 43 6f 75  **.** xColumnCou
0680: 6e 74 3a 0a 2a 2a 20 20 20 52 65 74 75 72 6e 73  nt:.**   Returns
0690: 20 74 68 65 20 6e 75 6d 62 65 72 20 6f 66 20 63   the number of c
06a0: 6f 6c 75 6d 6e 73 20 69 6e 20 74 68 65 20 46 54  olumns in the FT
06b0: 53 35 20 74 61 62 6c 65 2e 0a 2a 2a 0a 2a 2a 20  S5 table..**.** 
06c0: 78 43 6f 6c 75 6d 6e 53 69 7a 65 3a 0a 2a 2a 20  xColumnSize:.** 
06d0: 20 20 52 65 70 6f 72 74 73 20 74 68 65 20 73 69    Reports the si
06e0: 7a 65 20 69 6e 20 74 6f 6b 65 6e 73 20 6f 66 20  ze in tokens of 
06f0: 61 20 63 6f 6c 75 6d 6e 20 76 61 6c 75 65 20 66  a column value f
0700: 72 6f 6d 20 74 68 65 20 63 75 72 72 65 6e 74 20  rom the current 
0710: 72 6f 77 2e 0a 2a 2a 0a 2a 2a 20 78 43 6f 6c 75  row..**.** xColu
0720: 6d 6e 54 65 78 74 3a 0a 2a 2a 20 20 20 52 65 70  mnText:.**   Rep
0730: 6f 72 74 73 20 74 68 65 20 73 69 7a 65 20 69 6e  orts the size in
0740: 20 74 6f 6b 65 6e 73 20 6f 66 20 61 20 63 6f 6c   tokens of a col
0750: 75 6d 6e 20 76 61 6c 75 65 20 66 72 6f 6d 20 74  umn value from t
0760: 68 65 20 63 75 72 72 65 6e 74 20 72 6f 77 2e 0a  he current row..
0770: 2a 2a 0a 2a 2a 20 78 50 68 72 61 73 65 43 6f 75  **.** xPhraseCou
0780: 6e 74 3a 0a 2a 2a 20 20 20 52 65 74 75 72 6e 73  nt:.**   Returns
0790: 20 74 68 65 20 6e 75 6d 62 65 72 20 6f 66 20 70   the number of p
07a0: 68 72 61 73 65 73 20 69 6e 20 74 68 65 20 63 75  hrases in the cu
07b0: 72 72 65 6e 74 20 71 75 65 72 79 20 65 78 70 72  rrent query expr
07c0: 65 73 73 69 6f 6e 2e 0a 2a 2a 0a 2a 2a 20 78 50  ession..**.** xP
07d0: 68 72 61 73 65 53 69 7a 65 3a 0a 2a 2a 20 20 20  hraseSize:.**   
07e0: 52 65 74 75 72 6e 73 20 74 68 65 20 6e 75 6d 62  Returns the numb
07f0: 65 72 20 6f 66 20 74 6f 6b 65 6e 73 20 69 6e 20  er of tokens in 
0800: 70 68 72 61 73 65 20 69 50 68 72 61 73 65 20 6f  phrase iPhrase o
0810: 66 20 74 68 65 20 71 75 65 72 79 2e 20 50 68 72  f the query. Phr
0820: 61 73 65 73 0a 2a 2a 20 20 20 61 72 65 20 6e 75  ases.**   are nu
0830: 6d 62 65 72 65 64 20 73 74 61 72 74 69 6e 67 20  mbered starting 
0840: 66 72 6f 6d 20 7a 65 72 6f 2e 0a 2a 2a 0a 2a 2a  from zero..**.**
0850: 20 78 49 6e 73 74 43 6f 75 6e 74 3a 0a 2a 2a 20   xInstCount:.** 
0860: 20 20 53 65 74 20 2a 70 6e 49 6e 73 74 20 74 6f    Set *pnInst to
0870: 20 74 68 65 20 74 6f 74 61 6c 20 6e 75 6d 62 65   the total numbe
0880: 72 20 6f 66 20 6f 63 63 75 72 72 65 6e 63 65 73  r of occurrences
0890: 20 6f 66 20 61 6c 6c 20 70 68 72 61 73 65 73 20   of all phrases 
08a0: 77 69 74 68 69 6e 0a 2a 2a 20 20 20 74 68 65 20  within.**   the 
08b0: 71 75 65 72 79 20 77 69 74 68 69 6e 20 74 68 65  query within the
08c0: 20 63 75 72 72 65 6e 74 20 72 6f 77 2e 20 52 65   current row. Re
08d0: 74 75 72 6e 20 53 51 4c 49 54 45 5f 4f 4b 20 69  turn SQLITE_OK i
08e0: 66 20 73 75 63 63 65 73 73 66 75 6c 2c 20 6f 72  f successful, or
08f0: 0a 2a 2a 20 20 20 61 6e 20 65 72 72 6f 72 20 63  .**   an error c
0900: 6f 64 65 20 28 69 2e 65 2e 20 53 51 4c 49 54 45  ode (i.e. SQLITE
0910: 5f 4e 4f 4d 45 4d 29 20 69 66 20 61 6e 20 65 72  _NOMEM) if an er
0920: 72 6f 72 20 6f 63 63 75 72 73 2e 0a 2a 2a 0a 2a  ror occurs..**.*
0930: 2a 20 78 49 6e 73 74 3a 0a 2a 2a 20 20 20 51 75  * xInst:.**   Qu
0940: 65 72 79 20 66 6f 72 20 74 68 65 20 64 65 74 61  ery for the deta
0950: 69 6c 73 20 6f 66 20 70 68 72 61 73 65 20 6d 61  ils of phrase ma
0960: 74 63 68 20 69 49 64 78 20 77 69 74 68 69 6e 20  tch iIdx within 
0970: 74 68 65 20 63 75 72 72 65 6e 74 20 72 6f 77 2e  the current row.
0980: 0a 2a 2a 20 20 20 50 68 72 61 73 65 20 6d 61 74  .**   Phrase mat
0990: 63 68 65 73 20 61 72 65 20 6e 75 6d 62 65 72 65  ches are numbere
09a0: 64 20 73 74 61 72 74 69 6e 67 20 66 72 6f 6d 20  d starting from 
09b0: 7a 65 72 6f 2c 20 73 6f 20 74 68 65 20 69 49 64  zero, so the iId
09c0: 78 20 61 72 67 75 6d 65 6e 74 0a 2a 2a 20 20 20  x argument.**   
09d0: 73 68 6f 75 6c 64 20 62 65 20 67 72 65 61 74 65  should be greate
09e0: 72 20 74 68 61 6e 20 6f 72 20 65 71 75 61 6c 20  r than or equal 
09f0: 74 6f 20 7a 65 72 6f 20 61 6e 64 20 73 6d 61 6c  to zero and smal
0a00: 6c 65 72 20 74 68 61 6e 20 74 68 65 20 76 61 6c  ler than the val
0a10: 75 65 0a 2a 2a 20 20 20 6f 75 74 70 75 74 20 62  ue.**   output b
0a20: 79 20 78 49 6e 73 74 43 6f 75 6e 74 28 29 2e 0a  y xInstCount()..
0a30: 2a 2a 0a 2a 2a 20 20 20 52 65 74 75 72 6e 73 20  **.**   Returns 
0a40: 53 51 4c 49 54 45 5f 4f 4b 20 69 66 20 73 75 63  SQLITE_OK if suc
0a50: 63 65 73 73 66 75 6c 2c 20 6f 72 20 61 6e 20 65  cessful, or an e
0a60: 72 72 6f 72 20 63 6f 64 65 20 28 69 2e 65 2e 20  rror code (i.e. 
0a70: 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d 29 20 0a 2a  SQLITE_NOMEM) .*
0a80: 2a 20 20 20 69 66 20 61 6e 20 65 72 72 6f 72 20  *   if an error 
0a90: 6f 63 63 75 72 73 2e 0a 2a 2a 0a 2a 2a 20 78 52  occurs..**.** xR
0aa0: 6f 77 69 64 3a 0a 2a 2a 20 20 20 52 65 74 75 72  owid:.**   Retur
0ab0: 6e 73 20 74 68 65 20 72 6f 77 69 64 20 6f 66 20  ns the rowid of 
0ac0: 74 68 65 20 63 75 72 72 65 6e 74 20 72 6f 77 2e  the current row.
0ad0: 0a 2a 2a 0a 2a 2a 20 78 50 6f 73 6c 69 73 74 3a  .**.** xPoslist:
0ae0: 0a 2a 2a 20 20 20 49 74 65 72 61 74 65 20 74 68  .**   Iterate th
0af0: 72 6f 75 67 68 20 70 68 72 61 73 65 20 69 6e 73  rough phrase ins
0b00: 74 61 6e 63 65 73 20 69 6e 20 74 68 65 20 63 75  tances in the cu
0b10: 72 72 65 6e 74 20 72 6f 77 2e 20 49 66 20 74 68  rrent row. If th
0b20: 65 20 69 50 68 72 61 73 65 0a 2a 2a 20 20 20 61  e iPhrase.**   a
0b30: 72 67 75 6d 65 6e 74 20 69 73 20 30 20 6f 72 20  rgument is 0 or 
0b40: 67 72 65 61 74 65 72 2c 20 74 68 65 6e 20 6f 6e  greater, then on
0b50: 6c 79 20 69 6e 73 74 61 6e 63 65 73 20 6f 66 20  ly instances of 
0b60: 70 68 72 61 73 65 20 69 50 68 72 61 73 65 20 61  phrase iPhrase a
0b70: 72 65 0a 2a 2a 20 20 20 76 69 73 69 74 65 64 2e  re.**   visited.
0b80: 20 49 66 20 69 74 20 69 73 20 6c 65 73 73 20 74   If it is less t
0b90: 68 61 6e 20 30 2c 20 69 6e 73 74 61 6e 63 65 73  han 0, instances
0ba0: 20 6f 66 20 61 6c 6c 20 70 68 72 61 73 65 73 20   of all phrases 
0bb0: 61 72 65 20 76 69 73 69 74 65 64 2e 0a 2a 2a 0a  are visited..**.
0bc0: 2a 2a 20 20 20 41 74 20 45 4f 46 2c 20 2d 31 20  **   At EOF, -1 
0bd0: 69 73 20 72 65 74 75 72 6e 65 64 20 61 6e 64 20  is returned and 
0be0: 6f 75 74 70 75 74 20 76 61 72 69 61 62 6c 65 20  output variable 
0bf0: 69 50 6f 73 20 73 65 74 20 74 6f 20 2d 31 2e 0a  iPos set to -1..
0c00: 2a 2a 0a 2a 2a 20 20 20 20 20 3c 2f 70 72 65 3e  **.**     </pre>
0c10: 0a 2a 2a 20 20 20 20 20 20 20 73 71 6c 69 74 65  .**       sqlite
0c20: 33 5f 69 6e 74 36 34 20 69 50 6f 73 3b 0a 2a 2a  3_int64 iPos;.**
0c30: 20 20 20 20 20 20 20 69 6e 74 20 69 50 68 72 61         int iPhra
0c40: 73 65 3b 0a 2a 2a 20 20 20 20 20 20 20 69 6e 74  se;.**       int
0c50: 20 69 69 20 3d 20 30 3b 0a 2a 2a 0a 2a 2a 20 20   ii = 0;.**.**  
0c60: 20 20 20 20 20 77 68 69 6c 65 28 20 28 69 50 68       while( (iPh
0c70: 72 61 73 65 20 3d 20 70 46 74 73 2d 3e 78 50 6f  rase = pFts->xPo
0c80: 73 6c 69 73 74 28 70 46 74 73 2c 20 2d 31 2c 20  slist(pFts, -1, 
0c90: 26 69 69 2c 20 26 69 50 6f 73 29 20 3e 3d 20 30  &ii, &iPos) >= 0
0ca0: 20 29 7b 0a 2a 2a 20 20 20 20 20 20 20 20 20 69   ){.**         i
0cb0: 6e 74 20 69 43 6f 6c 20 3d 20 46 54 53 35 5f 50  nt iCol = FTS5_P
0cc0: 4f 53 32 43 4f 4c 55 4d 4e 28 69 50 6f 73 29 3b  OS2COLUMN(iPos);
0cd0: 0a 2a 2a 20 20 20 20 20 20 20 20 20 69 6e 74 20  .**         int 
0ce0: 69 4f 66 66 20 3d 20 46 54 53 35 5f 50 4f 53 32  iOff = FTS5_POS2
0cf0: 4f 46 46 53 45 54 28 69 50 6f 73 29 3b 0a 2a 2a  OFFSET(iPos);.**
0d00: 20 20 20 20 20 20 20 20 20 2f 2f 20 41 6e 20 69           // An i
0d10: 6e 73 74 61 6e 63 65 20 6f 66 20 70 68 72 61 73  nstance of phras
0d20: 65 20 69 50 68 72 61 73 65 20 61 74 20 6f 66 66  e iPhrase at off
0d30: 73 65 74 20 69 4f 66 66 20 6f 66 20 63 6f 6c 75  set iOff of colu
0d40: 6d 6e 20 69 43 6f 6c 2e 0a 2a 2a 20 20 20 20 20  mn iCol..**     
0d50: 20 20 7d 0a 2a 2a 20 20 20 20 20 3c 2f 70 72 65    }.**     </pre
0d60: 3e 0a 2a 2a 0a 2a 2a 0a 2a 2a 20 78 54 6f 6b 65  >.**.**.** xToke
0d70: 6e 69 7a 65 3a 0a 2a 2a 20 20 20 54 6f 6b 65 6e  nize:.**   Token
0d80: 69 7a 65 20 74 65 78 74 20 75 73 69 6e 67 20 74  ize text using t
0d90: 68 65 20 74 6f 6b 65 6e 69 7a 65 72 20 62 65 6c  he tokenizer bel
0da0: 6f 6e 67 69 6e 67 20 74 6f 20 74 68 65 20 46 54  onging to the FT
0db0: 53 35 20 74 61 62 6c 65 2e 0a 2a 2a 0a 2a 2a 0a  S5 table..**.**.
0dc0: 2a 2a 20 78 51 75 65 72 79 50 68 72 61 73 65 28  ** xQueryPhrase(
0dd0: 70 46 74 73 35 2c 20 69 50 68 72 61 73 65 2c 20  pFts5, iPhrase, 
0de0: 70 55 73 65 72 44 61 74 61 2c 20 78 43 61 6c 6c  pUserData, xCall
0df0: 62 61 63 6b 29 3a 0a 2a 2a 20 20 20 54 68 69 73  back):.**   This
0e00: 20 41 50 49 20 66 75 6e 63 74 69 6f 6e 20 69 73   API function is
0e10: 20 75 73 65 64 20 74 6f 20 71 75 65 72 79 20 74   used to query t
0e20: 68 65 20 46 54 53 20 74 61 62 6c 65 20 66 6f 72  he FTS table for
0e30: 20 70 68 72 61 73 65 20 69 50 68 72 61 73 65 0a   phrase iPhrase.
0e40: 2a 2a 20 20 20 6f 66 20 74 68 65 20 63 75 72 72  **   of the curr
0e50: 65 6e 74 20 71 75 65 72 79 2e 20 53 70 65 63 69  ent query. Speci
0e60: 66 69 63 61 6c 6c 79 2c 20 61 20 71 75 65 72 79  fically, a query
0e70: 20 65 71 75 69 76 61 6c 65 6e 74 20 74 6f 3a 0a   equivalent to:.
0e80: 2a 2a 0a 2a 2a 20 20 20 20 20 20 20 2e 2e 2e 20  **.**       ... 
0e90: 46 52 4f 4d 20 66 74 73 74 61 62 6c 65 20 57 48  FROM ftstable WH
0ea0: 45 52 45 20 66 74 73 74 61 62 6c 65 20 4d 41 54  ERE ftstable MAT
0eb0: 43 48 20 24 70 20 4f 52 44 45 52 20 42 59 20 44  CH $p ORDER BY D
0ec0: 45 53 43 0a 2a 2a 0a 2a 2a 20 20 20 77 69 74 68  ESC.**.**   with
0ed0: 20 24 70 20 73 65 74 20 74 6f 20 61 20 70 68 72   $p set to a phr
0ee0: 61 73 65 20 65 71 75 69 76 61 6c 65 6e 74 20 74  ase equivalent t
0ef0: 6f 20 74 68 65 20 70 68 72 61 73 65 20 69 50 68  o the phrase iPh
0f00: 72 61 73 65 20 6f 66 20 74 68 65 0a 2a 2a 20 20  rase of the.**  
0f10: 20 63 75 72 72 65 6e 74 20 71 75 65 72 79 20 69   current query i
0f20: 73 20 65 78 65 63 75 74 65 64 2e 20 46 6f 72 20  s executed. For 
0f30: 65 61 63 68 20 72 6f 77 20 76 69 73 69 74 65 64  each row visited
0f40: 2c 20 74 68 65 20 63 61 6c 6c 62 61 63 6b 20 66  , the callback f
0f50: 75 6e 63 74 69 6f 6e 0a 2a 2a 20 20 20 70 61 73  unction.**   pas
0f60: 73 65 64 20 61 73 20 74 68 65 20 66 6f 75 72 74  sed as the fourt
0f70: 68 20 61 72 67 75 6d 65 6e 74 20 69 73 20 69 6e  h argument is in
0f80: 76 6f 6b 65 64 2e 20 54 68 65 20 63 6f 6e 74 65  voked. The conte
0f90: 78 74 20 61 6e 64 20 41 50 49 20 6f 62 6a 65 63  xt and API objec
0fa0: 74 73 20 0a 2a 2a 20 20 20 70 61 73 73 65 64 20  ts .**   passed 
0fb0: 74 6f 20 74 68 65 20 63 61 6c 6c 62 61 63 6b 20  to the callback 
0fc0: 66 75 6e 63 74 69 6f 6e 20 6d 61 79 20 62 65 20  function may be 
0fd0: 75 73 65 64 20 74 6f 20 61 63 63 65 73 73 20 74  used to access t
0fe0: 68 65 20 70 72 6f 70 65 72 74 69 65 73 20 6f 66  he properties of
0ff0: 0a 2a 2a 20 20 20 65 61 63 68 20 6d 61 74 63 68  .**   each match
1000: 65 64 20 72 6f 77 2e 20 49 6e 76 6f 6b 69 6e 67  ed row. Invoking
1010: 20 41 70 69 2e 78 55 73 65 72 44 61 74 61 28 29   Api.xUserData()
1020: 20 72 65 74 75 72 6e 73 20 61 20 63 6f 70 79 20   returns a copy 
1030: 6f 66 20 74 68 65 20 70 6f 69 6e 74 65 72 0a 2a  of the pointer.*
1040: 2a 20 20 20 70 61 73 73 65 64 20 61 73 20 74 68  *   passed as th
1050: 65 20 74 68 69 72 64 20 61 72 67 75 6d 65 6e 74  e third argument
1060: 20 74 6f 20 70 55 73 65 72 44 61 74 61 2e 0a 2a   to pUserData..*
1070: 2a 0a 2a 2a 20 20 20 49 66 20 74 68 65 20 63 61  *.**   If the ca
1080: 6c 6c 62 61 63 6b 20 66 75 6e 63 74 69 6f 6e 20  llback function 
1090: 72 65 74 75 72 6e 73 20 61 6e 79 20 76 61 6c 75  returns any valu
10a0: 65 20 6f 74 68 65 72 20 74 68 61 6e 20 53 51 4c  e other than SQL
10b0: 49 54 45 5f 4f 4b 2c 20 74 68 65 0a 2a 2a 20 20  ITE_OK, the.**  
10c0: 20 71 75 65 72 79 20 69 73 20 61 62 61 6e 64 6f   query is abando
10d0: 6e 65 64 20 61 6e 64 20 74 68 65 20 78 51 75 65  ned and the xQue
10e0: 72 79 50 68 72 61 73 65 20 66 75 6e 63 74 69 6f  ryPhrase functio
10f0: 6e 20 72 65 74 75 72 6e 73 20 69 6d 6d 65 64 69  n returns immedi
1100: 61 74 65 6c 79 2e 0a 2a 2a 20 20 20 49 66 20 74  ately..**   If t
1110: 68 65 20 72 65 74 75 72 6e 65 64 20 76 61 6c 75  he returned valu
1120: 65 20 69 73 20 53 51 4c 49 54 45 5f 44 4f 4e 45  e is SQLITE_DONE
1130: 2c 20 78 51 75 65 72 79 50 68 72 61 73 65 20 72  , xQueryPhrase r
1140: 65 74 75 72 6e 73 20 53 51 4c 49 54 45 5f 4f 4b  eturns SQLITE_OK
1150: 2e 0a 2a 2a 20 20 20 4f 74 68 65 72 77 69 73 65  ..**   Otherwise
1160: 2c 20 74 68 65 20 65 72 72 6f 72 20 63 6f 64 65  , the error code
1170: 20 69 73 20 70 72 6f 70 61 67 61 74 65 64 20 75   is propagated u
1180: 70 77 61 72 64 73 2e 0a 2a 2a 0a 2a 2a 20 20 20  pwards..**.**   
1190: 49 66 20 74 68 65 20 71 75 65 72 79 20 72 75 6e  If the query run
11a0: 73 20 74 6f 20 63 6f 6d 70 6c 65 74 69 6f 6e 20  s to completion 
11b0: 77 69 74 68 6f 75 74 20 69 6e 63 69 64 65 6e 74  without incident
11c0: 2c 20 53 51 4c 49 54 45 5f 4f 4b 20 69 73 20 72  , SQLITE_OK is r
11d0: 65 74 75 72 6e 65 64 2e 0a 2a 2a 20 20 20 4f 72  eturned..**   Or
11e0: 2c 20 69 66 20 73 6f 6d 65 20 65 72 72 6f 72 20  , if some error 
11f0: 6f 63 63 75 72 73 20 62 65 66 6f 72 65 20 74 68  occurs before th
1200: 65 20 71 75 65 72 79 20 63 6f 6d 70 6c 65 74 65  e query complete
1210: 73 20 6f 72 20 69 73 20 61 62 6f 72 74 65 64 20  s or is aborted 
1220: 62 79 0a 2a 2a 20 20 20 74 68 65 20 63 61 6c 6c  by.**   the call
1230: 62 61 63 6b 2c 20 61 6e 20 53 51 4c 69 74 65 20  back, an SQLite 
1240: 65 72 72 6f 72 20 63 6f 64 65 20 69 73 20 72 65  error code is re
1250: 74 75 72 6e 65 64 2e 0a 2a 2a 0a 2a 2a 0a 2a 2a  turned..**.**.**
1260: 20 78 53 65 74 41 75 78 64 61 74 61 28 70 46 74   xSetAuxdata(pFt
1270: 73 35 2c 20 70 41 75 78 2c 20 78 44 65 6c 65 74  s5, pAux, xDelet
1280: 65 29 0a 2a 2a 0a 2a 2a 20 20 20 53 61 76 65 20  e).**.**   Save 
1290: 74 68 65 20 70 6f 69 6e 74 65 72 20 70 61 73 73  the pointer pass
12a0: 65 64 20 61 73 20 74 68 65 20 73 65 63 6f 6e 64  ed as the second
12b0: 20 61 72 67 75 6d 65 6e 74 20 61 73 20 74 68 65   argument as the
12c0: 20 65 78 74 65 6e 73 69 6f 6e 20 66 75 6e 63 74   extension funct
12d0: 69 6f 6e 73 20 0a 2a 2a 20 20 20 22 61 75 78 69  ions .**   "auxi
12e0: 6c 69 61 72 79 20 64 61 74 61 22 2e 20 54 68 65  liary data". The
12f0: 20 70 6f 69 6e 74 65 72 20 6d 61 79 20 74 68 65   pointer may the
1300: 6e 20 62 65 20 72 65 74 72 69 65 76 65 64 20 62  n be retrieved b
1310: 79 20 74 68 65 20 63 75 72 72 65 6e 74 20 6f 72  y the current or
1320: 20 61 6e 79 0a 2a 2a 20 20 20 66 75 74 75 72 65   any.**   future
1330: 20 69 6e 76 6f 63 61 74 69 6f 6e 20 6f 66 20 74   invocation of t
1340: 68 65 20 73 61 6d 65 20 66 74 73 35 20 65 78 74  he same fts5 ext
1350: 65 6e 73 69 6f 6e 20 66 75 6e 63 74 69 6f 6e 20  ension function 
1360: 6d 61 64 65 20 61 73 20 70 61 72 74 20 6f 66 0a  made as part of.
1370: 2a 2a 20 20 20 6f 66 20 74 68 65 20 73 61 6d 65  **   of the same
1380: 20 4d 41 54 43 48 20 71 75 65 72 79 20 75 73 69   MATCH query usi
1390: 6e 67 20 74 68 65 20 78 47 65 74 41 75 78 64 61  ng the xGetAuxda
13a0: 74 61 28 29 20 41 50 49 2e 0a 2a 2a 0a 2a 2a 20  ta() API..**.** 
13b0: 20 20 45 61 63 68 20 65 78 74 65 6e 73 69 6f 6e    Each extension
13c0: 20 66 75 6e 63 74 69 6f 6e 20 69 73 20 61 6c 6c   function is all
13d0: 6f 63 61 74 65 64 20 61 20 73 69 6e 67 6c 65 20  ocated a single 
13e0: 61 75 78 69 6c 69 61 72 79 20 64 61 74 61 20 73  auxiliary data s
13f0: 6c 6f 74 20 66 6f 72 0a 2a 2a 20 20 20 65 61 63  lot for.**   eac
1400: 68 20 46 54 53 20 71 75 65 72 79 20 28 4d 41 54  h FTS query (MAT
1410: 43 48 20 65 78 70 72 65 73 73 69 6f 6e 29 2e 20  CH expression). 
1420: 49 66 20 74 68 65 20 65 78 74 65 6e 73 69 6f 6e  If the extension
1430: 20 66 75 6e 63 74 69 6f 6e 20 69 73 20 69 6e 76   function is inv
1440: 6f 6b 65 64 20 0a 2a 2a 20 20 20 6d 6f 72 65 20  oked .**   more 
1450: 74 68 61 6e 20 6f 6e 63 65 20 66 6f 72 20 61 20  than once for a 
1460: 73 69 6e 67 6c 65 20 46 54 53 20 71 75 65 72 79  single FTS query
1470: 2c 20 74 68 65 6e 20 61 6c 6c 20 69 6e 76 6f 63  , then all invoc
1480: 61 74 69 6f 6e 73 20 73 68 61 72 65 20 61 20 0a  ations share a .
1490: 2a 2a 20 20 20 73 69 6e 67 6c 65 20 61 75 78 69  **   single auxi
14a0: 6c 69 61 72 79 20 64 61 74 61 20 63 6f 6e 74 65  liary data conte
14b0: 78 74 2e 0a 2a 2a 0a 2a 2a 20 20 20 49 66 20 74  xt..**.**   If t
14c0: 68 65 72 65 20 69 73 20 61 6c 72 65 61 64 79 20  here is already 
14d0: 61 6e 20 61 75 78 69 6c 69 61 72 79 20 64 61 74  an auxiliary dat
14e0: 61 20 70 6f 69 6e 74 65 72 20 77 68 65 6e 20 74  a pointer when t
14f0: 68 69 73 20 66 75 6e 63 74 69 6f 6e 20 69 73 0a  his function is.
1500: 2a 2a 20 20 20 69 6e 76 6f 6b 65 64 2c 20 74 68  **   invoked, th
1510: 65 6e 20 69 74 20 69 73 20 72 65 70 6c 61 63 65  en it is replace
1520: 64 20 62 79 20 74 68 65 20 6e 65 77 20 70 6f 69  d by the new poi
1530: 6e 74 65 72 2e 20 49 66 20 61 6e 20 78 44 65 6c  nter. If an xDel
1540: 65 74 65 20 63 61 6c 6c 62 61 63 6b 0a 2a 2a 20  ete callback.** 
1550: 20 20 77 61 73 20 73 70 65 63 69 66 69 65 64 20    was specified 
1560: 61 6c 6f 6e 67 20 77 69 74 68 20 74 68 65 20 6f  along with the o
1570: 72 69 67 69 6e 61 6c 20 70 6f 69 6e 74 65 72 2c  riginal pointer,
1580: 20 69 74 20 69 73 20 69 6e 76 6f 6b 65 64 20 61   it is invoked a
1590: 74 20 74 68 69 73 0a 2a 2a 20 20 20 70 6f 69 6e  t this.**   poin
15a0: 74 2e 0a 2a 2a 0a 2a 2a 20 20 20 54 68 65 20 78  t..**.**   The x
15b0: 44 65 6c 65 74 65 20 63 61 6c 6c 62 61 63 6b 2c  Delete callback,
15c0: 20 69 66 20 6f 6e 65 20 69 73 20 73 70 65 63 69   if one is speci
15d0: 66 69 65 64 2c 20 69 73 20 61 6c 73 6f 20 69 6e  fied, is also in
15e0: 76 6f 6b 65 64 20 6f 6e 20 74 68 65 0a 2a 2a 20  voked on the.** 
15f0: 20 20 61 75 78 69 6c 69 61 72 79 20 64 61 74 61    auxiliary data
1600: 20 70 6f 69 6e 74 65 72 20 61 66 74 65 72 20 74   pointer after t
1610: 68 65 20 46 54 53 35 20 71 75 65 72 79 20 68 61  he FTS5 query ha
1620: 73 20 66 69 6e 69 73 68 65 64 2e 0a 2a 2a 0a 2a  s finished..**.*
1630: 2a 20 20 20 49 66 20 61 6e 20 65 72 72 6f 72 20  *   If an error 
1640: 28 65 2e 67 2e 20 61 6e 20 4f 4f 4d 20 63 6f 6e  (e.g. an OOM con
1650: 64 69 74 69 6f 6e 29 20 6f 63 63 75 72 73 20 77  dition) occurs w
1660: 69 74 68 69 6e 20 74 68 69 73 20 66 75 6e 63 74  ithin this funct
1670: 69 6f 6e 2c 20 61 6e 0a 2a 2a 20 20 20 74 68 65  ion, an.**   the
1680: 20 61 75 78 69 6c 69 61 72 79 20 64 61 74 61 20   auxiliary data 
1690: 69 73 20 73 65 74 20 74 6f 20 4e 55 4c 4c 20 61  is set to NULL a
16a0: 6e 64 20 61 6e 20 65 72 72 6f 72 20 63 6f 64 65  nd an error code
16b0: 20 72 65 74 75 72 6e 65 64 2e 20 49 66 20 74 68   returned. If th
16c0: 65 0a 2a 2a 20 20 20 78 44 65 6c 65 74 65 20 70  e.**   xDelete p
16d0: 61 72 61 6d 65 74 65 72 20 77 61 73 20 6e 6f 74  arameter was not
16e0: 20 4e 55 4c 4c 2c 20 69 74 20 69 73 20 69 6e 76   NULL, it is inv
16f0: 6f 6b 65 64 20 6f 6e 20 74 68 65 20 61 75 78 69  oked on the auxi
1700: 6c 69 61 72 79 20 64 61 74 61 0a 2a 2a 20 20 20  liary data.**   
1710: 70 6f 69 6e 74 65 72 20 62 65 66 6f 72 65 20 72  pointer before r
1720: 65 74 75 72 6e 69 6e 67 2e 0a 2a 2a 0a 2a 2a 0a  eturning..**.**.
1730: 2a 2a 20 78 47 65 74 41 75 78 64 61 74 61 28 70  ** xGetAuxdata(p
1740: 46 74 73 35 2c 20 62 43 6c 65 61 72 29 0a 2a 2a  Fts5, bClear).**
1750: 0a 2a 2a 20 20 20 52 65 74 75 72 6e 73 20 74 68  .**   Returns th
1760: 65 20 63 75 72 72 65 6e 74 20 61 75 78 69 6c 69  e current auxili
1770: 61 72 79 20 64 61 74 61 20 70 6f 69 6e 74 65 72  ary data pointer
1780: 20 66 6f 72 20 74 68 65 20 66 74 73 35 20 65 78   for the fts5 ex
1790: 74 65 6e 73 69 6f 6e 20 0a 2a 2a 20 20 20 66 75  tension .**   fu
17a0: 6e 63 74 69 6f 6e 2e 20 53 65 65 20 74 68 65 20  nction. See the 
17b0: 78 53 65 74 41 75 78 64 61 74 61 28 29 20 6d 65  xSetAuxdata() me
17c0: 74 68 6f 64 20 66 6f 72 20 64 65 74 61 69 6c 73  thod for details
17d0: 2e 0a 2a 2a 0a 2a 2a 20 20 20 49 66 20 74 68 65  ..**.**   If the
17e0: 20 62 43 6c 65 61 72 20 61 72 67 75 6d 65 6e 74   bClear argument
17f0: 20 69 73 20 6e 6f 6e 2d 7a 65 72 6f 2c 20 74 68   is non-zero, th
1800: 65 6e 20 74 68 65 20 61 75 78 69 6c 69 61 72 79  en the auxiliary
1810: 20 64 61 74 61 20 69 73 20 63 6c 65 61 72 65 64   data is cleared
1820: 0a 2a 2a 20 20 20 28 73 65 74 20 74 6f 20 4e 55  .**   (set to NU
1830: 4c 4c 29 20 62 65 66 6f 72 65 20 74 68 69 73 20  LL) before this 
1840: 66 75 6e 63 74 69 6f 6e 20 72 65 74 75 72 6e 73  function returns
1850: 2e 20 49 6e 20 74 68 69 73 20 63 61 73 65 20 74  . In this case t
1860: 68 65 20 78 44 65 6c 65 74 65 2c 0a 2a 2a 20 20  he xDelete,.**  
1870: 20 69 66 20 61 6e 79 2c 20 69 73 20 6e 6f 74 20   if any, is not 
1880: 69 6e 76 6f 6b 65 64 2e 0a 2a 2a 0a 2a 2a 0a 2a  invoked..**.**.*
1890: 2a 20 78 52 6f 77 43 6f 75 6e 74 28 70 46 74 73  * xRowCount(pFts
18a0: 35 2c 20 70 6e 52 6f 77 29 0a 2a 2a 0a 2a 2a 20  5, pnRow).**.** 
18b0: 20 20 54 68 69 73 20 66 75 6e 63 74 69 6f 6e 20    This function 
18c0: 69 73 20 75 73 65 64 20 74 6f 20 72 65 74 72 69  is used to retri
18d0: 65 76 65 20 74 68 65 20 74 6f 74 61 6c 20 6e 75  eve the total nu
18e0: 6d 62 65 72 20 6f 66 20 72 6f 77 73 20 69 6e 20  mber of rows in 
18f0: 74 68 65 20 74 61 62 6c 65 2e 0a 2a 2a 20 20 20  the table..**   
1900: 49 6e 20 6f 74 68 65 72 20 77 6f 72 64 73 2c 20  In other words, 
1910: 74 68 65 20 73 61 6d 65 20 76 61 6c 75 65 20 74  the same value t
1920: 68 61 74 20 77 6f 75 6c 64 20 62 65 20 72 65 74  hat would be ret
1930: 75 72 6e 65 64 20 62 79 3a 0a 2a 2a 0a 2a 2a 20  urned by:.**.** 
1940: 20 20 20 20 20 20 20 53 45 4c 45 43 54 20 63 6f         SELECT co
1950: 75 6e 74 28 2a 29 20 46 52 4f 4d 20 66 74 73 74  unt(*) FROM ftst
1960: 61 62 6c 65 3b 0a 2a 2f 0a 73 74 72 75 63 74 20  able;.*/.struct 
1970: 46 74 73 35 45 78 74 65 6e 73 69 6f 6e 41 70 69  Fts5ExtensionApi
1980: 20 7b 0a 20 20 69 6e 74 20 69 56 65 72 73 69 6f   {.  int iVersio
1990: 6e 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  n;              
19a0: 20 20 20 20 20 2f 2a 20 43 75 72 72 65 6e 74 6c       /* Currentl
19b0: 79 20 61 6c 77 61 79 73 20 73 65 74 20 74 6f 20  y always set to 
19c0: 31 20 2a 2f 0a 0a 20 20 76 6f 69 64 20 2a 28 2a  1 */..  void *(*
19d0: 78 55 73 65 72 44 61 74 61 29 28 46 74 73 35 43  xUserData)(Fts5C
19e0: 6f 6e 74 65 78 74 2a 29 3b 0a 0a 20 20 69 6e 74  ontext*);..  int
19f0: 20 28 2a 78 43 6f 6c 75 6d 6e 43 6f 75 6e 74 29   (*xColumnCount)
1a00: 28 46 74 73 35 43 6f 6e 74 65 78 74 2a 29 3b 0a  (Fts5Context*);.
1a10: 20 20 69 6e 74 20 28 2a 78 52 6f 77 43 6f 75 6e    int (*xRowCoun
1a20: 74 29 28 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c  t)(Fts5Context*,
1a30: 20 73 71 6c 69 74 65 33 5f 69 6e 74 36 34 20 2a   sqlite3_int64 *
1a40: 70 6e 52 6f 77 29 3b 0a 20 20 69 6e 74 20 28 2a  pnRow);.  int (*
1a50: 78 43 6f 6c 75 6d 6e 54 6f 74 61 6c 53 69 7a 65  xColumnTotalSize
1a60: 29 28 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20  )(Fts5Context*, 
1a70: 69 6e 74 20 69 43 6f 6c 2c 20 73 71 6c 69 74 65  int iCol, sqlite
1a80: 33 5f 69 6e 74 36 34 20 2a 70 6e 54 6f 6b 65 6e  3_int64 *pnToken
1a90: 29 3b 0a 0a 20 20 69 6e 74 20 28 2a 78 54 6f 6b  );..  int (*xTok
1aa0: 65 6e 69 7a 65 29 28 46 74 73 35 43 6f 6e 74 65  enize)(Fts5Conte
1ab0: 78 74 2a 2c 20 0a 20 20 20 20 63 6f 6e 73 74 20  xt*, .    const 
1ac0: 63 68 61 72 20 2a 70 54 65 78 74 2c 20 69 6e 74  char *pText, int
1ad0: 20 6e 54 65 78 74 2c 20 2f 2a 20 54 65 78 74 20   nText, /* Text 
1ae0: 74 6f 20 74 6f 6b 65 6e 69 7a 65 20 2a 2f 0a 20  to tokenize */. 
1af0: 20 20 20 76 6f 69 64 20 2a 70 43 74 78 2c 20 20     void *pCtx,  
1b00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1b10: 20 2f 2a 20 43 6f 6e 74 65 78 74 20 70 61 73 73   /* Context pass
1b20: 65 64 20 74 6f 20 78 54 6f 6b 65 6e 28 29 20 2a  ed to xToken() *
1b30: 2f 0a 20 20 20 20 69 6e 74 20 28 2a 78 54 6f 6b  /.    int (*xTok
1b40: 65 6e 29 28 76 6f 69 64 2a 2c 20 63 6f 6e 73 74  en)(void*, const
1b50: 20 63 68 61 72 2a 2c 20 69 6e 74 2c 20 69 6e 74   char*, int, int
1b60: 2c 20 69 6e 74 2c 20 69 6e 74 29 20 20 20 20 2f  , int, int)    /
1b70: 2a 20 43 61 6c 6c 62 61 63 6b 20 2a 2f 0a 20 20  * Callback */.  
1b80: 29 3b 0a 0a 20 20 69 6e 74 20 28 2a 78 50 68 72  );..  int (*xPhr
1b90: 61 73 65 43 6f 75 6e 74 29 28 46 74 73 35 43 6f  aseCount)(Fts5Co
1ba0: 6e 74 65 78 74 2a 29 3b 0a 20 20 69 6e 74 20 28  ntext*);.  int (
1bb0: 2a 78 50 68 72 61 73 65 53 69 7a 65 29 28 46 74  *xPhraseSize)(Ft
1bc0: 73 35 43 6f 6e 74 65 78 74 2a 2c 20 69 6e 74 20  s5Context*, int 
1bd0: 69 50 68 72 61 73 65 29 3b 0a 0a 20 20 69 6e 74  iPhrase);..  int
1be0: 20 28 2a 78 49 6e 73 74 43 6f 75 6e 74 29 28 46   (*xInstCount)(F
1bf0: 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20 69 6e 74  ts5Context*, int
1c00: 20 2a 70 6e 49 6e 73 74 29 3b 0a 20 20 69 6e 74   *pnInst);.  int
1c10: 20 28 2a 78 49 6e 73 74 29 28 46 74 73 35 43 6f   (*xInst)(Fts5Co
1c20: 6e 74 65 78 74 2a 2c 20 69 6e 74 20 69 49 64 78  ntext*, int iIdx
1c30: 2c 20 69 6e 74 20 2a 70 69 50 68 72 61 73 65 2c  , int *piPhrase,
1c40: 20 69 6e 74 20 2a 70 69 43 6f 6c 2c 20 69 6e 74   int *piCol, int
1c50: 20 2a 70 69 4f 66 66 29 3b 0a 0a 20 20 73 71 6c   *piOff);..  sql
1c60: 69 74 65 33 5f 69 6e 74 36 34 20 28 2a 78 52 6f  ite3_int64 (*xRo
1c70: 77 69 64 29 28 46 74 73 35 43 6f 6e 74 65 78 74  wid)(Fts5Context
1c80: 2a 29 3b 0a 20 20 69 6e 74 20 28 2a 78 43 6f 6c  *);.  int (*xCol
1c90: 75 6d 6e 54 65 78 74 29 28 46 74 73 35 43 6f 6e  umnText)(Fts5Con
1ca0: 74 65 78 74 2a 2c 20 69 6e 74 20 69 43 6f 6c 2c  text*, int iCol,
1cb0: 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 2a 70 7a   const char **pz
1cc0: 2c 20 69 6e 74 20 2a 70 6e 29 3b 0a 20 20 69 6e  , int *pn);.  in
1cd0: 74 20 28 2a 78 43 6f 6c 75 6d 6e 53 69 7a 65 29  t (*xColumnSize)
1ce0: 28 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20 69  (Fts5Context*, i
1cf0: 6e 74 20 69 43 6f 6c 2c 20 69 6e 74 20 2a 70 6e  nt iCol, int *pn
1d00: 54 6f 6b 65 6e 29 3b 0a 20 20 69 6e 74 20 28 2a  Token);.  int (*
1d10: 78 50 6f 73 6c 69 73 74 29 28 46 74 73 35 43 6f  xPoslist)(Fts5Co
1d20: 6e 74 65 78 74 2a 2c 20 69 6e 74 20 69 50 68 72  ntext*, int iPhr
1d30: 61 73 65 2c 20 69 6e 74 20 2a 70 69 2c 20 73 71  ase, int *pi, sq
1d40: 6c 69 74 65 33 5f 69 6e 74 36 34 20 2a 70 69 50  lite3_int64 *piP
1d50: 6f 73 29 3b 0a 0a 20 20 69 6e 74 20 28 2a 78 51  os);..  int (*xQ
1d60: 75 65 72 79 50 68 72 61 73 65 29 28 46 74 73 35  ueryPhrase)(Fts5
1d70: 43 6f 6e 74 65 78 74 2a 2c 20 69 6e 74 20 69 50  Context*, int iP
1d80: 68 72 61 73 65 2c 20 76 6f 69 64 20 2a 70 55 73  hrase, void *pUs
1d90: 65 72 44 61 74 61 2c 0a 20 20 20 20 69 6e 74 28  erData,.    int(
1da0: 2a 29 28 63 6f 6e 73 74 20 46 74 73 35 45 78 74  *)(const Fts5Ext
1db0: 65 6e 73 69 6f 6e 41 70 69 2a 2c 46 74 73 35 43  ensionApi*,Fts5C
1dc0: 6f 6e 74 65 78 74 2a 2c 76 6f 69 64 2a 29 0a 20  ontext*,void*). 
1dd0: 20 29 3b 0a 20 20 69 6e 74 20 28 2a 78 53 65 74   );.  int (*xSet
1de0: 41 75 78 64 61 74 61 29 28 46 74 73 35 43 6f 6e  Auxdata)(Fts5Con
1df0: 74 65 78 74 2a 2c 20 76 6f 69 64 20 2a 70 41 75  text*, void *pAu
1e00: 78 2c 20 76 6f 69 64 28 2a 78 44 65 6c 65 74 65  x, void(*xDelete
1e10: 29 28 76 6f 69 64 2a 29 29 3b 0a 20 20 76 6f 69  )(void*));.  voi
1e20: 64 20 2a 28 2a 78 47 65 74 41 75 78 64 61 74 61  d *(*xGetAuxdata
1e30: 29 28 46 74 73 35 43 6f 6e 74 65 78 74 2a 2c 20  )(Fts5Context*, 
1e40: 69 6e 74 20 62 43 6c 65 61 72 29 3b 0a 7d 3b 0a  int bClear);.};.
1e50: 0a 23 64 65 66 69 6e 65 20 46 54 53 35 5f 50 4f  .#define FTS5_PO
1e60: 53 32 43 4f 4c 55 4d 4e 28 69 50 6f 73 29 20 28  S2COLUMN(iPos) (
1e70: 69 6e 74 29 28 69 50 6f 73 20 3e 3e 20 33 32 29  int)(iPos >> 32)
1e80: 0a 23 64 65 66 69 6e 65 20 46 54 53 35 5f 50 4f  .#define FTS5_PO
1e90: 53 32 4f 46 46 53 45 54 28 69 50 6f 73 29 20 28  S2OFFSET(iPos) (
1ea0: 69 6e 74 29 28 69 50 6f 73 20 26 20 30 78 46 46  int)(iPos & 0xFF
1eb0: 46 46 46 46 46 46 29 0a 0a 2f 2a 20 0a 2a 2a 20  FFFFFF)../* .** 
1ec0: 43 55 53 54 4f 4d 20 41 55 58 49 4c 49 41 52 59  CUSTOM AUXILIARY
1ed0: 20 46 55 4e 43 54 49 4f 4e 53 0a 2a 2a 2a 2a 2a   FUNCTIONS.*****
1ee0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
1ef0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
1f00: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
1f10: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
1f20: 2a 2a 2a 2a 2f 0a 0a 2f 2a 2a 2a 2a 2a 2a 2a 2a  ****/../********
1f30: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
1f40: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
1f50: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
1f60: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
1f70: 2a 0a 2a 2a 20 43 55 53 54 4f 4d 20 54 4f 4b 45  *.** CUSTOM TOKE
1f80: 4e 49 5a 45 52 53 0a 2a 2a 0a 2a 2a 20 41 70 70  NIZERS.**.** App
1f90: 6c 69 63 61 74 69 6f 6e 73 20 6d 61 79 20 61 6c  lications may al
1fa0: 73 6f 20 72 65 67 69 73 74 65 72 20 63 75 73 74  so register cust
1fb0: 6f 6d 20 74 6f 6b 65 6e 69 7a 65 72 20 74 79 70  om tokenizer typ
1fc0: 65 73 2e 20 41 20 74 6f 6b 65 6e 69 7a 65 72 20  es. A tokenizer 
1fd0: 0a 2a 2a 20 69 73 20 72 65 67 69 73 74 65 72 65  .** is registere
1fe0: 64 20 62 79 20 70 72 6f 76 69 64 69 6e 67 20 66  d by providing f
1ff0: 74 73 35 20 77 69 74 68 20 61 20 70 6f 70 75 6c  ts5 with a popul
2000: 61 74 65 64 20 69 6e 73 74 61 6e 63 65 20 6f 66  ated instance of
2010: 20 74 68 65 20 0a 2a 2a 20 66 6f 6c 6c 6f 77 69   the .** followi
2020: 6e 67 20 73 74 72 75 63 74 75 72 65 2e 20 54 68  ng structure. Th
2030: 65 20 73 74 72 75 63 74 75 72 65 20 6d 65 74 68  e structure meth
2040: 6f 64 73 20 61 72 65 20 65 78 70 65 63 74 65 64  ods are expected
2050: 20 74 6f 20 66 75 6e 63 74 69 6f 6e 0a 2a 2a 20   to function.** 
2060: 61 73 20 66 6f 6c 6c 6f 77 73 3a 0a 2a 2a 0a 2a  as follows:.**.*
2070: 2a 20 78 43 72 65 61 74 65 3a 0a 2a 2a 20 20 20  * xCreate:.**   
2080: 54 68 69 73 20 66 75 6e 63 74 69 6f 6e 20 69 73  This function is
2090: 20 75 73 65 64 20 74 6f 20 61 6c 6c 6f 63 61 74   used to allocat
20a0: 65 20 61 6e 64 20 69 6e 69 74 69 74 61 6c 69 7a  e and inititaliz
20b0: 65 20 61 20 74 6f 6b 65 6e 69 7a 65 72 20 69 6e  e a tokenizer in
20c0: 73 74 61 6e 63 65 2e 0a 2a 2a 20 20 20 41 20 74  stance..**   A t
20d0: 6f 6b 65 6e 69 7a 65 72 20 69 6e 73 74 61 6e 63  okenizer instanc
20e0: 65 20 69 73 20 72 65 71 75 69 72 65 64 20 74 6f  e is required to
20f0: 20 61 63 74 75 61 6c 6c 79 20 74 6f 6b 65 6e 69   actually tokeni
2100: 7a 65 20 74 65 78 74 2e 0a 2a 2a 0a 2a 2a 20 20  ze text..**.**  
2110: 20 54 68 65 20 66 69 72 73 74 20 61 72 67 75 6d   The first argum
2120: 65 6e 74 20 70 61 73 73 65 64 20 74 6f 20 74 68  ent passed to th
2130: 69 73 20 66 75 6e 63 74 69 6f 6e 20 69 73 20 61  is function is a
2140: 20 63 6f 70 79 20 6f 66 20 74 68 65 20 28 76 6f   copy of the (vo
2150: 69 64 2a 29 0a 2a 2a 20 20 20 70 6f 69 6e 74 65  id*).**   pointe
2160: 72 20 70 72 6f 76 69 64 65 64 20 62 79 20 74 68  r provided by th
2170: 65 20 61 70 70 6c 69 63 61 74 69 6f 6e 20 77 68  e application wh
2180: 65 6e 20 74 68 65 20 66 74 73 35 5f 74 6f 6b 65  en the fts5_toke
2190: 6e 69 7a 65 72 20 6f 62 6a 65 63 74 0a 2a 2a 20  nizer object.** 
21a0: 20 20 77 61 73 20 72 65 67 69 73 74 65 72 65 64    was registered
21b0: 20 77 69 74 68 20 53 51 4c 69 74 65 2e 20 54 68   with SQLite. Th
21c0: 65 20 73 65 63 6f 6e 64 20 61 6e 64 20 74 68 69  e second and thi
21d0: 72 64 20 61 72 67 75 6d 65 6e 74 73 20 61 72 65  rd arguments are
21e0: 20 61 6e 0a 2a 2a 20 20 20 61 72 72 61 79 20 6f   an.**   array o
21f0: 66 20 6e 75 6c 2d 74 65 72 6d 69 6e 61 74 65 64  f nul-terminated
2200: 20 73 74 72 69 6e 67 73 20 63 6f 6e 74 61 69 6e   strings contain
2210: 69 6e 67 20 74 68 65 20 74 6f 6b 65 6e 69 7a 65  ing the tokenize
2220: 72 20 61 72 67 75 6d 65 6e 74 73 2c 0a 2a 2a 20  r arguments,.** 
2230: 20 20 69 66 20 61 6e 79 2c 20 73 70 65 63 69 66    if any, specif
2240: 69 65 64 20 61 73 20 70 61 72 74 20 6f 66 20 74  ied as part of t
2250: 68 65 20 43 52 45 41 54 45 20 56 49 52 54 55 41  he CREATE VIRTUA
2260: 4c 20 54 41 42 4c 45 20 73 74 61 74 65 6d 65 6e  L TABLE statemen
2270: 74 20 75 73 65 64 0a 2a 2a 20 20 20 74 6f 20 63  t used.**   to c
2280: 72 65 61 74 65 20 74 68 65 20 66 74 73 35 20 74  reate the fts5 t
2290: 61 62 6c 65 2e 0a 2a 2a 0a 2a 2a 20 20 20 54 68  able..**.**   Th
22a0: 65 20 66 69 6e 61 6c 20 61 72 67 75 6d 65 6e 74  e final argument
22b0: 20 69 73 20 61 6e 20 6f 75 74 70 75 74 20 76 61   is an output va
22c0: 72 69 61 62 6c 65 2e 20 49 66 20 73 75 63 63 65  riable. If succe
22d0: 73 73 66 75 6c 2c 20 28 2a 70 70 4f 75 74 29 20  ssful, (*ppOut) 
22e0: 0a 2a 2a 20 20 20 73 68 6f 75 6c 64 20 62 65 20  .**   should be 
22f0: 73 65 74 20 74 6f 20 70 6f 69 6e 74 20 74 6f 20  set to point to 
2300: 74 68 65 20 6e 65 77 20 74 6f 6b 65 6e 69 7a 65  the new tokenize
2310: 72 20 68 61 6e 64 6c 65 20 61 6e 64 20 53 51 4c  r handle and SQL
2320: 49 54 45 5f 4f 4b 0a 2a 2a 20 20 20 72 65 74 75  ITE_OK.**   retu
2330: 72 6e 65 64 2e 20 49 66 20 61 6e 20 65 72 72 6f  rned. If an erro
2340: 72 20 6f 63 63 75 72 73 2c 20 73 6f 6d 65 20 76  r occurs, some v
2350: 61 6c 75 65 20 6f 74 68 65 72 20 74 68 61 6e 20  alue other than 
2360: 53 51 4c 49 54 45 5f 4f 4b 20 73 68 6f 75 6c 64  SQLITE_OK should
2370: 0a 2a 2a 20 20 20 62 65 20 72 65 74 75 72 6e 65  .**   be returne
2380: 64 2e 20 49 6e 20 74 68 69 73 20 63 61 73 65 2c  d. In this case,
2390: 20 66 74 73 35 20 61 73 73 75 6d 65 73 20 74 68   fts5 assumes th
23a0: 61 74 20 74 68 65 20 66 69 6e 61 6c 20 76 61 6c  at the final val
23b0: 75 65 20 6f 66 20 2a 70 70 4f 75 74 20 0a 2a 2a  ue of *ppOut .**
23c0: 20 20 20 69 73 20 75 6e 64 65 66 69 6e 65 64 2e     is undefined.
23d0: 0a 2a 2a 0a 2a 2a 20 78 44 65 6c 65 74 65 3a 0a  .**.** xDelete:.
23e0: 2a 2a 20 20 20 54 68 69 73 20 66 75 6e 63 74 69  **   This functi
23f0: 6f 6e 20 69 73 20 69 6e 76 6f 6b 65 64 20 74 6f  on is invoked to
2400: 20 64 65 6c 65 74 65 20 61 20 74 6f 6b 65 6e 69   delete a tokeni
2410: 7a 65 72 20 68 61 6e 64 6c 65 20 70 72 65 76 69  zer handle previ
2420: 6f 75 73 6c 79 0a 2a 2a 20 20 20 61 6c 6c 6f 63  ously.**   alloc
2430: 61 74 65 64 20 75 73 69 6e 67 20 78 43 72 65 61  ated using xCrea
2440: 74 65 28 29 2e 20 46 74 73 35 20 67 75 61 72 61  te(). Fts5 guara
2450: 6e 74 65 65 73 20 74 68 61 74 20 74 68 69 73 20  ntees that this 
2460: 66 75 6e 63 74 69 6f 6e 20 77 69 6c 6c 0a 2a 2a  function will.**
2470: 20 20 20 62 65 20 69 6e 76 6f 6b 65 64 20 65 78     be invoked ex
2480: 61 63 74 6c 79 20 6f 6e 63 65 20 66 6f 72 20 65  actly once for e
2490: 61 63 68 20 73 75 63 63 65 73 73 66 75 6c 20 63  ach successful c
24a0: 61 6c 6c 20 74 6f 20 78 43 72 65 61 74 65 28 29  all to xCreate()
24b0: 2e 0a 2a 2a 0a 2a 2a 20 78 54 6f 6b 65 6e 69 7a  ..**.** xTokeniz
24c0: 65 3a 0a 2a 2a 20 20 20 54 68 69 73 20 66 75 6e  e:.**   This fun
24d0: 63 74 69 6f 6e 20 69 73 20 65 78 70 65 63 74 65  ction is expecte
24e0: 64 20 74 6f 20 74 6f 6b 65 6e 69 7a 65 20 74 68  d to tokenize th
24f0: 65 20 6e 54 65 78 74 20 62 79 74 65 20 73 74 72  e nText byte str
2500: 69 6e 67 20 69 6e 64 69 63 61 74 65 64 20 0a 2a  ing indicated .*
2510: 2a 20 20 20 62 79 20 61 72 67 75 6d 65 6e 74 20  *   by argument 
2520: 70 54 65 78 74 2e 20 70 54 65 78 74 20 6d 61 79  pText. pText may
2530: 20 6e 6f 74 20 62 65 20 6e 75 6c 2d 74 65 72 6d   not be nul-term
2540: 69 6e 61 74 65 64 2e 20 54 68 65 20 66 69 72 73  inated. The firs
2550: 74 20 61 72 67 75 6d 65 6e 74 0a 2a 2a 20 20 20  t argument.**   
2560: 70 61 73 73 65 64 20 74 6f 20 74 68 69 73 20 66  passed to this f
2570: 75 6e 63 74 69 6f 6e 20 69 73 20 61 20 70 6f 69  unction is a poi
2580: 6e 74 65 72 20 74 6f 20 61 6e 20 46 74 73 35 54  nter to an Fts5T
2590: 6f 6b 65 6e 69 7a 65 72 20 6f 62 6a 65 63 74 20  okenizer object 
25a0: 72 65 74 75 72 6e 65 64 20 0a 2a 2a 20 20 20 62  returned .**   b
25b0: 79 20 61 6e 20 65 61 72 6c 69 65 72 20 63 61 6c  y an earlier cal
25c0: 6c 20 74 6f 20 78 43 72 65 61 74 65 28 29 2e 0a  l to xCreate()..
25d0: 2a 2a 0a 2a 2a 20 20 20 46 6f 72 20 65 61 63 68  **.**   For each
25e0: 20 74 6f 6b 65 6e 20 69 6e 20 74 68 65 20 69 6e   token in the in
25f0: 70 75 74 20 73 74 72 69 6e 67 2c 20 74 68 65 20  put string, the 
2600: 73 75 70 70 6c 69 65 64 20 63 61 6c 6c 62 61 63  supplied callbac
2610: 6b 20 78 54 6f 6b 65 6e 28 29 20 6d 75 73 74 0a  k xToken() must.
2620: 2a 2a 20 20 20 62 65 20 69 6e 76 6f 6b 65 64 2e  **   be invoked.
2630: 20 54 68 65 20 66 69 72 73 74 20 61 72 67 75 6d   The first argum
2640: 65 6e 74 20 74 6f 20 69 74 20 73 68 6f 75 6c 64  ent to it should
2650: 20 62 65 20 61 20 63 6f 70 79 20 6f 66 20 74 68   be a copy of th
2660: 65 20 70 6f 69 6e 74 65 72 0a 2a 2a 20 20 20 70  e pointer.**   p
2670: 61 73 73 65 64 20 61 73 20 74 68 65 20 73 65 63  assed as the sec
2680: 6f 6e 64 20 61 72 67 75 6d 65 6e 74 20 74 6f 20  ond argument to 
2690: 78 54 6f 6b 65 6e 69 7a 65 28 29 2e 20 54 68 65  xTokenize(). The
26a0: 20 6e 65 78 74 20 74 77 6f 20 61 72 67 75 6d 65   next two argume
26b0: 6e 74 73 0a 2a 2a 20 20 20 61 72 65 20 61 20 70  nts.**   are a p
26c0: 6f 69 6e 74 65 72 20 74 6f 20 61 20 62 75 66 66  ointer to a buff
26d0: 65 72 20 63 6f 6e 74 61 69 6e 69 6e 67 20 74 68  er containing th
26e0: 65 20 74 6f 6b 65 6e 20 74 65 78 74 2c 20 61 6e  e token text, an
26f0: 64 20 74 68 65 20 73 69 7a 65 20 6f 66 0a 2a 2a  d the size of.**
2700: 20 20 20 74 68 65 20 74 6f 6b 65 6e 20 69 6e 20     the token in 
2710: 62 79 74 65 73 2e 20 54 68 65 20 34 74 68 20 61  bytes. The 4th a
2720: 6e 64 20 35 74 68 20 61 72 67 75 6d 65 6e 74 73  nd 5th arguments
2730: 20 61 72 65 20 74 68 65 20 62 79 74 65 20 6f 66   are the byte of
2740: 66 73 65 74 73 20 6f 66 0a 2a 2a 20 20 20 74 68  fsets of.**   th
2750: 65 20 66 69 72 73 74 20 62 79 74 65 20 6f 66 20  e first byte of 
2760: 61 6e 64 20 66 69 72 73 74 20 62 79 74 65 20 69  and first byte i
2770: 6d 6d 65 64 69 61 74 65 6c 79 20 66 6f 6c 6c 6f  mmediately follo
2780: 77 69 6e 67 20 74 68 65 20 74 65 78 74 20 66 72  wing the text fr
2790: 6f 6d 20 0a 2a 2a 20 20 20 77 68 69 63 68 20 74  om .**   which t
27a0: 68 65 20 74 6f 6b 65 6e 20 69 73 20 64 65 72 69  he token is deri
27b0: 76 65 64 20 77 69 74 68 69 6e 20 74 68 65 20 69  ved within the i
27c0: 6e 70 75 74 2e 20 54 68 65 20 66 69 6e 61 6c 20  nput. The final 
27d0: 61 72 67 75 6d 65 6e 74 20 69 73 20 74 68 65 0a  argument is the.
27e0: 2a 2a 20 20 20 74 6f 6b 65 6e 20 70 6f 73 69 74  **   token posit
27f0: 69 6f 6e 20 2d 20 74 68 65 20 74 6f 74 61 6c 20  ion - the total 
2800: 6e 75 6d 62 65 72 20 6f 66 20 74 6f 6b 65 6e 73  number of tokens
2810: 20 74 68 61 74 20 61 70 70 65 61 72 20 62 65 66   that appear bef
2820: 6f 72 65 20 74 68 69 73 20 6f 6e 65 20 0a 2a 2a  ore this one .**
2830: 20 20 20 69 6e 20 74 68 65 20 69 6e 70 75 74 20     in the input 
2840: 62 75 66 66 65 72 2e 0a 2a 2a 0a 2a 2a 20 20 20  buffer..**.**   
2850: 54 68 65 20 78 54 6f 6b 65 6e 28 29 20 63 61 6c  The xToken() cal
2860: 6c 62 61 63 6b 20 6d 75 73 74 20 62 65 20 69 6e  lback must be in
2870: 76 6f 6b 65 64 20 77 69 74 68 20 6e 6f 6e 2d 64  voked with non-d
2880: 65 63 72 65 61 73 69 6e 67 20 76 61 6c 75 65 73  ecreasing values
2890: 20 6f 66 0a 2a 2a 20 20 20 74 68 65 20 69 50 6f   of.**   the iPo
28a0: 73 20 70 61 72 61 6d 65 74 65 72 2e 0a 2a 2a 0a  s parameter..**.
28b0: 2a 2a 20 20 20 49 66 20 61 6e 20 78 54 6f 6b 65  **   If an xToke
28c0: 6e 28 29 20 63 61 6c 6c 62 61 63 6b 20 72 65 74  n() callback ret
28d0: 75 72 6e 73 20 61 6e 79 20 76 61 6c 75 65 20 6f  urns any value o
28e0: 74 68 65 72 20 74 68 61 6e 20 53 51 4c 49 54 45  ther than SQLITE
28f0: 5f 4f 4b 2c 20 74 68 65 6e 0a 2a 2a 20 20 20 74  _OK, then.**   t
2900: 68 65 20 74 6f 6b 65 6e 69 7a 61 74 69 6f 6e 20  he tokenization 
2910: 73 68 6f 75 6c 64 20 62 65 20 61 62 61 6e 64 6f  should be abando
2920: 6e 65 64 20 61 6e 64 20 74 68 65 20 78 54 6f 6b  ned and the xTok
2930: 65 6e 69 7a 65 28 29 20 6d 65 74 68 6f 64 20 73  enize() method s
2940: 68 6f 75 6c 64 0a 2a 2a 20 20 20 69 6d 6d 65 64  hould.**   immed
2950: 69 61 74 65 6c 79 20 72 65 74 75 72 6e 20 61 20  iately return a 
2960: 63 6f 70 79 20 6f 66 20 74 68 65 20 78 54 6f 6b  copy of the xTok
2970: 65 6e 28 29 20 72 65 74 75 72 6e 20 76 61 6c 75  en() return valu
2980: 65 2e 20 4f 72 2c 20 69 66 20 74 68 65 0a 2a 2a  e. Or, if the.**
2990: 20 20 20 69 6e 70 75 74 20 62 75 66 66 65 72 20     input buffer 
29a0: 69 73 20 65 78 68 61 75 73 74 65 64 2c 20 78 54  is exhausted, xT
29b0: 6f 6b 65 6e 69 7a 65 28 29 20 73 68 6f 75 6c 64  okenize() should
29c0: 20 72 65 74 75 72 6e 20 53 51 4c 49 54 45 5f 4f   return SQLITE_O
29d0: 4b 2e 20 46 69 6e 61 6c 6c 79 2c 0a 2a 2a 20 20  K. Finally,.**  
29e0: 20 69 66 20 61 6e 20 65 72 72 6f 72 20 6f 63 63   if an error occ
29f0: 75 72 73 20 77 69 74 68 20 74 68 65 20 78 54 6f  urs with the xTo
2a00: 6b 65 6e 69 7a 65 28 29 20 69 6d 70 6c 65 6d 65  kenize() impleme
2a10: 6e 74 61 74 69 6f 6e 20 69 74 73 65 6c 66 2c 20  ntation itself, 
2a20: 69 74 0a 2a 2a 20 20 20 6d 61 79 20 61 62 61 6e  it.**   may aban
2a30: 64 6f 6e 20 74 68 65 20 74 6f 6b 65 6e 69 7a 61  don the tokeniza
2a40: 74 69 6f 6e 20 61 6e 64 20 72 65 74 75 72 6e 20  tion and return 
2a50: 61 6e 79 20 65 72 72 6f 72 20 63 6f 64 65 20 6f  any error code o
2a60: 74 68 65 72 20 74 68 61 6e 0a 2a 2a 20 20 20 53  ther than.**   S
2a70: 51 4c 49 54 45 5f 4f 4b 20 6f 72 20 53 51 4c 49  QLITE_OK or SQLI
2a80: 54 45 5f 44 4f 4e 45 2e 0a 2a 2a 0a 2a 2f 0a 74  TE_DONE..**.*/.t
2a90: 79 70 65 64 65 66 20 73 74 72 75 63 74 20 66 74  ypedef struct ft
2aa0: 73 35 5f 74 6f 6b 65 6e 69 7a 65 72 20 66 74 73  s5_tokenizer fts
2ab0: 35 5f 74 6f 6b 65 6e 69 7a 65 72 3b 0a 74 79 70  5_tokenizer;.typ
2ac0: 65 64 65 66 20 73 74 72 75 63 74 20 46 74 73 35  edef struct Fts5
2ad0: 54 6f 6b 65 6e 69 7a 65 72 20 46 74 73 35 54 6f  Tokenizer Fts5To
2ae0: 6b 65 6e 69 7a 65 72 3b 0a 0a 73 74 72 75 63 74  kenizer;..struct
2af0: 20 66 74 73 35 5f 74 6f 6b 65 6e 69 7a 65 72 20   fts5_tokenizer 
2b00: 7b 0a 20 20 69 6e 74 20 28 2a 78 43 72 65 61 74  {.  int (*xCreat
2b10: 65 29 28 76 6f 69 64 2a 2c 20 63 6f 6e 73 74 20  e)(void*, const 
2b20: 63 68 61 72 20 2a 2a 61 7a 41 72 67 2c 20 69 6e  char **azArg, in
2b30: 74 20 6e 41 72 67 2c 20 46 74 73 35 54 6f 6b 65  t nArg, Fts5Toke
2b40: 6e 69 7a 65 72 20 2a 2a 70 70 4f 75 74 29 3b 0a  nizer **ppOut);.
2b50: 20 20 76 6f 69 64 20 28 2a 78 44 65 6c 65 74 65    void (*xDelete
2b60: 29 28 46 74 73 35 54 6f 6b 65 6e 69 7a 65 72 2a  )(Fts5Tokenizer*
2b70: 29 3b 0a 20 20 69 6e 74 20 28 2a 78 54 6f 6b 65  );.  int (*xToke
2b80: 6e 69 7a 65 29 28 46 74 73 35 54 6f 6b 65 6e 69  nize)(Fts5Tokeni
2b90: 7a 65 72 2a 2c 20 0a 20 20 20 20 20 20 76 6f 69  zer*, .      voi
2ba0: 64 20 2a 70 43 74 78 2c 0a 20 20 20 20 20 20 63  d *pCtx,.      c
2bb0: 6f 6e 73 74 20 63 68 61 72 20 2a 70 54 65 78 74  onst char *pText
2bc0: 2c 20 69 6e 74 20 6e 54 65 78 74 2c 20 0a 20 20  , int nText, .  
2bd0: 20 20 20 20 69 6e 74 20 28 2a 78 54 6f 6b 65 6e      int (*xToken
2be0: 29 28 0a 20 20 20 20 20 20 20 20 76 6f 69 64 20  )(.        void 
2bf0: 2a 70 43 74 78 2c 20 20 20 20 20 20 20 20 20 2f  *pCtx,         /
2c00: 2a 20 43 6f 70 79 20 6f 66 20 32 6e 64 20 61 72  * Copy of 2nd ar
2c10: 67 75 6d 65 6e 74 20 74 6f 20 78 54 6f 6b 65 6e  gument to xToken
2c20: 69 7a 65 28 29 20 2a 2f 0a 20 20 20 20 20 20 20  ize() */.       
2c30: 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 70 54 6f   const char *pTo
2c40: 6b 65 6e 2c 20 2f 2a 20 50 6f 69 6e 74 65 72 20  ken, /* Pointer 
2c50: 74 6f 20 62 75 66 66 65 72 20 63 6f 6e 74 61 69  to buffer contai
2c60: 6e 69 6e 67 20 74 6f 6b 65 6e 20 2a 2f 0a 20 20  ning token */.  
2c70: 20 20 20 20 20 20 69 6e 74 20 6e 54 6f 6b 65 6e        int nToken
2c80: 2c 20 20 20 20 20 20 20 20 20 2f 2a 20 53 69 7a  ,         /* Siz
2c90: 65 20 6f 66 20 74 6f 6b 65 6e 20 69 6e 20 62 79  e of token in by
2ca0: 74 65 73 20 2a 2f 0a 20 20 20 20 20 20 20 20 69  tes */.        i
2cb0: 6e 74 20 69 53 74 61 72 74 2c 20 20 20 20 20 20  nt iStart,      
2cc0: 20 20 20 2f 2a 20 42 79 74 65 20 6f 66 66 73 65     /* Byte offse
2cd0: 74 20 6f 66 20 74 6f 6b 65 6e 20 77 69 74 68 69  t of token withi
2ce0: 6e 20 69 6e 70 75 74 20 74 65 78 74 20 2a 2f 0a  n input text */.
2cf0: 20 20 20 20 20 20 20 20 69 6e 74 20 69 45 6e 64          int iEnd
2d00: 2c 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 42  ,           /* B
2d10: 79 74 65 20 6f 66 66 73 65 74 20 6f 66 20 65 6e  yte offset of en
2d20: 64 20 6f 66 20 74 6f 6b 65 6e 20 77 69 74 68 69  d of token withi
2d30: 6e 20 69 6e 70 75 74 20 74 65 78 74 20 2a 2f 0a  n input text */.
2d40: 20 20 20 20 20 20 20 20 69 6e 74 20 69 50 6f 73          int iPos
2d50: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 50              /* P
2d60: 6f 73 69 74 69 6f 6e 20 6f 66 20 74 6f 6b 65 6e  osition of token
2d70: 20 69 6e 20 69 6e 70 75 74 20 28 66 69 72 73 74   in input (first
2d80: 20 74 6f 6b 65 6e 20 69 73 20 30 29 20 2a 2f 0a   token is 0) */.
2d90: 20 20 20 20 20 20 29 0a 20 20 29 3b 0a 7d 3b 0a        ).  );.};.
2da0: 0a 2f 2a 0a 2a 2a 20 45 4e 44 20 4f 46 20 43 55  ./*.** END OF CU
2db0: 53 54 4f 4d 20 54 4f 4b 45 4e 49 5a 45 52 53 0a  STOM TOKENIZERS.
2dc0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
2dd0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
2de0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
2df0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
2e00: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2f 0a 0a 2f 2a 2a 2a  *********/../***
2e10: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
2e20: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
2e30: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
2e40: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
2e50: 2a 2a 2a 2a 2a 2a 0a 2a 2a 20 46 54 53 35 20 45  ******.** FTS5 E
2e60: 58 54 45 4e 53 49 4f 4e 20 52 45 47 49 53 54 52  XTENSION REGISTR
2e70: 41 54 49 4f 4e 20 41 50 49 0a 2a 2f 0a 74 79 70  ATION API.*/.typ
2e80: 65 64 65 66 20 73 74 72 75 63 74 20 66 74 73 35  edef struct fts5
2e90: 5f 61 70 69 20 66 74 73 35 5f 61 70 69 3b 0a 73  _api fts5_api;.s
2ea0: 74 72 75 63 74 20 66 74 73 35 5f 61 70 69 20 7b  truct fts5_api {
2eb0: 0a 20 20 69 6e 74 20 69 56 65 72 73 69 6f 6e 3b  .  int iVersion;
2ec0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2ed0: 20 20 20 2f 2a 20 43 75 72 72 65 6e 74 6c 79 20     /* Currently 
2ee0: 61 6c 77 61 79 73 20 73 65 74 20 74 6f 20 31 20  always set to 1 
2ef0: 2a 2f 0a 0a 20 20 2f 2a 20 43 72 65 61 74 65 20  */..  /* Create 
2f00: 61 20 6e 65 77 20 74 6f 6b 65 6e 69 7a 65 72 20  a new tokenizer 
2f10: 2a 2f 0a 20 20 69 6e 74 20 28 2a 78 43 72 65 61  */.  int (*xCrea
2f20: 74 65 54 6f 6b 65 6e 69 7a 65 72 29 28 0a 20 20  teTokenizer)(.  
2f30: 20 20 66 74 73 35 5f 61 70 69 20 2a 70 41 70 69    fts5_api *pApi
2f40: 2c 0a 20 20 20 20 63 6f 6e 73 74 20 63 68 61 72  ,.    const char
2f50: 20 2a 7a 4e 61 6d 65 2c 0a 20 20 20 20 76 6f 69   *zName,.    voi
2f60: 64 20 2a 70 43 6f 6e 74 65 78 74 2c 0a 20 20 20  d *pContext,.   
2f70: 20 66 74 73 35 5f 74 6f 6b 65 6e 69 7a 65 72 20   fts5_tokenizer 
2f80: 2a 70 54 6f 6b 65 6e 69 7a 65 72 2c 0a 20 20 20  *pTokenizer,.   
2f90: 20 76 6f 69 64 20 28 2a 78 44 65 73 74 72 6f 79   void (*xDestroy
2fa0: 29 28 76 6f 69 64 2a 29 0a 20 20 29 3b 0a 0a 20  )(void*).  );.. 
2fb0: 20 2f 2a 20 46 69 6e 64 20 61 6e 20 65 78 69 73   /* Find an exis
2fc0: 74 69 6e 67 20 74 6f 6b 65 6e 69 7a 65 72 20 2a  ting tokenizer *
2fd0: 2f 0a 20 20 69 6e 74 20 28 2a 78 46 69 6e 64 54  /.  int (*xFindT
2fe0: 6f 6b 65 6e 69 7a 65 72 29 28 0a 20 20 20 20 66  okenizer)(.    f
2ff0: 74 73 35 5f 61 70 69 20 2a 70 41 70 69 2c 0a 20  ts5_api *pApi,. 
3000: 20 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a     const char *z
3010: 4e 61 6d 65 2c 0a 20 20 20 20 66 74 73 35 5f 74  Name,.    fts5_t
3020: 6f 6b 65 6e 69 7a 65 72 20 2a 70 54 6f 6b 65 6e  okenizer *pToken
3030: 69 7a 65 72 0a 20 20 29 3b 0a 0a 20 20 2f 2a 20  izer.  );..  /* 
3040: 43 72 65 61 74 65 20 61 20 6e 65 77 20 61 75 78  Create a new aux
3050: 69 6c 69 61 72 79 20 66 75 6e 63 74 69 6f 6e 20  iliary function 
3060: 2a 2f 0a 20 20 69 6e 74 20 28 2a 78 43 72 65 61  */.  int (*xCrea
3070: 74 65 46 75 6e 63 74 69 6f 6e 29 28 0a 20 20 20  teFunction)(.   
3080: 20 66 74 73 35 5f 61 70 69 20 2a 70 41 70 69 2c   fts5_api *pApi,
3090: 0a 20 20 20 20 63 6f 6e 73 74 20 63 68 61 72 20  .    const char 
30a0: 2a 7a 4e 61 6d 65 2c 0a 20 20 20 20 76 6f 69 64  *zName,.    void
30b0: 20 2a 70 43 6f 6e 74 65 78 74 2c 0a 20 20 20 20   *pContext,.    
30c0: 66 74 73 35 5f 65 78 74 65 6e 73 69 6f 6e 5f 66  fts5_extension_f
30d0: 75 6e 63 74 69 6f 6e 20 78 46 75 6e 63 74 69 6f  unction xFunctio
30e0: 6e 2c 0a 20 20 20 20 76 6f 69 64 20 28 2a 78 44  n,.    void (*xD
30f0: 65 73 74 72 6f 79 29 28 76 6f 69 64 2a 29 0a 20  estroy)(void*). 
3100: 20 29 3b 0a 7d 3b 0a 0a 2f 2a 0a 2a 2a 20 45 4e   );.};../*.** EN
3110: 44 20 4f 46 20 52 45 47 49 53 54 52 41 54 49 4f  D OF REGISTRATIO
3120: 4e 20 41 50 49 0a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  N API.**********
3130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
3160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2f  ***************/
3170: 0a 0a 23 65 6e 64 69 66 20 2f 2a 20 5f 46 54 53  ..#endif /* _FTS
3180: 35 5f 48 20 2a 2f 0a 0a                          5_H */..