/ Hex Artifact Content
Login

Artifact ab81ac59084ff1c07d421eb1a0a84ec809603b44:


0000: 2f 2a 0a 2a 2a 20 32 30 30 34 20 41 70 72 69 6c  /*.** 2004 April
0010: 20 31 33 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75   13.**.** The au
0020: 74 68 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63  thor disclaims c
0030: 6f 70 79 72 69 67 68 74 20 74 6f 20 74 68 69 73  opyright to this
0040: 20 73 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49   source code.  I
0050: 6e 20 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20  n place of.** a 
0060: 6c 65 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65  legal notice, he
0070: 72 65 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67  re is a blessing
0080: 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79  :.**.**    May y
0090: 6f 75 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e  ou do good and n
00a0: 6f 74 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d  ot evil..**    M
00b0: 61 79 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67  ay you find forg
00c0: 69 76 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72  iveness for your
00d0: 73 65 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65  self and forgive
00e0: 20 6f 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d   others..**    M
00f0: 61 79 20 79 6f 75 20 73 68 61 72 65 20 66 72 65  ay you share fre
0100: 65 6c 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e  ely, never takin
0110: 67 20 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20  g more than you 
0120: 67 69 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a  give..**.*******
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 0a 2a 2a 20 54 68 69 73 20 66 69 6c 65 20  **.** This file 
0180: 63 6f 6e 74 61 69 6e 73 20 72 6f 75 74 69 6e 65  contains routine
0190: 73 20 75 73 65 64 20 74 6f 20 74 72 61 6e 73 6c  s used to transl
01a0: 61 74 65 20 62 65 74 77 65 65 6e 20 55 54 46 2d  ate between UTF-
01b0: 38 2c 20 0a 2a 2a 20 55 54 46 2d 31 36 2c 20 55  8, .** UTF-16, U
01c0: 54 46 2d 31 36 42 45 2c 20 61 6e 64 20 55 54 46  TF-16BE, and UTF
01d0: 2d 31 36 4c 45 2e 0a 2a 2a 0a 2a 2a 20 24 49 64  -16LE..**.** $Id
01e0: 3a 20 75 74 66 2e 63 2c 76 20 31 2e 33 39 20 32  : utf.c,v 1.39 2
01f0: 30 30 36 2f 30 34 2f 31 36 20 31 32 3a 30 35 3a  006/04/16 12:05:
0200: 30 33 20 64 72 68 20 45 78 70 20 24 0a 2a 2a 0a  03 drh Exp $.**.
0210: 2a 2a 20 4e 6f 74 65 73 20 6f 6e 20 55 54 46 2d  ** Notes on UTF-
0220: 38 3a 0a 2a 2a 0a 2a 2a 20 20 20 42 79 74 65 2d  8:.**.**   Byte-
0230: 30 20 20 20 20 42 79 74 65 2d 31 20 20 20 20 42  0    Byte-1    B
0240: 79 74 65 2d 32 20 20 20 20 42 79 74 65 2d 33 20  yte-2    Byte-3 
0250: 20 20 20 56 61 6c 75 65 0a 2a 2a 20 20 30 78 78     Value.**  0xx
0260: 78 78 78 78 78 20 20 20 20 20 20 20 20 20 20 20  xxxxx           
0270: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0280: 20 20 20 20 20 20 30 30 30 30 30 30 30 30 20 30        00000000 0
0290: 30 30 30 30 30 30 30 20 30 78 78 78 78 78 78 78  0000000 0xxxxxxx
02a0: 0a 2a 2a 20 20 31 31 30 79 79 79 79 79 20 20 31  .**  110yyyyy  1
02b0: 30 78 78 78 78 78 78 20 20 20 20 20 20 20 20 20  0xxxxxx         
02c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 30 30                00
02d0: 30 30 30 30 30 30 20 30 30 30 30 30 79 79 79 20  000000 00000yyy 
02e0: 79 79 78 78 78 78 78 78 0a 2a 2a 20 20 31 31 31  yyxxxxxx.**  111
02f0: 30 7a 7a 7a 7a 20 20 31 30 79 79 79 79 79 79 20  0zzzz  10yyyyyy 
0300: 20 31 30 78 78 78 78 78 78 20 20 20 20 20 20 20   10xxxxxx       
0310: 20 20 20 20 20 20 30 30 30 30 30 30 30 30 20 7a        00000000 z
0320: 7a 7a 7a 79 79 79 79 20 79 79 78 78 78 78 78 78  zzzyyyy yyxxxxxx
0330: 0a 2a 2a 20 20 31 31 31 31 30 75 75 75 20 20 31  .**  11110uuu  1
0340: 30 75 75 7a 7a 7a 7a 20 20 31 30 79 79 79 79 79  0uuzzzz  10yyyyy
0350: 79 20 20 31 30 78 78 78 78 78 78 20 20 20 30 30  y  10xxxxxx   00
0360: 30 75 75 75 75 75 20 7a 7a 7a 7a 79 79 79 79 20  0uuuuu zzzzyyyy 
0370: 79 79 78 78 78 78 78 78 0a 2a 2a 0a 2a 2a 0a 2a  yyxxxxxx.**.**.*
0380: 2a 20 4e 6f 74 65 73 20 6f 6e 20 55 54 46 2d 31  * Notes on UTF-1
0390: 36 3a 20 20 28 77 69 74 68 20 77 77 77 77 2b 31  6:  (with wwww+1
03a0: 3d 3d 75 75 75 75 75 29 0a 2a 2a 0a 2a 2a 20 20  ==uuuuu).**.**  
03b0: 20 20 20 20 57 6f 72 64 2d 30 20 20 20 20 20 20      Word-0      
03c0: 20 20 20 20 20 20 20 20 20 57 6f 72 64 2d 31 20           Word-1 
03d0: 20 20 20 20 20 20 20 20 20 56 61 6c 75 65 0a 2a           Value.*
03e0: 2a 20 20 31 31 30 31 31 30 77 77 20 77 77 7a 7a  *  110110ww wwzz
03f0: 7a 7a 79 79 20 20 20 31 31 30 31 31 31 79 79 20  zzyy   110111yy 
0400: 79 79 78 78 78 78 78 78 20 20 20 20 30 30 30 75  yyxxxxxx    000u
0410: 75 75 75 75 20 7a 7a 7a 7a 79 79 79 79 20 79 79  uuuu zzzzyyyy yy
0420: 78 78 78 78 78 78 0a 2a 2a 20 20 7a 7a 7a 7a 79  xxxxxx.**  zzzzy
0430: 79 79 79 20 79 79 78 78 78 78 78 78 20 20 20 20  yyy yyxxxxxx    
0440: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0450: 20 20 20 20 30 30 30 30 30 30 30 30 20 7a 7a 7a      00000000 zzz
0460: 7a 79 79 79 79 20 79 79 78 78 78 78 78 78 0a 2a  zyyyy yyxxxxxx.*
0470: 2a 0a 2a 2a 0a 2a 2a 20 42 4f 4d 20 6f 72 20 42  *.**.** BOM or B
0480: 79 74 65 20 4f 72 64 65 72 20 4d 61 72 6b 3a 0a  yte Order Mark:.
0490: 2a 2a 20 20 20 20 20 30 78 66 66 20 30 78 66 65  **     0xff 0xfe
04a0: 20 20 20 6c 69 74 74 6c 65 2d 65 6e 64 69 61 6e     little-endian
04b0: 20 75 74 66 2d 31 36 20 66 6f 6c 6c 6f 77 73 0a   utf-16 follows.
04c0: 2a 2a 20 20 20 20 20 30 78 66 65 20 30 78 66 66  **     0xfe 0xff
04d0: 20 20 20 62 69 67 2d 65 6e 64 69 61 6e 20 75 74     big-endian ut
04e0: 66 2d 31 36 20 66 6f 6c 6c 6f 77 73 0a 2a 2a 0a  f-16 follows.**.
04f0: 2a 2a 0a 2a 2a 20 48 61 6e 64 6c 69 6e 67 20 6f  **.** Handling o
0500: 66 20 6d 61 6c 66 6f 72 6d 65 64 20 73 74 72 69  f malformed stri
0510: 6e 67 73 3a 0a 2a 2a 0a 2a 2a 20 53 51 4c 69 74  ngs:.**.** SQLit
0520: 65 20 61 63 63 65 70 74 73 20 61 6e 64 20 70 72  e accepts and pr
0530: 6f 63 65 73 73 65 73 20 6d 61 6c 66 6f 72 6d 65  ocesses malforme
0540: 64 20 73 74 72 69 6e 67 73 20 77 69 74 68 6f 75  d strings withou
0550: 74 20 61 6e 20 65 72 72 6f 72 20 77 68 65 72 65  t an error where
0560: 76 65 72 0a 2a 2a 20 70 6f 73 73 69 62 6c 65 2e  ver.** possible.
0570: 20 48 6f 77 65 76 65 72 20 74 68 69 73 20 69 73   However this is
0580: 20 6e 6f 74 20 70 6f 73 73 69 62 6c 65 20 77 68   not possible wh
0590: 65 6e 20 63 6f 6e 76 65 72 74 69 6e 67 20 62 65  en converting be
05a0: 74 77 65 65 6e 20 55 54 46 2d 38 20 61 6e 64 0a  tween UTF-8 and.
05b0: 2a 2a 20 55 54 46 2d 31 36 2e 0a 2a 2a 0a 2a 2a  ** UTF-16..**.**
05c0: 20 57 68 65 6e 20 63 6f 6e 76 65 72 74 69 6e 67   When converting
05d0: 20 6d 61 6c 66 6f 72 6d 65 64 20 55 54 46 2d 38   malformed UTF-8
05e0: 20 73 74 72 69 6e 67 73 20 74 6f 20 55 54 46 2d   strings to UTF-
05f0: 31 36 2c 20 6f 6e 65 20 69 6e 73 74 61 6e 63 65  16, one instance
0600: 20 6f 66 20 74 68 65 0a 2a 2a 20 72 65 70 6c 61   of the.** repla
0610: 63 65 6d 65 6e 74 20 63 68 61 72 61 63 74 65 72  cement character
0620: 20 55 2b 46 46 46 44 20 66 6f 72 20 65 61 63 68   U+FFFD for each
0630: 20 62 79 74 65 20 74 68 61 74 20 63 61 6e 6e 6f   byte that canno
0640: 74 20 62 65 20 69 6e 74 65 72 70 65 74 65 64 20  t be interpeted 
0650: 61 73 0a 2a 2a 20 70 61 72 74 20 6f 66 20 61 20  as.** part of a 
0660: 76 61 6c 69 64 20 75 6e 69 63 6f 64 65 20 63 68  valid unicode ch
0670: 61 72 61 63 74 65 72 2e 0a 2a 2a 0a 2a 2a 20 57  aracter..**.** W
0680: 68 65 6e 20 63 6f 6e 76 65 72 74 69 6e 67 20 6d  hen converting m
0690: 61 6c 66 6f 72 6d 65 64 20 55 54 46 2d 31 36 20  alformed UTF-16 
06a0: 73 74 72 69 6e 67 73 20 74 6f 20 55 54 46 2d 38  strings to UTF-8
06b0: 2c 20 6f 6e 65 20 69 6e 73 74 61 6e 63 65 20 6f  , one instance o
06c0: 66 20 74 68 65 0a 2a 2a 20 72 65 70 6c 61 63 65  f the.** replace
06d0: 6d 65 6e 74 20 63 68 61 72 61 63 74 65 72 20 55  ment character U
06e0: 2b 46 46 46 44 20 66 6f 72 20 65 61 63 68 20 70  +FFFD for each p
06f0: 61 69 72 20 6f 66 20 62 79 74 65 73 20 74 68 61  air of bytes tha
0700: 74 20 63 61 6e 6e 6f 74 20 62 65 0a 2a 2a 20 69  t cannot be.** i
0710: 6e 74 65 72 70 65 74 65 64 20 61 73 20 70 61 72  nterpeted as par
0720: 74 20 6f 66 20 61 20 76 61 6c 69 64 20 75 6e 69  t of a valid uni
0730: 63 6f 64 65 20 63 68 61 72 61 63 74 65 72 2e 0a  code character..
0740: 2a 2a 0a 2a 2a 20 54 68 69 73 20 66 69 6c 65 20  **.** This file 
0750: 63 6f 6e 74 61 69 6e 73 20 74 68 65 20 66 6f 6c  contains the fol
0760: 6c 6f 77 69 6e 67 20 70 75 62 6c 69 63 20 72 6f  lowing public ro
0770: 75 74 69 6e 65 73 3a 0a 2a 2a 0a 2a 2a 20 73 71  utines:.**.** sq
0780: 6c 69 74 65 33 56 64 62 65 4d 65 6d 54 72 61 6e  lite3VdbeMemTran
0790: 73 6c 61 74 65 28 29 20 2d 20 54 72 61 6e 73 6c  slate() - Transl
07a0: 61 74 65 20 74 68 65 20 65 6e 63 6f 64 69 6e 67  ate the encoding
07b0: 20 75 73 65 64 20 62 79 20 61 20 4d 65 6d 2a 20   used by a Mem* 
07c0: 73 74 72 69 6e 67 2e 0a 2a 2a 20 73 71 6c 69 74  string..** sqlit
07d0: 65 33 56 64 62 65 4d 65 6d 48 61 6e 64 6c 65 42  e3VdbeMemHandleB
07e0: 6f 6d 28 29 20 2d 20 48 61 6e 64 6c 65 20 62 79  om() - Handle by
07f0: 74 65 2d 6f 72 64 65 72 2d 6d 61 72 6b 73 20 69  te-order-marks i
0800: 6e 20 55 54 46 31 36 20 4d 65 6d 2a 20 73 74 72  n UTF16 Mem* str
0810: 69 6e 67 73 2e 0a 2a 2a 20 73 71 6c 69 74 65 33  ings..** sqlite3
0820: 75 74 66 31 36 42 79 74 65 4c 65 6e 28 29 20 20  utf16ByteLen()  
0830: 20 20 20 2d 20 43 61 6c 63 75 6c 61 74 65 20 62     - Calculate b
0840: 79 74 65 2d 6c 65 6e 67 74 68 20 6f 66 20 61 20  yte-length of a 
0850: 76 6f 69 64 2a 20 55 54 46 31 36 20 73 74 72 69  void* UTF16 stri
0860: 6e 67 2e 0a 2a 2a 20 73 71 6c 69 74 65 33 75 74  ng..** sqlite3ut
0870: 66 38 43 68 61 72 4c 65 6e 28 29 20 20 20 20 20  f8CharLen()     
0880: 20 2d 20 43 61 6c 63 75 6c 61 74 65 20 63 68 61   - Calculate cha
0890: 72 2d 6c 65 6e 67 74 68 20 6f 66 20 61 20 63 68  r-length of a ch
08a0: 61 72 2a 20 55 54 46 38 20 73 74 72 69 6e 67 2e  ar* UTF8 string.
08b0: 0a 2a 2a 20 73 71 6c 69 74 65 33 75 74 66 38 4c  .** sqlite3utf8L
08c0: 69 6b 65 43 6f 6d 70 61 72 65 28 29 20 20 2d 20  ikeCompare()  - 
08d0: 44 6f 20 61 20 4c 49 4b 45 20 6d 61 74 63 68 20  Do a LIKE match 
08e0: 67 69 76 65 6e 20 74 77 6f 20 55 54 46 38 20 63  given two UTF8 c
08f0: 68 61 72 2a 20 73 74 72 69 6e 67 73 2e 0a 2a 2a  har* strings..**
0900: 0a 2a 2f 0a 23 69 6e 63 6c 75 64 65 20 22 73 71  .*/.#include "sq
0910: 6c 69 74 65 49 6e 74 2e 68 22 0a 23 69 6e 63 6c  liteInt.h".#incl
0920: 75 64 65 20 3c 61 73 73 65 72 74 2e 68 3e 0a 23  ude <assert.h>.#
0930: 69 6e 63 6c 75 64 65 20 22 76 64 62 65 49 6e 74  include "vdbeInt
0940: 2e 68 22 0a 0a 2f 2a 0a 2a 2a 20 54 68 69 73 20  .h"../*.** This 
0950: 74 61 62 6c 65 20 6d 61 70 73 20 66 72 6f 6d 20  table maps from 
0960: 74 68 65 20 66 69 72 73 74 20 62 79 74 65 20 6f  the first byte o
0970: 66 20 61 20 55 54 46 2d 38 20 63 68 61 72 61 63  f a UTF-8 charac
0980: 74 65 72 20 74 6f 20 74 68 65 20 6e 75 6d 62 65  ter to the numbe
0990: 72 0a 2a 2a 20 6f 66 20 74 72 61 69 6c 69 6e 67  r.** of trailing
09a0: 20 62 79 74 65 73 20 65 78 70 65 63 74 65 64 2e   bytes expected.
09b0: 20 41 20 76 61 6c 75 65 20 27 32 35 35 27 20 69   A value '255' i
09c0: 6e 64 69 63 61 74 65 73 20 74 68 61 74 20 74 68  ndicates that th
09d0: 65 20 74 61 62 6c 65 20 6b 65 79 0a 2a 2a 20 69  e table key.** i
09e0: 73 20 6e 6f 74 20 61 20 6c 65 67 61 6c 20 66 69  s not a legal fi
09f0: 72 73 74 20 62 79 74 65 20 66 6f 72 20 61 20 55  rst byte for a U
0a00: 54 46 2d 38 20 63 68 61 72 61 63 74 65 72 2e 0a  TF-8 character..
0a10: 2a 2f 0a 73 74 61 74 69 63 20 63 6f 6e 73 74 20  */.static const 
0a20: 75 38 20 78 74 72 61 5f 75 74 66 38 5f 62 79 74  u8 xtra_utf8_byt
0a30: 65 73 5b 32 35 36 5d 20 20 3d 20 7b 0a 2f 2a 20  es[256]  = {./* 
0a40: 30 78 78 78 78 78 78 78 20 2a 2f 0a 30 2c 20 30  0xxxxxxx */.0, 0
0a50: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 0, 0, 0, 0, 0,
0a60: 20 30 2c 20 20 20 20 20 30 2c 20 30 2c 20 30 2c   0,     0, 0, 0,
0a70: 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 0a   0, 0, 0, 0, 0,.
0a80: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30  0, 0, 0, 0, 0, 0
0a90: 2c 20 30 2c 20 30 2c 20 20 20 20 20 30 2c 20 30  , 0, 0,     0, 0
0aa0: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 0, 0, 0, 0, 0,
0ab0: 20 30 2c 0a 30 2c 20 30 2c 20 30 2c 20 30 2c 20   0,.0, 0, 0, 0, 
0ac0: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20 20 20 20  0, 0, 0, 0,     
0ad0: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30  0, 0, 0, 0, 0, 0
0ae0: 2c 20 30 2c 20 30 2c 0a 30 2c 20 30 2c 20 30 2c  , 0, 0,.0, 0, 0,
0af0: 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20   0, 0, 0, 0, 0, 
0b00: 20 20 20 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20      0, 0, 0, 0, 
0b10: 30 2c 20 30 2c 20 30 2c 20 30 2c 0a 30 2c 20 30  0, 0, 0, 0,.0, 0
0b20: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 0, 0, 0, 0, 0,
0b30: 20 30 2c 20 20 20 20 20 30 2c 20 30 2c 20 30 2c   0,     0, 0, 0,
0b40: 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 0a   0, 0, 0, 0, 0,.
0b50: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30  0, 0, 0, 0, 0, 0
0b60: 2c 20 30 2c 20 30 2c 20 20 20 20 20 30 2c 20 30  , 0, 0,     0, 0
0b70: 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c  , 0, 0, 0, 0, 0,
0b80: 20 30 2c 0a 30 2c 20 30 2c 20 30 2c 20 30 2c 20   0,.0, 0, 0, 0, 
0b90: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 20 20 20 20  0, 0, 0, 0,     
0ba0: 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30  0, 0, 0, 0, 0, 0
0bb0: 2c 20 30 2c 20 30 2c 0a 30 2c 20 30 2c 20 30 2c  , 0, 0,.0, 0, 0,
0bc0: 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20   0, 0, 0, 0, 0, 
0bd0: 20 20 20 20 30 2c 20 30 2c 20 30 2c 20 30 2c 20      0, 0, 0, 0, 
0be0: 30 2c 20 30 2c 20 30 2c 20 30 2c 0a 0a 2f 2a 20  0, 0, 0, 0,../* 
0bf0: 31 30 77 77 77 77 77 77 20 2a 2f 0a 32 35 35 2c  10wwwwww */.255,
0c00: 20 32 35 35 2c 20 32 35 35 2c 20 32 35 35 2c 20   255, 255, 255, 
0c10: 32 35 35 2c 20 32 35 35 2c 20 32 35 35 2c 20 32  255, 255, 255, 2
0c20: 35 35 2c 20 32 35 35 2c 20 32 35 35 2c 20 32 35  55, 255, 255, 25
0c30: 35 2c 20 32 35 35 2c 20 32 35 35 2c 20 32 35 35  5, 255, 255, 255
0c40: 2c 20 32 35 35 2c 20 32 35 35 2c 0a 32 35 35 2c  , 255, 255,.255,
0c50: 20 32 35 35 2c 20 32 35 35 2c 20 32 35 35 2c 20   255, 255, 255, 
0c60: 32 35 35 2c 20 32 35 35 2c 20 32 35 35 2c 20 32  255, 255, 255, 2
0c70: 35 35 2c 20 32 35 35 2c 20 32 35 35 2c 20 32 35  55, 255, 255, 25
0c80: 35 2c 20 32 35 35 2c 20 32 35 35 2c 20 32 35 35  5, 255, 255, 255
0c90: 2c 20 32 35 35 2c 20 32 35 35 2c 0a 32 35 35 2c  , 255, 255,.255,
0ca0: 20 32 35 35 2c 20 32 35 35 2c 20 32 35 35 2c 20   255, 255, 255, 
0cb0: 32 35 35 2c 20 32 35 35 2c 20 32 35 35 2c 20 32  255, 255, 255, 2
0cc0: 35 35 2c 20 32 35 35 2c 20 32 35 35 2c 20 32 35  55, 255, 255, 25
0cd0: 35 2c 20 32 35 35 2c 20 32 35 35 2c 20 32 35 35  5, 255, 255, 255
0ce0: 2c 20 32 35 35 2c 20 32 35 35 2c 0a 32 35 35 2c  , 255, 255,.255,
0cf0: 20 32 35 35 2c 20 32 35 35 2c 20 32 35 35 2c 20   255, 255, 255, 
0d00: 32 35 35 2c 20 32 35 35 2c 20 32 35 35 2c 20 32  255, 255, 255, 2
0d10: 35 35 2c 20 32 35 35 2c 20 32 35 35 2c 20 32 35  55, 255, 255, 25
0d20: 35 2c 20 32 35 35 2c 20 32 35 35 2c 20 32 35 35  5, 255, 255, 255
0d30: 2c 20 32 35 35 2c 20 32 35 35 2c 0a 0a 2f 2a 20  , 255, 255,../* 
0d40: 31 31 30 79 79 79 79 79 20 2a 2f 0a 31 2c 20 31  110yyyyy */.1, 1
0d50: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0d60: 20 31 2c 20 20 20 20 20 31 2c 20 31 2c 20 31 2c   1,     1, 1, 1,
0d70: 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 0a   1, 1, 1, 1, 1,.
0d80: 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31  1, 1, 1, 1, 1, 1
0d90: 2c 20 31 2c 20 31 2c 20 20 20 20 20 31 2c 20 31  , 1, 1,     1, 1
0da0: 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c 20 31 2c  , 1, 1, 1, 1, 1,
0db0: 20 31 2c 0a 0a 2f 2a 20 31 31 31 30 7a 7a 7a 7a   1,../* 1110zzzz
0dc0: 20 2a 2f 0a 32 2c 20 32 2c 20 32 2c 20 32 2c 20   */.2, 2, 2, 2, 
0dd0: 32 2c 20 32 2c 20 32 2c 20 32 2c 20 20 20 20 20  2, 2, 2, 2,     
0de0: 32 2c 20 32 2c 20 32 2c 20 32 2c 20 32 2c 20 32  2, 2, 2, 2, 2, 2
0df0: 2c 20 32 2c 20 32 2c 0a 0a 2f 2a 20 31 31 31 31  , 2, 2,../* 1111
0e00: 30 79 79 79 20 2a 2f 0a 33 2c 20 33 2c 20 33 2c  0yyy */.3, 3, 3,
0e10: 20 33 2c 20 33 2c 20 33 2c 20 33 2c 20 33 2c 20   3, 3, 3, 3, 3, 
0e20: 20 20 20 20 32 35 35 2c 20 32 35 35 2c 20 32 35      255, 255, 25
0e30: 35 2c 20 32 35 35 2c 20 32 35 35 2c 20 32 35 35  5, 255, 255, 255
0e40: 2c 20 32 35 35 2c 20 32 35 35 2c 0a 7d 3b 0a 0a  , 255, 255,.};..
0e50: 2f 2a 0a 2a 2a 20 54 68 69 73 20 74 61 62 6c 65  /*.** This table
0e60: 20 6d 61 70 73 20 66 72 6f 6d 20 74 68 65 20 6e   maps from the n
0e70: 75 6d 62 65 72 20 6f 66 20 74 72 61 69 6c 69 6e  umber of trailin
0e80: 67 20 62 79 74 65 73 20 69 6e 20 61 20 55 54 46  g bytes in a UTF
0e90: 2d 38 20 63 68 61 72 61 63 74 65 72 0a 2a 2a 20  -8 character.** 
0ea0: 74 6f 20 61 6e 20 69 6e 74 65 67 65 72 20 63 6f  to an integer co
0eb0: 6e 73 74 61 6e 74 20 74 68 61 74 20 69 73 20 65  nstant that is e
0ec0: 66 66 65 63 74 69 76 65 6c 79 20 63 61 6c 63 75  ffectively calcu
0ed0: 6c 61 74 65 64 20 66 6f 72 20 65 61 63 68 20 63  lated for each c
0ee0: 68 61 72 61 63 74 65 72 0a 2a 2a 20 72 65 61 64  haracter.** read
0ef0: 20 62 79 20 61 20 6e 61 69 76 65 20 69 6d 70 6c   by a naive impl
0f00: 65 6d 65 6e 74 61 74 69 6f 6e 20 6f 66 20 61 20  ementation of a 
0f10: 55 54 46 2d 38 20 63 68 61 72 61 63 74 65 72 20  UTF-8 character 
0f20: 72 65 61 64 65 72 2e 20 54 68 65 20 63 6f 64 65  reader. The code
0f30: 0a 2a 2a 20 69 6e 20 74 68 65 20 52 45 41 44 5f  .** in the READ_
0f40: 55 54 46 38 20 6d 61 63 72 6f 20 65 78 70 6c 61  UTF8 macro expla
0f50: 69 6e 73 20 74 68 69 6e 67 73 20 62 65 73 74 2e  ins things best.
0f60: 0a 2a 2f 0a 73 74 61 74 69 63 20 63 6f 6e 73 74  .*/.static const
0f70: 20 69 6e 74 20 78 74 72 61 5f 75 74 66 38 5f 62   int xtra_utf8_b
0f80: 69 74 73 5b 34 5d 20 3d 20 20 7b 0a 30 2c 0a 31  its[4] =  {.0,.1
0f90: 32 34 31 36 2c 20 20 20 20 20 20 20 20 20 20 2f  2416,          /
0fa0: 2a 20 28 30 78 43 30 20 3c 3c 20 36 29 20 2b 20  * (0xC0 << 6) + 
0fb0: 28 30 78 38 30 29 20 2a 2f 0a 39 32 35 38 32 34  (0x80) */.925824
0fc0: 2c 20 20 20 20 20 20 20 20 20 2f 2a 20 28 30 78  ,         /* (0x
0fd0: 45 30 20 3c 3c 20 31 32 29 20 2b 20 28 30 78 38  E0 << 12) + (0x8
0fe0: 30 20 3c 3c 20 36 29 20 2b 20 28 30 78 38 30 29  0 << 6) + (0x80)
0ff0: 20 2a 2f 0a 36 33 34 34 37 31 36 38 20 20 20 20   */.63447168    
1000: 20 20 20 20 2f 2a 20 28 30 78 46 30 20 3c 3c 20      /* (0xF0 << 
1010: 31 38 29 20 2b 20 28 30 78 38 30 20 3c 3c 20 31  18) + (0x80 << 1
1020: 32 29 20 2b 20 28 30 78 38 30 20 3c 3c 20 36 29  2) + (0x80 << 6)
1030: 20 2b 20 30 78 38 30 20 2a 2f 0a 7d 3b 0a 0a 23   + 0x80 */.};..#
1040: 64 65 66 69 6e 65 20 52 45 41 44 5f 55 54 46 38  define READ_UTF8
1050: 28 7a 49 6e 2c 20 63 29 20 7b 20 5c 0a 20 20 69  (zIn, c) { \.  i
1060: 6e 74 20 78 74 72 61 3b 20 20 20 20 20 20 20 20  nt xtra;        
1070: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1080: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1090: 20 20 20 20 5c 0a 20 20 63 20 3d 20 2a 28 7a 49      \.  c = *(zI
10a0: 6e 29 2b 2b 3b 20 20 20 20 20 20 20 20 20 20 20  n)++;           
10b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
10c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
10d0: 20 78 74 72 61 20 3d 20 78 74 72 61 5f 75 74 66   xtra = xtra_utf
10e0: 38 5f 62 79 74 65 73 5b 63 5d 3b 20 20 20 20 20  8_bytes[c];     
10f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1100: 20 20 20 20 20 20 5c 0a 20 20 73 77 69 74 63 68        \.  switch
1110: 28 20 78 74 72 61 20 29 7b 20 20 20 20 20 20 20  ( xtra ){       
1120: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1130: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
1140: 0a 20 20 20 20 63 61 73 65 20 32 35 35 3a 20 63  .    case 255: c
1150: 20 3d 20 28 69 6e 74 29 30 78 46 46 46 44 3b 20   = (int)0xFFFD; 
1160: 62 72 65 61 6b 3b 20 20 20 20 20 20 20 20 20 20  break;          
1170: 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 63 61          \.    ca
1180: 73 65 20 33 3a 20 63 20 3d 20 28 63 3c 3c 36 29  se 3: c = (c<<6)
1190: 20 2b 20 2a 28 7a 49 6e 29 2b 2b 3b 20 20 20 20   + *(zIn)++;    
11a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
11b0: 20 5c 0a 20 20 20 20 63 61 73 65 20 32 3a 20 63   \.    case 2: c
11c0: 20 3d 20 28 63 3c 3c 36 29 20 2b 20 2a 28 7a 49   = (c<<6) + *(zI
11d0: 6e 29 2b 2b 3b 20 20 20 20 20 20 20 20 20 20 20  n)++;           
11e0: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20            \.    
11f0: 63 61 73 65 20 31 3a 20 63 20 3d 20 28 63 3c 3c  case 1: c = (c<<
1200: 36 29 20 2b 20 2a 28 7a 49 6e 29 2b 2b 3b 20 20  6) + *(zIn)++;  
1210: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1220: 20 20 20 5c 0a 20 20 20 20 63 20 2d 3d 20 78 74     \.    c -= xt
1230: 72 61 5f 75 74 66 38 5f 62 69 74 73 5b 78 74 72  ra_utf8_bits[xtr
1240: 61 5d 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  a];             
1250: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
1260: 7d 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  }               
1270: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1280: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1290: 20 20 20 20 20 5c 0a 7d 0a 69 6e 74 20 73 71 6c       \.}.int sql
12a0: 69 74 65 33 52 65 61 64 55 74 66 38 28 63 6f 6e  ite3ReadUtf8(con
12b0: 73 74 20 75 6e 73 69 67 6e 65 64 20 63 68 61 72  st unsigned char
12c0: 20 2a 7a 29 7b 0a 20 20 69 6e 74 20 63 3b 0a 20   *z){.  int c;. 
12d0: 20 52 45 41 44 5f 55 54 46 38 28 7a 2c 20 63 29   READ_UTF8(z, c)
12e0: 3b 0a 20 20 72 65 74 75 72 6e 20 63 3b 0a 7d 0a  ;.  return c;.}.
12f0: 0a 23 64 65 66 69 6e 65 20 53 4b 49 50 5f 55 54  .#define SKIP_UT
1300: 46 38 28 7a 49 6e 29 20 7b 20 20 20 20 20 20 20  F8(zIn) {       
1310: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1320: 20 20 20 20 20 20 20 20 5c 0a 20 20 7a 49 6e 20          \.  zIn 
1330: 2b 3d 20 28 78 74 72 61 5f 75 74 66 38 5f 62 79  += (xtra_utf8_by
1340: 74 65 73 5b 2a 28 75 38 20 2a 29 7a 49 6e 5d 20  tes[*(u8 *)zIn] 
1350: 2b 20 31 29 3b 20 20 20 20 20 20 20 20 20 20 20  + 1);           
1360: 20 5c 0a 7d 0a 0a 23 64 65 66 69 6e 65 20 57 52   \.}..#define WR
1370: 49 54 45 5f 55 54 46 38 28 7a 4f 75 74 2c 20 63  ITE_UTF8(zOut, c
1380: 29 20 7b 20 20 20 20 20 20 20 20 20 20 20 20 20  ) {             
1390: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
13a0: 20 69 66 28 20 63 3c 30 78 30 30 30 38 30 20 29   if( c<0x00080 )
13b0: 7b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  {               
13c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
13d0: 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75        \.    *zOu
13e0: 74 2b 2b 20 3d 20 28 63 26 30 78 46 46 29 3b 20  t++ = (c&0xFF); 
13f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1400: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
1410: 0a 20 20 7d 20 20 20 20 20 20 20 20 20 20 20 20  .  }            
1420: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1430: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1440: 20 20 20 20 20 20 20 20 5c 0a 20 20 65 6c 73 65          \.  else
1450: 20 69 66 28 20 63 3c 30 78 30 30 38 30 30 20 29   if( c<0x00800 )
1460: 7b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  {               
1470: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1480: 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d   \.    *zOut++ =
1490: 20 30 78 43 30 20 2b 20 28 28 63 3e 3e 36 29 26   0xC0 + ((c>>6)&
14a0: 30 78 31 46 29 3b 20 20 20 20 20 20 20 20 20 20  0x1F);          
14b0: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20            \.    
14c0: 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78 38 30 20 2b  *zOut++ = 0x80 +
14d0: 20 28 63 20 26 20 30 78 33 46 29 3b 20 20 20 20   (c & 0x3F);    
14e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
14f0: 20 20 20 5c 0a 20 20 7d 20 20 20 20 20 20 20 20     \.  }        
1500: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1510: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1520: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
1530: 65 6c 73 65 20 69 66 28 20 63 3c 30 78 31 30 30  else if( c<0x100
1540: 30 30 20 29 7b 20 20 20 20 20 20 20 20 20 20 20  00 ){           
1550: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1560: 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74       \.    *zOut
1570: 2b 2b 20 3d 20 30 78 45 30 20 2b 20 28 28 63 3e  ++ = 0xE0 + ((c>
1580: 3e 31 32 29 26 30 78 30 46 29 3b 20 20 20 20 20  >12)&0x0F);     
1590: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
15a0: 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78      *zOut++ = 0x
15b0: 38 30 20 2b 20 28 28 63 3e 3e 36 29 20 26 20 30  80 + ((c>>6) & 0
15c0: 78 33 46 29 3b 20 20 20 20 20 20 20 20 20 20 20  x3F);           
15d0: 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f         \.    *zO
15e0: 75 74 2b 2b 20 3d 20 30 78 38 30 20 2b 20 28 63  ut++ = 0x80 + (c
15f0: 20 26 20 30 78 33 46 29 3b 20 20 20 20 20 20 20   & 0x3F);       
1600: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1610: 5c 0a 20 20 7d 65 6c 73 65 7b 20 20 20 20 20 20  \.  }else{      
1620: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1630: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1640: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a           \.    *
1650: 7a 4f 75 74 2b 2b 20 3d 20 30 78 46 30 20 2b 20  zOut++ = 0xF0 + 
1660: 28 28 63 3e 3e 31 38 29 20 26 20 30 78 30 37 29  ((c>>18) & 0x07)
1670: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ;               
1680: 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20    \.    *zOut++ 
1690: 3d 20 30 78 38 30 20 2b 20 28 28 63 3e 3e 31 32  = 0x80 + ((c>>12
16a0: 29 20 26 20 30 78 33 46 29 3b 20 20 20 20 20 20  ) & 0x3F);      
16b0: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20             \.   
16c0: 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78 38 30 20   *zOut++ = 0x80 
16d0: 2b 20 28 28 63 3e 3e 36 29 20 26 20 30 78 33 46  + ((c>>6) & 0x3F
16e0: 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  );              
16f0: 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b      \.    *zOut+
1700: 2b 20 3d 20 30 78 38 30 20 2b 20 28 63 20 26 20  + = 0x80 + (c & 
1710: 30 78 33 46 29 3b 20 20 20 20 20 20 20 20 20 20  0x3F);          
1720: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
1730: 20 7d 20 20 20 20 20 20 20 20 20 20 20 20 20 20   }              
1740: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1750: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1760: 20 20 20 20 20 20 5c 0a 7d 0a 0a 23 64 65 66 69        \.}..#defi
1770: 6e 65 20 57 52 49 54 45 5f 55 54 46 31 36 4c 45  ne WRITE_UTF16LE
1780: 28 7a 4f 75 74 2c 20 63 29 20 7b 20 20 20 20 20  (zOut, c) {     
1790: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
17a0: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 69             \.  i
17b0: 66 28 20 63 3c 3d 30 78 46 46 46 46 20 29 7b 20  f( c<=0xFFFF ){ 
17c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
17d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
17e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
17f0: 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 63 26     *zOut++ = (c&
1800: 30 78 30 30 46 46 29 3b 20 20 20 20 20 20 20 20  0x00FF);        
1810: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1820: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
1830: 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28  .    *zOut++ = (
1840: 28 63 3e 3e 38 29 26 30 78 30 30 46 46 29 3b 20  (c>>8)&0x00FF); 
1850: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1860: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1870: 20 5c 0a 20 20 7d 65 6c 73 65 7b 20 20 20 20 20   \.  }else{     
1880: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1890: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
18a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
18b0: 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b     \.    *zOut++
18c0: 20 3d 20 28 28 28 63 3e 3e 31 30 29 26 30 78 30   = (((c>>10)&0x0
18d0: 30 33 46 29 20 2b 20 28 28 28 63 2d 30 78 31 30  03F) + (((c-0x10
18e0: 30 30 30 29 3e 3e 31 30 29 26 30 78 30 30 43 30  000)>>10)&0x00C0
18f0: 29 29 3b 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74  ));  \.    *zOut
1900: 2b 2b 20 3d 20 28 30 78 30 30 44 38 20 2b 20 28  ++ = (0x00D8 + (
1910: 28 28 63 2d 30 78 31 30 30 30 30 29 3e 3e 31 38  ((c-0x10000)>>18
1920: 29 26 30 78 30 33 29 29 3b 20 20 20 20 20 20 20  )&0x03));       
1930: 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f         \.    *zO
1940: 75 74 2b 2b 20 3d 20 28 63 26 30 78 30 30 46 46  ut++ = (c&0x00FF
1950: 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  );              
1960: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1970: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a           \.    *
1980: 7a 4f 75 74 2b 2b 20 3d 20 28 30 78 30 30 44 43  zOut++ = (0x00DC
1990: 20 2b 20 28 28 63 3e 3e 38 29 26 30 78 30 33 29   + ((c>>8)&0x03)
19a0: 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  );              
19b0: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 7d             \.  }
19c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
19d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
19e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
19f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 7d               \.}
1a00: 0a 0a 23 64 65 66 69 6e 65 20 57 52 49 54 45 5f  ..#define WRITE_
1a10: 55 54 46 31 36 42 45 28 7a 4f 75 74 2c 20 63 29  UTF16BE(zOut, c)
1a20: 20 7b 20 20 20 20 20 20 20 20 20 20 20 20 20 20   {              
1a30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1a40: 20 20 5c 0a 20 20 69 66 28 20 63 3c 3d 30 78 46    \.  if( c<=0xF
1a50: 46 46 46 20 29 7b 20 20 20 20 20 20 20 20 20 20  FFF ){          
1a60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1a70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1a80: 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b      \.    *zOut+
1a90: 2b 20 3d 20 28 28 63 3e 3e 38 29 26 30 78 30 30  + = ((c>>8)&0x00
1aa0: 46 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 20  FF);            
1ab0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1ac0: 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75        \.    *zOu
1ad0: 74 2b 2b 20 3d 20 28 63 26 30 78 30 30 46 46 29  t++ = (c&0x00FF)
1ae0: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ;               
1af0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1b00: 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 65 6c 73          \.  }els
1b10: 65 7b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  e{              
1b20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1b30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1b40: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20            \.    
1b50: 2a 7a 4f 75 74 2b 2b 20 3d 20 28 30 78 30 30 44  *zOut++ = (0x00D
1b60: 38 20 2b 20 28 28 28 63 2d 30 78 31 30 30 30 30  8 + (((c-0x10000
1b70: 29 3e 3e 31 38 29 26 30 78 30 33 29 29 3b 20 20  )>>18)&0x03));  
1b80: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
1b90: 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 28 28 63    *zOut++ = (((c
1ba0: 3e 3e 31 30 29 26 30 78 30 30 33 46 29 20 2b 20  >>10)&0x003F) + 
1bb0: 28 28 28 63 2d 30 78 31 30 30 30 30 29 3e 3e 31  (((c-0x10000)>>1
1bc0: 30 29 26 30 78 30 30 43 30 29 29 3b 20 20 5c 0a  0)&0x00C0));  \.
1bd0: 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 30      *zOut++ = (0
1be0: 78 30 30 44 43 20 2b 20 28 28 63 3e 3e 38 29 26  x00DC + ((c>>8)&
1bf0: 30 78 30 33 29 29 3b 20 20 20 20 20 20 20 20 20  0x03));         
1c00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c10: 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20  \.    *zOut++ = 
1c20: 28 63 26 30 78 30 30 46 46 29 3b 20 20 20 20 20  (c&0x00FF);     
1c30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c50: 20 20 5c 0a 20 20 7d 20 20 20 20 20 20 20 20 20    \.  }         
1c60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c90: 20 20 20 20 5c 0a 7d 0a 0a 23 64 65 66 69 6e 65      \.}..#define
1ca0: 20 52 45 41 44 5f 55 54 46 31 36 4c 45 28 7a 49   READ_UTF16LE(zI
1cb0: 6e 2c 20 63 29 7b 20 20 20 20 20 20 20 20 20 20  n, c){          
1cc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1cd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
1ce0: 0a 20 20 63 20 3d 20 28 2a 7a 49 6e 2b 2b 29 3b  .  c = (*zIn++);
1cf0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1d00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1d10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1d20: 20 20 20 20 20 20 20 5c 0a 20 20 63 20 2b 3d 20         \.  c += 
1d30: 28 28 2a 7a 49 6e 2b 2b 29 3c 3c 38 29 3b 20 20  ((*zIn++)<<8);  
1d40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1d50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1d60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
1d70: 0a 20 20 69 66 28 20 63 3e 3d 30 78 44 38 30 30  .  if( c>=0xD800
1d80: 20 26 26 20 63 3c 3d 30 78 45 30 30 30 20 29 7b   && c<=0xE000 ){
1d90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1da0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1db0: 20 20 20 20 20 20 20 5c 0a 20 20 20 20 69 6e 74         \.    int
1dc0: 20 63 32 20 3d 20 28 2a 7a 49 6e 2b 2b 29 3b 20   c2 = (*zIn++); 
1dd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1de0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1df0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
1e00: 0a 20 20 20 20 63 32 20 2b 3d 20 28 28 2a 7a 49  .    c2 += ((*zI
1e10: 6e 2b 2b 29 3c 3c 38 29 3b 20 20 20 20 20 20 20  n++)<<8);       
1e20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1e30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1e40: 20 20 20 20 20 20 20 5c 0a 20 20 20 20 63 20 3d         \.    c =
1e50: 20 28 63 32 26 30 78 30 33 46 46 29 20 2b 20 28   (c2&0x03FF) + (
1e60: 28 63 26 30 78 30 30 33 46 29 3c 3c 31 30 29 20  (c&0x003F)<<10) 
1e70: 2b 20 28 28 28 63 26 30 78 30 33 43 30 29 2b 30  + (((c&0x03C0)+0
1e80: 78 30 30 34 30 29 3c 3c 31 30 29 3b 20 20 20 5c  x0040)<<10);   \
1e90: 0a 20 20 7d 20 20 20 20 20 20 20 20 20 20 20 20  .  }            
1ea0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1eb0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1ec0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1ed0: 20 20 20 20 20 20 20 5c 0a 7d 0a 0a 23 64 65 66         \.}..#def
1ee0: 69 6e 65 20 52 45 41 44 5f 55 54 46 31 36 42 45  ine READ_UTF16BE
1ef0: 28 7a 49 6e 2c 20 63 29 7b 20 20 20 20 20 20 20  (zIn, c){       
1f00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1f10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1f20: 20 20 5c 0a 20 20 63 20 3d 20 28 28 2a 7a 49 6e    \.  c = ((*zIn
1f30: 2b 2b 29 3c 3c 38 29 3b 20 20 20 20 20 20 20 20  ++)<<8);        
1f40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1f50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1f60: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 63 20            \.  c 
1f70: 2b 3d 20 28 2a 7a 49 6e 2b 2b 29 3b 20 20 20 20  += (*zIn++);    
1f80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1f90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1fa0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1fb0: 20 20 5c 0a 20 20 69 66 28 20 63 3e 3d 30 78 44    \.  if( c>=0xD
1fc0: 38 30 30 20 26 26 20 63 3c 3d 30 78 45 30 30 30  800 && c<=0xE000
1fd0: 20 29 7b 20 20 20 20 20 20 20 20 20 20 20 20 20   ){             
1fe0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1ff0: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20            \.    
2000: 69 6e 74 20 63 32 20 3d 20 28 28 2a 7a 49 6e 2b  int c2 = ((*zIn+
2010: 2b 29 3c 3c 38 29 3b 20 20 20 20 20 20 20 20 20  +)<<8);         
2020: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2030: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2040: 20 20 5c 0a 20 20 20 20 63 32 20 2b 3d 20 28 2a    \.    c2 += (*
2050: 7a 49 6e 2b 2b 29 3b 20 20 20 20 20 20 20 20 20  zIn++);         
2060: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2070: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2080: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20            \.    
2090: 63 20 3d 20 28 63 32 26 30 78 30 33 46 46 29 20  c = (c2&0x03FF) 
20a0: 2b 20 28 28 63 26 30 78 30 30 33 46 29 3c 3c 31  + ((c&0x003F)<<1
20b0: 30 29 20 2b 20 28 28 28 63 26 30 78 30 33 43 30  0) + (((c&0x03C0
20c0: 29 2b 30 78 30 30 34 30 29 3c 3c 31 30 29 3b 20  )+0x0040)<<10); 
20d0: 20 20 5c 0a 20 20 7d 20 20 20 20 20 20 20 20 20    \.  }         
20e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
20f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2100: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2110: 20 20 20 20 20 20 20 20 20 20 5c 0a 7d 0a 0a 23            \.}..#
2120: 64 65 66 69 6e 65 20 53 4b 49 50 5f 55 54 46 31  define SKIP_UTF1
2130: 36 42 45 28 7a 49 6e 29 7b 20 20 20 20 20 20 20  6BE(zIn){       
2140: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2150: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2160: 20 20 20 20 20 5c 0a 20 20 69 66 28 20 2a 7a 49       \.  if( *zI
2170: 6e 3e 3d 30 78 44 38 20 26 26 20 28 2a 7a 49 6e  n>=0xD8 && (*zIn
2180: 3c 30 78 45 30 20 7c 7c 20 28 2a 7a 49 6e 3d 3d  <0xE0 || (*zIn==
2190: 30 78 45 30 20 26 26 20 2a 28 7a 49 6e 2b 31 29  0xE0 && *(zIn+1)
21a0: 3d 3d 30 78 30 30 29 29 20 29 7b 20 20 5c 0a 20  ==0x00)) ){  \. 
21b0: 20 20 20 7a 49 6e 20 2b 3d 20 34 3b 20 20 20 20     zIn += 4;    
21c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
21d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
21e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
21f0: 20 20 20 20 20 5c 0a 20 20 7d 65 6c 73 65 7b 20       \.  }else{ 
2200: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2210: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2220: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2230: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
2240: 20 20 20 7a 49 6e 20 2b 3d 20 32 3b 20 20 20 20     zIn += 2;    
2250: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2260: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2270: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2280: 20 20 20 20 20 5c 0a 20 20 7d 20 20 20 20 20 20       \.  }      
2290: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
22a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
22b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
22c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 7d               \.}
22d0: 0a 23 64 65 66 69 6e 65 20 53 4b 49 50 5f 55 54  .#define SKIP_UT
22e0: 46 31 36 4c 45 28 7a 49 6e 29 7b 20 20 20 20 20  F16LE(zIn){     
22f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2300: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2310: 20 20 20 20 20 20 20 5c 0a 20 20 7a 49 6e 2b 2b         \.  zIn++
2320: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ;               
2330: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2340: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2350: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
2360: 0a 20 20 69 66 28 20 2a 7a 49 6e 3e 3d 30 78 44  .  if( *zIn>=0xD
2370: 38 20 26 26 20 28 2a 7a 49 6e 3c 30 78 45 30 20  8 && (*zIn<0xE0 
2380: 7c 7c 20 28 2a 7a 49 6e 3d 3d 30 78 45 30 20 26  || (*zIn==0xE0 &
2390: 26 20 2a 28 7a 49 6e 2d 31 29 3d 3d 30 78 30 30  & *(zIn-1)==0x00
23a0: 29 29 20 29 7b 20 20 5c 0a 20 20 20 20 7a 49 6e  )) ){  \.    zIn
23b0: 20 2b 3d 20 33 3b 20 20 20 20 20 20 20 20 20 20   += 3;          
23c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
23d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
23e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
23f0: 0a 20 20 7d 65 6c 73 65 7b 20 20 20 20 20 20 20  .  }else{       
2400: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2410: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2420: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2430: 20 20 20 20 20 20 20 5c 0a 20 20 20 20 7a 49 6e         \.    zIn
2440: 20 2b 3d 20 31 3b 20 20 20 20 20 20 20 20 20 20   += 1;          
2450: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2460: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2470: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
2480: 0a 20 20 7d 20 20 20 20 20 20 20 20 20 20 20 20  .  }            
2490: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
24a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
24b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
24c0: 20 20 20 20 20 20 20 5c 0a 7d 0a 0a 23 64 65 66         \.}..#def
24d0: 69 6e 65 20 52 53 4b 49 50 5f 55 54 46 31 36 4c  ine RSKIP_UTF16L
24e0: 45 28 7a 49 6e 29 7b 20 20 20 20 20 20 20 20 20  E(zIn){         
24f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2500: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2510: 20 20 20 5c 0a 20 20 69 66 28 20 2a 7a 49 6e 3e     \.  if( *zIn>
2520: 3d 30 78 44 38 20 26 26 20 28 2a 7a 49 6e 3c 30  =0xD8 && (*zIn<0
2530: 78 45 30 20 7c 7c 20 28 2a 7a 49 6e 3d 3d 30 78  xE0 || (*zIn==0x
2540: 45 30 20 26 26 20 2a 28 7a 49 6e 2d 31 29 3d 3d  E0 && *(zIn-1)==
2550: 30 78 30 30 29 29 20 29 7b 20 20 5c 0a 20 20 20  0x00)) ){  \.   
2560: 20 7a 49 6e 20 2d 3d 20 34 3b 20 20 20 20 20 20   zIn -= 4;      
2570: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2580: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2590: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
25a0: 20 20 20 5c 0a 20 20 7d 65 6c 73 65 7b 20 20 20     \.  }else{   
25b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
25c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
25d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
25e0: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20             \.   
25f0: 20 7a 49 6e 20 2d 3d 20 32 3b 20 20 20 20 20 20   zIn -= 2;      
2600: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2610: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2620: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2630: 20 20 20 5c 0a 20 20 7d 20 20 20 20 20 20 20 20     \.  }        
2640: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2650: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2660: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2670: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 7d 0a 23             \.}.#
2680: 64 65 66 69 6e 65 20 52 53 4b 49 50 5f 55 54 46  define RSKIP_UTF
2690: 31 36 42 45 28 7a 49 6e 29 7b 20 20 20 20 20 20  16BE(zIn){      
26a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
26b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
26c0: 20 20 20 20 20 20 5c 0a 20 20 7a 49 6e 2d 2d 3b        \.  zIn--;
26d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
26e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
26f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2700: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
2710: 20 20 69 66 28 20 2a 7a 49 6e 3e 3d 30 78 44 38    if( *zIn>=0xD8
2720: 20 26 26 20 28 2a 7a 49 6e 3c 30 78 45 30 20 7c   && (*zIn<0xE0 |
2730: 7c 20 28 2a 7a 49 6e 3d 3d 30 78 45 30 20 26 26  | (*zIn==0xE0 &&
2740: 20 2a 28 7a 49 6e 2b 31 29 3d 3d 30 78 30 30 29   *(zIn+1)==0x00)
2750: 29 20 29 7b 20 20 5c 0a 20 20 20 20 7a 49 6e 20  ) ){  \.    zIn 
2760: 2d 3d 20 33 3b 20 20 20 20 20 20 20 20 20 20 20  -= 3;           
2770: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2780: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2790: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
27a0: 20 20 7d 65 6c 73 65 7b 20 20 20 20 20 20 20 20    }else{        
27b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
27c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
27d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
27e0: 20 20 20 20 20 20 5c 0a 20 20 20 20 7a 49 6e 20        \.    zIn 
27f0: 2d 3d 20 31 3b 20 20 20 20 20 20 20 20 20 20 20  -= 1;           
2800: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2810: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2820: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
2830: 20 20 7d 20 20 20 20 20 20 20 20 20 20 20 20 20    }             
2840: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2850: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2860: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2870: 20 20 20 20 20 20 5c 0a 7d 0a 0a 2f 2a 0a 2a 2a        \.}../*.**
2880: 20 49 66 20 74 68 65 20 54 52 41 4e 53 4c 41 54   If the TRANSLAT
2890: 45 5f 54 52 41 43 45 20 6d 61 63 72 6f 20 69 73  E_TRACE macro is
28a0: 20 64 65 66 69 6e 65 64 2c 20 74 68 65 20 76 61   defined, the va
28b0: 6c 75 65 20 6f 66 20 65 61 63 68 20 4d 65 6d 20  lue of each Mem 
28c0: 69 73 0a 2a 2a 20 70 72 69 6e 74 65 64 20 6f 6e  is.** printed on
28d0: 20 73 74 64 65 72 72 20 6f 6e 20 74 68 65 20 77   stderr on the w
28e0: 61 79 20 69 6e 74 6f 20 61 6e 64 20 6f 75 74 20  ay into and out 
28f0: 6f 66 20 73 71 6c 69 74 65 33 56 64 62 65 4d 65  of sqlite3VdbeMe
2900: 6d 54 72 61 6e 73 6c 61 74 65 28 29 2e 0a 2a 2f  mTranslate()..*/
2910: 20 0a 2f 2a 20 23 64 65 66 69 6e 65 20 54 52 41   ./* #define TRA
2920: 4e 53 4c 41 54 45 5f 54 52 41 43 45 20 31 20 2a  NSLATE_TRACE 1 *
2930: 2f 0a 0a 23 69 66 6e 64 65 66 20 53 51 4c 49 54  /..#ifndef SQLIT
2940: 45 5f 4f 4d 49 54 5f 55 54 46 31 36 0a 2f 2a 0a  E_OMIT_UTF16./*.
2950: 2a 2a 20 54 68 69 73 20 72 6f 75 74 69 6e 65 20  ** This routine 
2960: 74 72 61 6e 73 66 6f 72 6d 73 20 74 68 65 20 69  transforms the i
2970: 6e 74 65 72 6e 61 6c 20 74 65 78 74 20 65 6e 63  nternal text enc
2980: 6f 64 69 6e 67 20 75 73 65 64 20 62 79 20 70 4d  oding used by pM
2990: 65 6d 20 74 6f 0a 2a 2a 20 64 65 73 69 72 65 64  em to.** desired
29a0: 45 6e 63 2e 20 49 74 20 69 73 20 61 6e 20 65 72  Enc. It is an er
29b0: 72 6f 72 20 69 66 20 74 68 65 20 73 74 72 69 6e  ror if the strin
29c0: 67 20 69 73 20 61 6c 72 65 61 64 79 20 6f 66 20  g is already of 
29d0: 74 68 65 20 64 65 73 69 72 65 64 0a 2a 2a 20 65  the desired.** e
29e0: 6e 63 6f 64 69 6e 67 2c 20 6f 72 20 69 66 20 2a  ncoding, or if *
29f0: 70 4d 65 6d 20 64 6f 65 73 20 6e 6f 74 20 63 6f  pMem does not co
2a00: 6e 74 61 69 6e 20 61 20 73 74 72 69 6e 67 20 76  ntain a string v
2a10: 61 6c 75 65 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c  alue..*/.int sql
2a20: 69 74 65 33 56 64 62 65 4d 65 6d 54 72 61 6e 73  ite3VdbeMemTrans
2a30: 6c 61 74 65 28 4d 65 6d 20 2a 70 4d 65 6d 2c 20  late(Mem *pMem, 
2a40: 75 38 20 64 65 73 69 72 65 64 45 6e 63 29 7b 0a  u8 desiredEnc){.
2a50: 20 20 75 6e 73 69 67 6e 65 64 20 63 68 61 72 20    unsigned char 
2a60: 7a 53 68 6f 72 74 5b 4e 42 46 53 5d 3b 20 2f 2a  zShort[NBFS]; /*
2a70: 20 54 65 6d 70 6f 72 61 72 79 20 73 68 6f 72 74   Temporary short
2a80: 20 6f 75 74 70 75 74 20 62 75 66 66 65 72 20 2a   output buffer *
2a90: 2f 0a 20 20 69 6e 74 20 6c 65 6e 3b 20 20 20 20  /.  int len;    
2aa0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2ab0: 2f 2a 20 4d 61 78 69 6d 75 6d 20 6c 65 6e 67 74  /* Maximum lengt
2ac0: 68 20 6f 66 20 6f 75 74 70 75 74 20 73 74 72 69  h of output stri
2ad0: 6e 67 20 69 6e 20 62 79 74 65 73 20 2a 2f 0a 20  ng in bytes */. 
2ae0: 20 75 6e 73 69 67 6e 65 64 20 63 68 61 72 20 2a   unsigned char *
2af0: 7a 4f 75 74 3b 20 20 20 20 20 20 20 20 20 20 20  zOut;           
2b00: 20 20 20 20 20 20 20 2f 2a 20 4f 75 74 70 75 74         /* Output
2b10: 20 62 75 66 66 65 72 20 2a 2f 0a 20 20 75 6e 73   buffer */.  uns
2b20: 69 67 6e 65 64 20 63 68 61 72 20 2a 7a 49 6e 3b  igned char *zIn;
2b30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2b40: 20 20 20 2f 2a 20 49 6e 70 75 74 20 69 74 65 72     /* Input iter
2b50: 61 74 6f 72 20 2a 2f 0a 20 20 75 6e 73 69 67 6e  ator */.  unsign
2b60: 65 64 20 63 68 61 72 20 2a 7a 54 65 72 6d 3b 20  ed char *zTerm; 
2b70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2b80: 2f 2a 20 45 6e 64 20 6f 66 20 69 6e 70 75 74 20  /* End of input 
2b90: 2a 2f 0a 20 20 75 6e 73 69 67 6e 65 64 20 63 68  */.  unsigned ch
2ba0: 61 72 20 2a 7a 3b 20 20 20 20 20 20 20 20 20 20  ar *z;          
2bb0: 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 4f 75             /* Ou
2bc0: 74 70 75 74 20 69 74 65 72 61 74 6f 72 20 2a 2f  tput iterator */
2bd0: 0a 20 20 69 6e 74 20 63 3b 0a 0a 20 20 61 73 73  .  int c;..  ass
2be0: 65 72 74 28 20 70 4d 65 6d 2d 3e 66 6c 61 67 73  ert( pMem->flags
2bf0: 26 4d 45 4d 5f 53 74 72 20 29 3b 0a 20 20 61 73  &MEM_Str );.  as
2c00: 73 65 72 74 28 20 70 4d 65 6d 2d 3e 65 6e 63 21  sert( pMem->enc!
2c10: 3d 64 65 73 69 72 65 64 45 6e 63 20 29 3b 0a 20  =desiredEnc );. 
2c20: 20 61 73 73 65 72 74 28 20 70 4d 65 6d 2d 3e 65   assert( pMem->e
2c30: 6e 63 21 3d 30 20 29 3b 0a 20 20 61 73 73 65 72  nc!=0 );.  asser
2c40: 74 28 20 70 4d 65 6d 2d 3e 6e 3e 3d 30 20 29 3b  t( pMem->n>=0 );
2c50: 0a 0a 23 69 66 20 64 65 66 69 6e 65 64 28 54 52  ..#if defined(TR
2c60: 41 4e 53 4c 41 54 45 5f 54 52 41 43 45 29 20 26  ANSLATE_TRACE) &
2c70: 26 20 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45  & defined(SQLITE
2c80: 5f 44 45 42 55 47 29 0a 20 20 7b 0a 20 20 20 20  _DEBUG).  {.    
2c90: 63 68 61 72 20 7a 42 75 66 5b 31 30 30 5d 3b 0a  char zBuf[100];.
2ca0: 20 20 20 20 73 71 6c 69 74 65 33 56 64 62 65 4d      sqlite3VdbeM
2cb0: 65 6d 50 72 65 74 74 79 50 72 69 6e 74 28 70 4d  emPrettyPrint(pM
2cc0: 65 6d 2c 20 7a 42 75 66 29 3b 0a 20 20 20 20 66  em, zBuf);.    f
2cd0: 70 72 69 6e 74 66 28 73 74 64 65 72 72 2c 20 22  printf(stderr, "
2ce0: 49 4e 50 55 54 3a 20 20 25 73 5c 6e 22 2c 20 7a  INPUT:  %s\n", z
2cf0: 42 75 66 29 3b 0a 20 20 7d 0a 23 65 6e 64 69 66  Buf);.  }.#endif
2d00: 0a 0a 20 20 2f 2a 20 49 66 20 74 68 65 20 74 72  ..  /* If the tr
2d10: 61 6e 73 6c 61 74 69 6f 6e 20 69 73 20 62 65 74  anslation is bet
2d20: 77 65 65 6e 20 55 54 46 2d 31 36 20 6c 69 74 74  ween UTF-16 litt
2d30: 6c 65 20 61 6e 64 20 62 69 67 20 65 6e 64 69 61  le and big endia
2d40: 6e 2c 20 74 68 65 6e 20 0a 20 20 2a 2a 20 61 6c  n, then .  ** al
2d50: 6c 20 74 68 61 74 20 69 73 20 72 65 71 75 69 72  l that is requir
2d60: 65 64 20 69 73 20 74 6f 20 73 77 61 70 20 74 68  ed is to swap th
2d70: 65 20 62 79 74 65 20 6f 72 64 65 72 2e 20 54 68  e byte order. Th
2d80: 69 73 20 63 61 73 65 20 69 73 20 68 61 6e 64 6c  is case is handl
2d90: 65 64 0a 20 20 2a 2a 20 64 69 66 66 65 72 65 6e  ed.  ** differen
2da0: 74 6c 79 20 66 72 6f 6d 20 74 68 65 20 6f 74 68  tly from the oth
2db0: 65 72 73 2e 0a 20 20 2a 2f 0a 20 20 69 66 28 20  ers..  */.  if( 
2dc0: 70 4d 65 6d 2d 3e 65 6e 63 21 3d 53 51 4c 49 54  pMem->enc!=SQLIT
2dd0: 45 5f 55 54 46 38 20 26 26 20 64 65 73 69 72 65  E_UTF8 && desire
2de0: 64 45 6e 63 21 3d 53 51 4c 49 54 45 5f 55 54 46  dEnc!=SQLITE_UTF
2df0: 38 20 29 7b 0a 20 20 20 20 75 38 20 74 65 6d 70  8 ){.    u8 temp
2e00: 3b 0a 20 20 20 20 69 6e 74 20 72 63 3b 0a 20 20  ;.    int rc;.  
2e10: 20 20 72 63 20 3d 20 73 71 6c 69 74 65 33 56 64    rc = sqlite3Vd
2e20: 62 65 4d 65 6d 4d 61 6b 65 57 72 69 74 65 61 62  beMemMakeWriteab
2e30: 6c 65 28 70 4d 65 6d 29 3b 0a 20 20 20 20 69 66  le(pMem);.    if
2e40: 28 20 72 63 21 3d 53 51 4c 49 54 45 5f 4f 4b 20  ( rc!=SQLITE_OK 
2e50: 29 7b 0a 20 20 20 20 20 20 61 73 73 65 72 74 28  ){.      assert(
2e60: 20 72 63 3d 3d 53 51 4c 49 54 45 5f 4e 4f 4d 45   rc==SQLITE_NOME
2e70: 4d 20 29 3b 0a 20 20 20 20 20 20 72 65 74 75 72  M );.      retur
2e80: 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d 3b 0a  n SQLITE_NOMEM;.
2e90: 20 20 20 20 7d 0a 20 20 20 20 7a 49 6e 20 3d 20      }.    zIn = 
2ea0: 28 75 38 2a 29 70 4d 65 6d 2d 3e 7a 3b 0a 20 20  (u8*)pMem->z;.  
2eb0: 20 20 7a 54 65 72 6d 20 3d 20 26 7a 49 6e 5b 70    zTerm = &zIn[p
2ec0: 4d 65 6d 2d 3e 6e 5d 3b 0a 20 20 20 20 77 68 69  Mem->n];.    whi
2ed0: 6c 65 28 20 7a 49 6e 3c 7a 54 65 72 6d 20 29 7b  le( zIn<zTerm ){
2ee0: 0a 20 20 20 20 20 20 74 65 6d 70 20 3d 20 2a 7a  .      temp = *z
2ef0: 49 6e 3b 0a 20 20 20 20 20 20 2a 7a 49 6e 20 3d  In;.      *zIn =
2f00: 20 2a 28 7a 49 6e 2b 31 29 3b 0a 20 20 20 20 20   *(zIn+1);.     
2f10: 20 7a 49 6e 2b 2b 3b 0a 20 20 20 20 20 20 2a 7a   zIn++;.      *z
2f20: 49 6e 2b 2b 20 3d 20 74 65 6d 70 3b 0a 20 20 20  In++ = temp;.   
2f30: 20 7d 0a 20 20 20 20 70 4d 65 6d 2d 3e 65 6e 63   }.    pMem->enc
2f40: 20 3d 20 64 65 73 69 72 65 64 45 6e 63 3b 0a 20   = desiredEnc;. 
2f50: 20 20 20 67 6f 74 6f 20 74 72 61 6e 73 6c 61 74     goto translat
2f60: 65 5f 6f 75 74 3b 0a 20 20 7d 0a 0a 20 20 2f 2a  e_out;.  }..  /*
2f70: 20 53 65 74 20 6c 65 6e 20 74 6f 20 74 68 65 20   Set len to the 
2f80: 6d 61 78 69 6d 75 6d 20 6e 75 6d 62 65 72 20 6f  maximum number o
2f90: 66 20 62 79 74 65 73 20 72 65 71 75 69 72 65 64  f bytes required
2fa0: 20 69 6e 20 74 68 65 20 6f 75 74 70 75 74 20 62   in the output b
2fb0: 75 66 66 65 72 2e 20 2a 2f 0a 20 20 69 66 28 20  uffer. */.  if( 
2fc0: 64 65 73 69 72 65 64 45 6e 63 3d 3d 53 51 4c 49  desiredEnc==SQLI
2fd0: 54 45 5f 55 54 46 38 20 29 7b 0a 20 20 20 20 2f  TE_UTF8 ){.    /
2fe0: 2a 20 57 68 65 6e 20 63 6f 6e 76 65 72 74 69 6e  * When convertin
2ff0: 67 20 66 72 6f 6d 20 55 54 46 2d 31 36 2c 20 74  g from UTF-16, t
3000: 68 65 20 6d 61 78 69 6d 75 6d 20 67 72 6f 77 74  he maximum growt
3010: 68 20 72 65 73 75 6c 74 73 20 66 72 6f 6d 0a 20  h results from. 
3020: 20 20 20 2a 2a 20 74 72 61 6e 73 6c 61 74 69 6e     ** translatin
3030: 67 20 61 20 32 2d 62 79 74 65 20 63 68 61 72 61  g a 2-byte chara
3040: 63 74 65 72 20 74 6f 20 61 20 34 2d 62 79 74 65  cter to a 4-byte
3050: 20 55 54 46 2d 38 20 63 68 61 72 61 63 74 65 72   UTF-8 character
3060: 2e 0a 20 20 20 20 2a 2a 20 41 20 73 69 6e 67 6c  ..    ** A singl
3070: 65 20 62 79 74 65 20 69 73 20 72 65 71 75 69 72  e byte is requir
3080: 65 64 20 66 6f 72 20 74 68 65 20 6f 75 74 70 75  ed for the outpu
3090: 74 20 73 74 72 69 6e 67 0a 20 20 20 20 2a 2a 20  t string.    ** 
30a0: 6e 75 6c 2d 74 65 72 6d 69 6e 61 74 6f 72 2e 0a  nul-terminator..
30b0: 20 20 20 20 2a 2f 0a 20 20 20 20 6c 65 6e 20 3d      */.    len =
30c0: 20 70 4d 65 6d 2d 3e 6e 20 2a 20 32 20 2b 20 31   pMem->n * 2 + 1
30d0: 3b 0a 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 2f  ;.  }else{.    /
30e0: 2a 20 57 68 65 6e 20 63 6f 6e 76 65 72 74 69 6e  * When convertin
30f0: 67 20 66 72 6f 6d 20 55 54 46 2d 38 20 74 6f 20  g from UTF-8 to 
3100: 55 54 46 2d 31 36 20 74 68 65 20 6d 61 78 69 6d  UTF-16 the maxim
3110: 75 6d 20 67 72 6f 77 74 68 20 69 73 20 63 61 75  um growth is cau
3120: 73 65 64 0a 20 20 20 20 2a 2a 20 77 68 65 6e 20  sed.    ** when 
3130: 61 20 31 2d 62 79 74 65 20 55 54 46 2d 38 20 63  a 1-byte UTF-8 c
3140: 68 61 72 61 63 74 65 72 20 69 73 20 74 72 61 6e  haracter is tran
3150: 73 6c 61 74 65 64 20 69 6e 74 6f 20 61 20 32 2d  slated into a 2-
3160: 62 79 74 65 20 55 54 46 2d 31 36 0a 20 20 20 20  byte UTF-16.    
3170: 2a 2a 20 63 68 61 72 61 63 74 65 72 2e 20 54 77  ** character. Tw
3180: 6f 20 62 79 74 65 73 20 61 72 65 20 72 65 71 75  o bytes are requ
3190: 69 72 65 64 20 69 6e 20 74 68 65 20 6f 75 74 70  ired in the outp
31a0: 75 74 20 62 75 66 66 65 72 20 66 6f 72 20 74 68  ut buffer for th
31b0: 65 0a 20 20 20 20 2a 2a 20 6e 75 6c 2d 74 65 72  e.    ** nul-ter
31c0: 6d 69 6e 61 74 6f 72 2e 0a 20 20 20 20 2a 2f 0a  minator..    */.
31d0: 20 20 20 20 6c 65 6e 20 3d 20 70 4d 65 6d 2d 3e      len = pMem->
31e0: 6e 20 2a 20 32 20 2b 20 32 3b 0a 20 20 7d 0a 0a  n * 2 + 2;.  }..
31f0: 20 20 2f 2a 20 53 65 74 20 7a 49 6e 20 74 6f 20    /* Set zIn to 
3200: 70 6f 69 6e 74 20 61 74 20 74 68 65 20 73 74 61  point at the sta
3210: 72 74 20 6f 66 20 74 68 65 20 69 6e 70 75 74 20  rt of the input 
3220: 62 75 66 66 65 72 20 61 6e 64 20 7a 54 65 72 6d  buffer and zTerm
3230: 20 74 6f 20 70 6f 69 6e 74 20 31 0a 20 20 2a 2a   to point 1.  **
3240: 20 62 79 74 65 20 70 61 73 74 20 74 68 65 20 65   byte past the e
3250: 6e 64 2e 0a 20 20 2a 2a 0a 20 20 2a 2a 20 56 61  nd..  **.  ** Va
3260: 72 69 61 62 6c 65 20 7a 4f 75 74 20 69 73 20 73  riable zOut is s
3270: 65 74 20 74 6f 20 70 6f 69 6e 74 20 61 74 20 74  et to point at t
3280: 68 65 20 6f 75 74 70 75 74 20 62 75 66 66 65 72  he output buffer
3290: 2e 20 54 68 69 73 20 6d 61 79 20 62 65 20 73 70  . This may be sp
32a0: 61 63 65 0a 20 20 2a 2a 20 6f 62 74 61 69 6e 65  ace.  ** obtaine
32b0: 64 20 66 72 6f 6d 20 6d 61 6c 6c 6f 63 28 29 2c  d from malloc(),
32c0: 20 6f 72 20 4d 65 6d 2e 7a 53 68 6f 72 74 2c 20   or Mem.zShort, 
32d0: 69 66 20 69 74 20 6c 61 72 67 65 20 65 6e 6f 75  if it large enou
32e0: 67 68 20 61 6e 64 20 6e 6f 74 20 69 6e 0a 20 20  gh and not in.  
32f0: 2a 2a 20 75 73 65 2c 20 6f 72 20 74 68 65 20 7a  ** use, or the z
3300: 53 68 6f 72 74 20 61 72 72 61 79 20 6f 6e 20 74  Short array on t
3310: 68 65 20 73 74 61 63 6b 20 28 73 65 65 20 61 62  he stack (see ab
3320: 6f 76 65 29 2e 0a 20 20 2a 2f 0a 20 20 7a 49 6e  ove)..  */.  zIn
3330: 20 3d 20 28 75 38 2a 29 70 4d 65 6d 2d 3e 7a 3b   = (u8*)pMem->z;
3340: 0a 20 20 7a 54 65 72 6d 20 3d 20 26 7a 49 6e 5b  .  zTerm = &zIn[
3350: 70 4d 65 6d 2d 3e 6e 5d 3b 0a 20 20 69 66 28 20  pMem->n];.  if( 
3360: 6c 65 6e 3e 4e 42 46 53 20 29 7b 0a 20 20 20 20  len>NBFS ){.    
3370: 7a 4f 75 74 20 3d 20 73 71 6c 69 74 65 4d 61 6c  zOut = sqliteMal
3380: 6c 6f 63 52 61 77 28 6c 65 6e 29 3b 0a 20 20 20  locRaw(len);.   
3390: 20 69 66 28 20 21 7a 4f 75 74 20 29 20 72 65 74   if( !zOut ) ret
33a0: 75 72 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d  urn SQLITE_NOMEM
33b0: 3b 0a 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 7a  ;.  }else{.    z
33c0: 4f 75 74 20 3d 20 7a 53 68 6f 72 74 3b 0a 20 20  Out = zShort;.  
33d0: 7d 0a 20 20 7a 20 3d 20 7a 4f 75 74 3b 0a 0a 20  }.  z = zOut;.. 
33e0: 20 69 66 28 20 70 4d 65 6d 2d 3e 65 6e 63 3d 3d   if( pMem->enc==
33f0: 53 51 4c 49 54 45 5f 55 54 46 38 20 29 7b 0a 20  SQLITE_UTF8 ){. 
3400: 20 20 20 69 66 28 20 64 65 73 69 72 65 64 45 6e     if( desiredEn
3410: 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46 31 36 4c  c==SQLITE_UTF16L
3420: 45 20 29 7b 0a 20 20 20 20 20 20 2f 2a 20 55 54  E ){.      /* UT
3430: 46 2d 38 20 2d 3e 20 55 54 46 2d 31 36 20 4c 69  F-8 -> UTF-16 Li
3440: 74 74 6c 65 2d 65 6e 64 69 61 6e 20 2a 2f 0a 20  ttle-endian */. 
3450: 20 20 20 20 20 77 68 69 6c 65 28 20 7a 49 6e 3c       while( zIn<
3460: 7a 54 65 72 6d 20 29 7b 0a 20 20 20 20 20 20 20  zTerm ){.       
3470: 20 52 45 41 44 5f 55 54 46 38 28 7a 49 6e 2c 20   READ_UTF8(zIn, 
3480: 63 29 3b 20 0a 20 20 20 20 20 20 20 20 57 52 49  c); .        WRI
3490: 54 45 5f 55 54 46 31 36 4c 45 28 7a 2c 20 63 29  TE_UTF16LE(z, c)
34a0: 3b 0a 20 20 20 20 20 20 7d 0a 20 20 20 20 7d 65  ;.      }.    }e
34b0: 6c 73 65 7b 0a 20 20 20 20 20 20 61 73 73 65 72  lse{.      asser
34c0: 74 28 20 64 65 73 69 72 65 64 45 6e 63 3d 3d 53  t( desiredEnc==S
34d0: 51 4c 49 54 45 5f 55 54 46 31 36 42 45 20 29 3b  QLITE_UTF16BE );
34e0: 0a 20 20 20 20 20 20 2f 2a 20 55 54 46 2d 38 20  .      /* UTF-8 
34f0: 2d 3e 20 55 54 46 2d 31 36 20 42 69 67 2d 65 6e  -> UTF-16 Big-en
3500: 64 69 61 6e 20 2a 2f 0a 20 20 20 20 20 20 77 68  dian */.      wh
3510: 69 6c 65 28 20 7a 49 6e 3c 7a 54 65 72 6d 20 29  ile( zIn<zTerm )
3520: 7b 0a 20 20 20 20 20 20 20 20 52 45 41 44 5f 55  {.        READ_U
3530: 54 46 38 28 7a 49 6e 2c 20 63 29 3b 20 0a 20 20  TF8(zIn, c); .  
3540: 20 20 20 20 20 20 57 52 49 54 45 5f 55 54 46 31        WRITE_UTF1
3550: 36 42 45 28 7a 2c 20 63 29 3b 0a 20 20 20 20 20  6BE(z, c);.     
3560: 20 7d 0a 20 20 20 20 7d 0a 20 20 20 20 70 4d 65   }.    }.    pMe
3570: 6d 2d 3e 6e 20 3d 20 7a 20 2d 20 7a 4f 75 74 3b  m->n = z - zOut;
3580: 0a 20 20 20 20 2a 7a 2b 2b 20 3d 20 30 3b 0a 20  .    *z++ = 0;. 
3590: 20 7d 65 6c 73 65 7b 0a 20 20 20 20 61 73 73 65   }else{.    asse
35a0: 72 74 28 20 64 65 73 69 72 65 64 45 6e 63 3d 3d  rt( desiredEnc==
35b0: 53 51 4c 49 54 45 5f 55 54 46 38 20 29 3b 0a 20  SQLITE_UTF8 );. 
35c0: 20 20 20 69 66 28 20 70 4d 65 6d 2d 3e 65 6e 63     if( pMem->enc
35d0: 3d 3d 53 51 4c 49 54 45 5f 55 54 46 31 36 4c 45  ==SQLITE_UTF16LE
35e0: 20 29 7b 0a 20 20 20 20 20 20 2f 2a 20 55 54 46   ){.      /* UTF
35f0: 2d 31 36 20 4c 69 74 74 6c 65 2d 65 6e 64 69 61  -16 Little-endia
3600: 6e 20 2d 3e 20 55 54 46 2d 38 20 2a 2f 0a 20 20  n -> UTF-8 */.  
3610: 20 20 20 20 77 68 69 6c 65 28 20 7a 49 6e 3c 7a      while( zIn<z
3620: 54 65 72 6d 20 29 7b 0a 20 20 20 20 20 20 20 20  Term ){.        
3630: 52 45 41 44 5f 55 54 46 31 36 4c 45 28 7a 49 6e  READ_UTF16LE(zIn
3640: 2c 20 63 29 3b 20 0a 20 20 20 20 20 20 20 20 57  , c); .        W
3650: 52 49 54 45 5f 55 54 46 38 28 7a 2c 20 63 29 3b  RITE_UTF8(z, c);
3660: 0a 20 20 20 20 20 20 7d 0a 20 20 20 20 7d 65 6c  .      }.    }el
3670: 73 65 7b 0a 20 20 20 20 20 20 2f 2a 20 55 54 46  se{.      /* UTF
3680: 2d 31 36 20 4c 69 74 74 6c 65 2d 65 6e 64 69 61  -16 Little-endia
3690: 6e 20 2d 3e 20 55 54 46 2d 38 20 2a 2f 0a 20 20  n -> UTF-8 */.  
36a0: 20 20 20 20 77 68 69 6c 65 28 20 7a 49 6e 3c 7a      while( zIn<z
36b0: 54 65 72 6d 20 29 7b 0a 20 20 20 20 20 20 20 20  Term ){.        
36c0: 52 45 41 44 5f 55 54 46 31 36 42 45 28 7a 49 6e  READ_UTF16BE(zIn
36d0: 2c 20 63 29 3b 20 0a 20 20 20 20 20 20 20 20 57  , c); .        W
36e0: 52 49 54 45 5f 55 54 46 38 28 7a 2c 20 63 29 3b  RITE_UTF8(z, c);
36f0: 0a 20 20 20 20 20 20 7d 0a 20 20 20 20 7d 0a 20  .      }.    }. 
3700: 20 20 20 70 4d 65 6d 2d 3e 6e 20 3d 20 7a 20 2d     pMem->n = z -
3710: 20 7a 4f 75 74 3b 0a 20 20 7d 0a 20 20 2a 7a 20   zOut;.  }.  *z 
3720: 3d 20 30 3b 0a 20 20 61 73 73 65 72 74 28 20 28  = 0;.  assert( (
3730: 70 4d 65 6d 2d 3e 6e 2b 28 64 65 73 69 72 65 64  pMem->n+(desired
3740: 45 6e 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46 38  Enc==SQLITE_UTF8
3750: 3f 31 3a 32 29 29 3c 3d 6c 65 6e 20 29 3b 0a 0a  ?1:2))<=len );..
3760: 20 20 73 71 6c 69 74 65 33 56 64 62 65 4d 65 6d    sqlite3VdbeMem
3770: 52 65 6c 65 61 73 65 28 70 4d 65 6d 29 3b 0a 20  Release(pMem);. 
3780: 20 70 4d 65 6d 2d 3e 66 6c 61 67 73 20 26 3d 20   pMem->flags &= 
3790: 7e 28 4d 45 4d 5f 53 74 61 74 69 63 7c 4d 45 4d  ~(MEM_Static|MEM
37a0: 5f 44 79 6e 7c 4d 45 4d 5f 45 70 68 65 6d 7c 4d  _Dyn|MEM_Ephem|M
37b0: 45 4d 5f 53 68 6f 72 74 29 3b 0a 20 20 70 4d 65  EM_Short);.  pMe
37c0: 6d 2d 3e 65 6e 63 20 3d 20 64 65 73 69 72 65 64  m->enc = desired
37d0: 45 6e 63 3b 0a 20 20 69 66 28 20 7a 4f 75 74 3d  Enc;.  if( zOut=
37e0: 3d 7a 53 68 6f 72 74 20 29 7b 0a 20 20 20 20 6d  =zShort ){.    m
37f0: 65 6d 63 70 79 28 70 4d 65 6d 2d 3e 7a 53 68 6f  emcpy(pMem->zSho
3800: 72 74 2c 20 7a 4f 75 74 2c 20 6c 65 6e 29 3b 0a  rt, zOut, len);.
3810: 20 20 20 20 7a 4f 75 74 20 3d 20 28 75 38 2a 29      zOut = (u8*)
3820: 70 4d 65 6d 2d 3e 7a 53 68 6f 72 74 3b 0a 20 20  pMem->zShort;.  
3830: 20 20 70 4d 65 6d 2d 3e 66 6c 61 67 73 20 7c 3d    pMem->flags |=
3840: 20 28 4d 45 4d 5f 54 65 72 6d 7c 4d 45 4d 5f 53   (MEM_Term|MEM_S
3850: 68 6f 72 74 29 3b 0a 20 20 7d 65 6c 73 65 7b 0a  hort);.  }else{.
3860: 20 20 20 20 70 4d 65 6d 2d 3e 66 6c 61 67 73 20      pMem->flags 
3870: 7c 3d 20 28 4d 45 4d 5f 54 65 72 6d 7c 4d 45 4d  |= (MEM_Term|MEM
3880: 5f 44 79 6e 29 3b 0a 20 20 7d 0a 20 20 70 4d 65  _Dyn);.  }.  pMe
3890: 6d 2d 3e 7a 20 3d 20 28 63 68 61 72 2a 29 7a 4f  m->z = (char*)zO
38a0: 75 74 3b 0a 0a 74 72 61 6e 73 6c 61 74 65 5f 6f  ut;..translate_o
38b0: 75 74 3a 0a 23 69 66 20 64 65 66 69 6e 65 64 28  ut:.#if defined(
38c0: 54 52 41 4e 53 4c 41 54 45 5f 54 52 41 43 45 29  TRANSLATE_TRACE)
38d0: 20 26 26 20 64 65 66 69 6e 65 64 28 53 51 4c 49   && defined(SQLI
38e0: 54 45 5f 44 45 42 55 47 29 0a 20 20 7b 0a 20 20  TE_DEBUG).  {.  
38f0: 20 20 63 68 61 72 20 7a 42 75 66 5b 31 30 30 5d    char zBuf[100]
3900: 3b 0a 20 20 20 20 73 71 6c 69 74 65 33 56 64 62  ;.    sqlite3Vdb
3910: 65 4d 65 6d 50 72 65 74 74 79 50 72 69 6e 74 28  eMemPrettyPrint(
3920: 70 4d 65 6d 2c 20 7a 42 75 66 29 3b 0a 20 20 20  pMem, zBuf);.   
3930: 20 66 70 72 69 6e 74 66 28 73 74 64 65 72 72 2c   fprintf(stderr,
3940: 20 22 4f 55 54 50 55 54 3a 20 25 73 5c 6e 22 2c   "OUTPUT: %s\n",
3950: 20 7a 42 75 66 29 3b 0a 20 20 7d 0a 23 65 6e 64   zBuf);.  }.#end
3960: 69 66 0a 20 20 72 65 74 75 72 6e 20 53 51 4c 49  if.  return SQLI
3970: 54 45 5f 4f 4b 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20  TE_OK;.}../*.** 
3980: 54 68 69 73 20 72 6f 75 74 69 6e 65 20 63 68 65  This routine che
3990: 63 6b 73 20 66 6f 72 20 61 20 62 79 74 65 2d 6f  cks for a byte-o
39a0: 72 64 65 72 20 6d 61 72 6b 20 61 74 20 74 68 65  rder mark at the
39b0: 20 62 65 67 69 6e 6e 69 6e 67 20 6f 66 20 74 68   beginning of th
39c0: 65 20 0a 2a 2a 20 55 54 46 2d 31 36 20 73 74 72  e .** UTF-16 str
39d0: 69 6e 67 20 73 74 6f 72 65 64 20 69 6e 20 2a 70  ing stored in *p
39e0: 4d 65 6d 2e 20 49 66 20 6f 6e 65 20 69 73 20 70  Mem. If one is p
39f0: 72 65 73 65 6e 74 2c 20 69 74 20 69 73 20 72 65  resent, it is re
3a00: 6d 6f 76 65 64 20 61 6e 64 0a 2a 2a 20 74 68 65  moved and.** the
3a10: 20 65 6e 63 6f 64 69 6e 67 20 6f 66 20 74 68 65   encoding of the
3a20: 20 4d 65 6d 20 61 64 6a 75 73 74 65 64 2e 20 54   Mem adjusted. T
3a30: 68 69 73 20 72 6f 75 74 69 6e 65 20 64 6f 65 73  his routine does
3a40: 20 6e 6f 74 20 64 6f 20 61 6e 79 0a 2a 2a 20 62   not do any.** b
3a50: 79 74 65 2d 73 77 61 70 70 69 6e 67 2c 20 69 74  yte-swapping, it
3a60: 20 6a 75 73 74 20 73 65 74 73 20 4d 65 6d 2e 65   just sets Mem.e
3a70: 6e 63 20 61 70 70 72 6f 70 72 69 61 74 65 6c 79  nc appropriately
3a80: 2e 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 6c 6c 6f  ..**.** The allo
3a90: 63 61 74 69 6f 6e 20 28 73 74 61 74 69 63 2c 20  cation (static, 
3aa0: 64 79 6e 61 6d 69 63 20 65 74 63 2e 29 20 61 6e  dynamic etc.) an
3ab0: 64 20 65 6e 63 6f 64 69 6e 67 20 6f 66 20 74 68  d encoding of th
3ac0: 65 20 4d 65 6d 20 6d 61 79 20 62 65 0a 2a 2a 20  e Mem may be.** 
3ad0: 63 68 61 6e 67 65 64 20 62 79 20 74 68 69 73 20  changed by this 
3ae0: 66 75 6e 63 74 69 6f 6e 2e 0a 2a 2f 0a 69 6e 74  function..*/.int
3af0: 20 73 71 6c 69 74 65 33 56 64 62 65 4d 65 6d 48   sqlite3VdbeMemH
3b00: 61 6e 64 6c 65 42 6f 6d 28 4d 65 6d 20 2a 70 4d  andleBom(Mem *pM
3b10: 65 6d 29 7b 0a 20 20 69 6e 74 20 72 63 20 3d 20  em){.  int rc = 
3b20: 53 51 4c 49 54 45 5f 4f 4b 3b 0a 20 20 75 38 20  SQLITE_OK;.  u8 
3b30: 62 6f 6d 20 3d 20 30 3b 0a 0a 20 20 69 66 28 20  bom = 0;..  if( 
3b40: 70 4d 65 6d 2d 3e 6e 3c 30 20 7c 7c 20 70 4d 65  pMem->n<0 || pMe
3b50: 6d 2d 3e 6e 3e 31 20 29 7b 0a 20 20 20 20 75 38  m->n>1 ){.    u8
3b60: 20 62 31 20 3d 20 2a 28 75 38 20 2a 29 70 4d 65   b1 = *(u8 *)pMe
3b70: 6d 2d 3e 7a 3b 0a 20 20 20 20 75 38 20 62 32 20  m->z;.    u8 b2 
3b80: 3d 20 2a 28 28 28 75 38 20 2a 29 70 4d 65 6d 2d  = *(((u8 *)pMem-
3b90: 3e 7a 29 20 2b 20 31 29 3b 0a 20 20 20 20 69 66  >z) + 1);.    if
3ba0: 28 20 62 31 3d 3d 30 78 46 45 20 26 26 20 62 32  ( b1==0xFE && b2
3bb0: 3d 3d 30 78 46 46 20 29 7b 0a 20 20 20 20 20 20  ==0xFF ){.      
3bc0: 62 6f 6d 20 3d 20 53 51 4c 49 54 45 5f 55 54 46  bom = SQLITE_UTF
3bd0: 31 36 42 45 3b 0a 20 20 20 20 7d 0a 20 20 20 20  16BE;.    }.    
3be0: 69 66 28 20 62 31 3d 3d 30 78 46 46 20 26 26 20  if( b1==0xFF && 
3bf0: 62 32 3d 3d 30 78 46 45 20 29 7b 0a 20 20 20 20  b2==0xFE ){.    
3c00: 20 20 62 6f 6d 20 3d 20 53 51 4c 49 54 45 5f 55    bom = SQLITE_U
3c10: 54 46 31 36 4c 45 3b 0a 20 20 20 20 7d 0a 20 20  TF16LE;.    }.  
3c20: 7d 0a 20 20 0a 20 20 69 66 28 20 62 6f 6d 20 29  }.  .  if( bom )
3c30: 7b 0a 20 20 20 20 2f 2a 20 54 68 69 73 20 66 75  {.    /* This fu
3c40: 6e 63 74 69 6f 6e 20 69 73 20 63 61 6c 6c 65 64  nction is called
3c50: 20 61 73 20 73 6f 6f 6e 20 61 73 20 61 20 73 74   as soon as a st
3c60: 72 69 6e 67 20 69 73 20 73 74 6f 72 65 64 20 69  ring is stored i
3c70: 6e 20 61 20 4d 65 6d 2a 2c 0a 20 20 20 20 2a 2a  n a Mem*,.    **
3c80: 20 66 72 6f 6d 20 77 69 74 68 69 6e 20 73 71 6c   from within sql
3c90: 69 74 65 33 56 64 62 65 4d 65 6d 53 65 74 53 74  ite3VdbeMemSetSt
3ca0: 72 28 29 2e 20 41 74 20 74 68 61 74 20 70 6f 69  r(). At that poi
3cb0: 6e 74 20 69 74 20 69 73 20 6e 6f 74 20 70 6f 73  nt it is not pos
3cc0: 73 69 62 6c 65 0a 20 20 20 20 2a 2a 20 66 6f 72  sible.    ** for
3cd0: 20 74 68 65 20 73 74 72 69 6e 67 20 74 6f 20 62   the string to b
3ce0: 65 20 73 74 6f 72 65 64 20 69 6e 20 4d 65 6d 2e  e stored in Mem.
3cf0: 7a 53 68 6f 72 74 2c 20 6f 72 20 66 6f 72 20 69  zShort, or for i
3d00: 74 20 74 6f 20 62 65 20 73 74 6f 72 65 64 0a 20  t to be stored. 
3d10: 20 20 20 2a 2a 20 69 6e 20 64 79 6e 61 6d 69 63     ** in dynamic
3d20: 20 6d 65 6d 6f 72 79 20 77 69 74 68 20 6e 6f 20   memory with no 
3d30: 64 65 73 74 72 75 63 74 6f 72 2e 0a 20 20 20 20  destructor..    
3d40: 2a 2f 0a 20 20 20 20 61 73 73 65 72 74 28 20 21  */.    assert( !
3d50: 28 70 4d 65 6d 2d 3e 66 6c 61 67 73 26 4d 45 4d  (pMem->flags&MEM
3d60: 5f 53 68 6f 72 74 29 20 29 3b 0a 20 20 20 20 61  _Short) );.    a
3d70: 73 73 65 72 74 28 20 21 28 70 4d 65 6d 2d 3e 66  ssert( !(pMem->f
3d80: 6c 61 67 73 26 4d 45 4d 5f 44 79 6e 29 20 7c 7c  lags&MEM_Dyn) ||
3d90: 20 70 4d 65 6d 2d 3e 78 44 65 6c 20 29 3b 0a 20   pMem->xDel );. 
3da0: 20 20 20 69 66 28 20 70 4d 65 6d 2d 3e 66 6c 61     if( pMem->fla
3db0: 67 73 20 26 20 4d 45 4d 5f 44 79 6e 20 29 7b 0a  gs & MEM_Dyn ){.
3dc0: 20 20 20 20 20 20 76 6f 69 64 20 28 2a 78 44 65        void (*xDe
3dd0: 6c 29 28 76 6f 69 64 2a 29 20 3d 20 70 4d 65 6d  l)(void*) = pMem
3de0: 2d 3e 78 44 65 6c 3b 0a 20 20 20 20 20 20 63 68  ->xDel;.      ch
3df0: 61 72 20 2a 7a 20 3d 20 70 4d 65 6d 2d 3e 7a 3b  ar *z = pMem->z;
3e00: 0a 20 20 20 20 20 20 70 4d 65 6d 2d 3e 7a 20 3d  .      pMem->z =
3e10: 20 30 3b 0a 20 20 20 20 20 20 70 4d 65 6d 2d 3e   0;.      pMem->
3e20: 78 44 65 6c 20 3d 20 30 3b 0a 20 20 20 20 20 20  xDel = 0;.      
3e30: 72 63 20 3d 20 73 71 6c 69 74 65 33 56 64 62 65  rc = sqlite3Vdbe
3e40: 4d 65 6d 53 65 74 53 74 72 28 70 4d 65 6d 2c 20  MemSetStr(pMem, 
3e50: 26 7a 5b 32 5d 2c 20 70 4d 65 6d 2d 3e 6e 2d 32  &z[2], pMem->n-2
3e60: 2c 20 62 6f 6d 2c 20 53 51 4c 49 54 45 5f 54 52  , bom, SQLITE_TR
3e70: 41 4e 53 49 45 4e 54 29 3b 0a 20 20 20 20 20 20  ANSIENT);.      
3e80: 78 44 65 6c 28 7a 29 3b 0a 20 20 20 20 7d 65 6c  xDel(z);.    }el
3e90: 73 65 7b 0a 20 20 20 20 20 20 72 63 20 3d 20 73  se{.      rc = s
3ea0: 71 6c 69 74 65 33 56 64 62 65 4d 65 6d 53 65 74  qlite3VdbeMemSet
3eb0: 53 74 72 28 70 4d 65 6d 2c 20 26 70 4d 65 6d 2d  Str(pMem, &pMem-
3ec0: 3e 7a 5b 32 5d 2c 20 70 4d 65 6d 2d 3e 6e 2d 32  >z[2], pMem->n-2
3ed0: 2c 20 62 6f 6d 2c 20 0a 20 20 20 20 20 20 20 20  , bom, .        
3ee0: 20 20 53 51 4c 49 54 45 5f 54 52 41 4e 53 49 45    SQLITE_TRANSIE
3ef0: 4e 54 29 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20  NT);.    }.  }. 
3f00: 20 72 65 74 75 72 6e 20 72 63 3b 0a 7d 0a 23 65   return rc;.}.#e
3f10: 6e 64 69 66 20 2f 2a 20 53 51 4c 49 54 45 5f 4f  ndif /* SQLITE_O
3f20: 4d 49 54 5f 55 54 46 31 36 20 2a 2f 0a 0a 2f 2a  MIT_UTF16 */../*
3f30: 0a 2a 2a 20 70 5a 20 69 73 20 61 20 55 54 46 2d  .** pZ is a UTF-
3f40: 38 20 65 6e 63 6f 64 65 64 20 75 6e 69 63 6f 64  8 encoded unicod
3f50: 65 20 73 74 72 69 6e 67 2e 20 49 66 20 6e 42 79  e string. If nBy
3f60: 74 65 20 69 73 20 6c 65 73 73 20 74 68 61 6e 20  te is less than 
3f70: 7a 65 72 6f 2c 0a 2a 2a 20 72 65 74 75 72 6e 20  zero,.** return 
3f80: 74 68 65 20 6e 75 6d 62 65 72 20 6f 66 20 75 6e  the number of un
3f90: 69 63 6f 64 65 20 63 68 61 72 61 63 74 65 72 73  icode characters
3fa0: 20 69 6e 20 70 5a 20 75 70 20 74 6f 20 28 62 75   in pZ up to (bu
3fb0: 74 20 6e 6f 74 20 69 6e 63 6c 75 64 69 6e 67 29  t not including)
3fc0: 0a 2a 2a 20 74 68 65 20 66 69 72 73 74 20 30 78  .** the first 0x
3fd0: 30 30 20 62 79 74 65 2e 20 49 66 20 6e 42 79 74  00 byte. If nByt
3fe0: 65 20 69 73 20 6e 6f 74 20 6c 65 73 73 20 74 68  e is not less th
3ff0: 61 6e 20 7a 65 72 6f 2c 20 72 65 74 75 72 6e 20  an zero, return 
4000: 74 68 65 0a 2a 2a 20 6e 75 6d 62 65 72 20 6f 66  the.** number of
4010: 20 75 6e 69 63 6f 64 65 20 63 68 61 72 61 63 74   unicode charact
4020: 65 72 73 20 69 6e 20 74 68 65 20 66 69 72 73 74  ers in the first
4030: 20 6e 42 79 74 65 20 6f 66 20 70 5a 20 28 6f 72   nByte of pZ (or
4040: 20 75 70 20 74 6f 20 0a 2a 2a 20 74 68 65 20 66   up to .** the f
4050: 69 72 73 74 20 30 78 30 30 2c 20 77 68 69 63 68  irst 0x00, which
4060: 65 76 65 72 20 63 6f 6d 65 73 20 66 69 72 73 74  ever comes first
4070: 29 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65  )..*/.int sqlite
4080: 33 75 74 66 38 43 68 61 72 4c 65 6e 28 63 6f 6e  3utf8CharLen(con
4090: 73 74 20 63 68 61 72 20 2a 7a 2c 20 69 6e 74 20  st char *z, int 
40a0: 6e 42 79 74 65 29 7b 0a 20 20 69 6e 74 20 72 20  nByte){.  int r 
40b0: 3d 20 30 3b 0a 20 20 63 6f 6e 73 74 20 63 68 61  = 0;.  const cha
40c0: 72 20 2a 7a 54 65 72 6d 3b 0a 20 20 69 66 28 20  r *zTerm;.  if( 
40d0: 6e 42 79 74 65 3e 3d 30 20 29 7b 0a 20 20 20 20  nByte>=0 ){.    
40e0: 7a 54 65 72 6d 20 3d 20 26 7a 5b 6e 42 79 74 65  zTerm = &z[nByte
40f0: 5d 3b 0a 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20  ];.  }else{.    
4100: 7a 54 65 72 6d 20 3d 20 28 63 6f 6e 73 74 20 63  zTerm = (const c
4110: 68 61 72 20 2a 29 28 2d 31 29 3b 0a 20 20 7d 0a  har *)(-1);.  }.
4120: 20 20 61 73 73 65 72 74 28 20 7a 3c 3d 7a 54 65    assert( z<=zTe
4130: 72 6d 20 29 3b 0a 20 20 77 68 69 6c 65 28 20 2a  rm );.  while( *
4140: 7a 21 3d 30 20 26 26 20 7a 3c 7a 54 65 72 6d 20  z!=0 && z<zTerm 
4150: 29 7b 0a 20 20 20 20 53 4b 49 50 5f 55 54 46 38  ){.    SKIP_UTF8
4160: 28 7a 29 3b 0a 20 20 20 20 72 2b 2b 3b 0a 20 20  (z);.    r++;.  
4170: 7d 0a 20 20 72 65 74 75 72 6e 20 72 3b 0a 7d 0a  }.  return r;.}.
4180: 0a 23 69 66 6e 64 65 66 20 53 51 4c 49 54 45 5f  .#ifndef SQLITE_
4190: 4f 4d 49 54 5f 55 54 46 31 36 0a 2f 2a 0a 2a 2a  OMIT_UTF16./*.**
41a0: 20 43 6f 6e 76 65 72 74 20 61 20 55 54 46 2d 31   Convert a UTF-1
41b0: 36 20 73 74 72 69 6e 67 20 69 6e 20 74 68 65 20  6 string in the 
41c0: 6e 61 74 69 76 65 20 65 6e 63 6f 64 69 6e 67 20  native encoding 
41d0: 69 6e 74 6f 20 61 20 55 54 46 2d 38 20 73 74 72  into a UTF-8 str
41e0: 69 6e 67 2e 0a 2a 2a 20 4d 65 6d 6f 72 79 20 74  ing..** Memory t
41f0: 6f 20 68 6f 6c 64 20 74 68 65 20 55 54 46 2d 38  o hold the UTF-8
4200: 20 73 74 72 69 6e 67 20 69 73 20 6f 62 74 61 69   string is obtai
4210: 6e 65 64 20 66 72 6f 6d 20 6d 61 6c 6c 6f 63 20  ned from malloc 
4220: 61 6e 64 20 6d 75 73 74 20 62 65 0a 2a 2a 20 66  and must be.** f
4230: 72 65 65 64 20 62 79 20 74 68 65 20 63 61 6c 6c  reed by the call
4240: 69 6e 67 20 66 75 6e 63 74 69 6f 6e 2e 0a 2a 2a  ing function..**
4250: 0a 2a 2a 20 4e 55 4c 4c 20 69 73 20 72 65 74 75  .** NULL is retu
4260: 72 6e 65 64 20 69 66 20 74 68 65 72 65 20 69 73  rned if there is
4270: 20 61 6e 20 61 6c 6c 6f 63 61 74 69 6f 6e 20 65   an allocation e
4280: 72 72 6f 72 2e 0a 2a 2f 0a 63 68 61 72 20 2a 73  rror..*/.char *s
4290: 71 6c 69 74 65 33 75 74 66 31 36 74 6f 38 28 63  qlite3utf16to8(c
42a0: 6f 6e 73 74 20 76 6f 69 64 20 2a 7a 2c 20 69 6e  onst void *z, in
42b0: 74 20 6e 42 79 74 65 29 7b 0a 20 20 4d 65 6d 20  t nByte){.  Mem 
42c0: 6d 3b 0a 20 20 6d 65 6d 73 65 74 28 26 6d 2c 20  m;.  memset(&m, 
42d0: 30 2c 20 73 69 7a 65 6f 66 28 6d 29 29 3b 0a 20  0, sizeof(m));. 
42e0: 20 73 71 6c 69 74 65 33 56 64 62 65 4d 65 6d 53   sqlite3VdbeMemS
42f0: 65 74 53 74 72 28 26 6d 2c 20 7a 2c 20 6e 42 79  etStr(&m, z, nBy
4300: 74 65 2c 20 53 51 4c 49 54 45 5f 55 54 46 31 36  te, SQLITE_UTF16
4310: 4e 41 54 49 56 45 2c 20 53 51 4c 49 54 45 5f 53  NATIVE, SQLITE_S
4320: 54 41 54 49 43 29 3b 0a 20 20 73 71 6c 69 74 65  TATIC);.  sqlite
4330: 33 56 64 62 65 43 68 61 6e 67 65 45 6e 63 6f 64  3VdbeChangeEncod
4340: 69 6e 67 28 26 6d 2c 20 53 51 4c 49 54 45 5f 55  ing(&m, SQLITE_U
4350: 54 46 38 29 3b 0a 20 20 61 73 73 65 72 74 28 20  TF8);.  assert( 
4360: 6d 2e 66 6c 61 67 73 20 26 20 4d 45 4d 5f 54 65  m.flags & MEM_Te
4370: 72 6d 20 29 3b 0a 20 20 61 73 73 65 72 74 28 20  rm );.  assert( 
4380: 6d 2e 66 6c 61 67 73 20 26 20 4d 45 4d 5f 53 74  m.flags & MEM_St
4390: 72 20 29 3b 0a 20 20 72 65 74 75 72 6e 20 28 6d  r );.  return (m
43a0: 2e 66 6c 61 67 73 20 26 20 4d 45 4d 5f 44 79 6e  .flags & MEM_Dyn
43b0: 29 21 3d 30 20 3f 20 6d 2e 7a 20 3a 20 73 71 6c  )!=0 ? m.z : sql
43c0: 69 74 65 53 74 72 44 75 70 28 6d 2e 7a 29 3b 0a  iteStrDup(m.z);.
43d0: 7d 0a 0a 2f 2a 0a 2a 2a 20 70 5a 20 69 73 20 61  }../*.** pZ is a
43e0: 20 55 54 46 2d 31 36 20 65 6e 63 6f 64 65 64 20   UTF-16 encoded 
43f0: 75 6e 69 63 6f 64 65 20 73 74 72 69 6e 67 2e 20  unicode string. 
4400: 49 66 20 6e 43 68 61 72 20 69 73 20 6c 65 73 73  If nChar is less
4410: 20 74 68 61 6e 20 7a 65 72 6f 2c 0a 2a 2a 20 72   than zero,.** r
4420: 65 74 75 72 6e 20 74 68 65 20 6e 75 6d 62 65 72  eturn the number
4430: 20 6f 66 20 62 79 74 65 73 20 75 70 20 74 6f 20   of bytes up to 
4440: 28 62 75 74 20 6e 6f 74 20 69 6e 63 6c 75 64 69  (but not includi
4450: 6e 67 29 2c 20 74 68 65 20 66 69 72 73 74 20 70  ng), the first p
4460: 61 69 72 0a 2a 2a 20 6f 66 20 63 6f 6e 73 65 63  air.** of consec
4470: 75 74 69 76 65 20 30 78 30 30 20 62 79 74 65 73  utive 0x00 bytes
4480: 20 69 6e 20 70 5a 2e 20 49 66 20 6e 43 68 61 72   in pZ. If nChar
4490: 20 69 73 20 6e 6f 74 20 6c 65 73 73 20 74 68 61   is not less tha
44a0: 6e 20 7a 65 72 6f 2c 0a 2a 2a 20 74 68 65 6e 20  n zero,.** then 
44b0: 72 65 74 75 72 6e 20 74 68 65 20 6e 75 6d 62 65  return the numbe
44c0: 72 20 6f 66 20 62 79 74 65 73 20 69 6e 20 74 68  r of bytes in th
44d0: 65 20 66 69 72 73 74 20 6e 43 68 61 72 20 75 6e  e first nChar un
44e0: 69 63 6f 64 65 20 63 68 61 72 61 63 74 65 72 73  icode characters
44f0: 0a 2a 2a 20 69 6e 20 70 5a 20 28 6f 72 20 75 70  .** in pZ (or up
4500: 20 75 6e 74 69 6c 20 74 68 65 20 66 69 72 73 74   until the first
4510: 20 70 61 69 72 20 6f 66 20 30 78 30 30 20 62 79   pair of 0x00 by
4520: 74 65 73 2c 20 77 68 69 63 68 65 76 65 72 20 63  tes, whichever c
4530: 6f 6d 65 73 20 66 69 72 73 74 29 2e 0a 2a 2f 0a  omes first)..*/.
4540: 69 6e 74 20 73 71 6c 69 74 65 33 75 74 66 31 36  int sqlite3utf16
4550: 42 79 74 65 4c 65 6e 28 63 6f 6e 73 74 20 76 6f  ByteLen(const vo
4560: 69 64 20 2a 7a 49 6e 2c 20 69 6e 74 20 6e 43 68  id *zIn, int nCh
4570: 61 72 29 7b 0a 20 20 69 6e 74 20 63 20 3d 20 31  ar){.  int c = 1
4580: 3b 0a 20 20 63 68 61 72 20 63 6f 6e 73 74 20 2a  ;.  char const *
4590: 7a 20 3d 20 7a 49 6e 3b 0a 20 20 69 6e 74 20 6e  z = zIn;.  int n
45a0: 20 3d 20 30 3b 0a 20 20 69 66 28 20 53 51 4c 49   = 0;.  if( SQLI
45b0: 54 45 5f 55 54 46 31 36 4e 41 54 49 56 45 3d 3d  TE_UTF16NATIVE==
45c0: 53 51 4c 49 54 45 5f 55 54 46 31 36 42 45 20 29  SQLITE_UTF16BE )
45d0: 7b 0a 20 20 20 20 2f 2a 20 55 73 69 6e 67 20 61  {.    /* Using a
45e0: 6e 20 22 69 66 20 28 53 51 4c 49 54 45 5f 55 54  n "if (SQLITE_UT
45f0: 46 31 36 4e 41 54 49 56 45 3d 3d 53 51 4c 49 54  F16NATIVE==SQLIT
4600: 45 5f 55 54 46 31 36 42 45 29 22 20 63 6f 6e 73  E_UTF16BE)" cons
4610: 74 72 75 63 74 20 68 65 72 65 0a 20 20 20 20 2a  truct here.    *
4620: 2a 20 61 6e 64 20 69 6e 20 6f 74 68 65 72 20 70  * and in other p
4630: 61 72 74 73 20 6f 66 20 74 68 69 73 20 66 69 6c  arts of this fil
4640: 65 20 6d 65 61 6e 73 20 74 68 61 74 20 61 74 20  e means that at 
4650: 6f 6e 65 20 62 72 61 6e 63 68 20 77 69 6c 6c 0a  one branch will.
4660: 20 20 20 20 2a 2a 20 6e 6f 74 20 62 65 20 63 6f      ** not be co
4670: 76 65 72 65 64 20 62 79 20 63 6f 76 65 72 61 67  vered by coverag
4680: 65 20 74 65 73 74 69 6e 67 20 6f 6e 20 61 6e 79  e testing on any
4690: 20 73 69 6e 67 6c 65 20 68 6f 73 74 2e 20 42 75   single host. Bu
46a0: 74 20 63 6f 76 65 72 61 67 65 0a 20 20 20 20 2a  t coverage.    *
46b0: 2a 20 77 69 6c 6c 20 62 65 20 63 6f 6d 70 6c 65  * will be comple
46c0: 74 65 20 69 66 20 74 68 65 20 74 65 73 74 73 20  te if the tests 
46d0: 61 72 65 20 72 75 6e 20 6f 6e 20 62 6f 74 68 20  are run on both 
46e0: 61 20 6c 69 74 74 6c 65 2d 65 6e 64 69 61 6e 20  a little-endian 
46f0: 61 6e 64 20 0a 20 20 20 20 2a 2a 20 62 69 67 2d  and .    ** big-
4700: 65 6e 64 69 61 6e 20 68 6f 73 74 2e 20 42 65 63  endian host. Bec
4710: 61 75 73 65 20 62 6f 74 68 20 74 68 65 20 55 54  ause both the UT
4720: 46 31 36 4e 41 54 49 56 45 20 61 6e 64 20 53 51  F16NATIVE and SQ
4730: 4c 49 54 45 5f 55 54 46 31 36 42 45 0a 20 20 20  LITE_UTF16BE.   
4740: 20 2a 2a 20 6d 61 63 72 6f 73 20 61 72 65 20 63   ** macros are c
4750: 6f 6e 73 74 61 6e 74 20 61 74 20 63 6f 6d 70 69  onstant at compi
4760: 6c 65 20 74 69 6d 65 20 74 68 65 20 63 6f 6d 70  le time the comp
4770: 69 6c 65 72 20 63 61 6e 20 64 65 74 65 72 6d 69  iler can determi
4780: 6e 65 0a 20 20 20 20 2a 2a 20 77 68 69 63 68 20  ne.    ** which 
4790: 62 72 61 6e 63 68 20 77 69 6c 6c 20 62 65 20 66  branch will be f
47a0: 6f 6c 6c 6f 77 65 64 2e 20 49 74 20 69 73 20 74  ollowed. It is t
47b0: 68 65 72 65 66 6f 72 65 20 61 73 73 75 6d 65 64  herefore assumed
47c0: 20 74 68 61 74 20 6e 6f 20 72 75 6e 74 69 6d 65   that no runtime
47d0: 0a 20 20 20 20 2a 2a 20 70 65 6e 61 6c 74 79 20  .    ** penalty 
47e0: 69 73 20 70 61 69 64 20 66 6f 72 20 74 68 69 73  is paid for this
47f0: 20 22 69 66 22 20 73 74 61 74 65 6d 65 6e 74 2e   "if" statement.
4800: 0a 20 20 20 20 2a 2f 0a 20 20 20 20 77 68 69 6c  .    */.    whil
4810: 65 28 20 63 20 26 26 20 28 28 6e 43 68 61 72 3c  e( c && ((nChar<
4820: 30 29 20 7c 7c 20 6e 3c 6e 43 68 61 72 29 20 29  0) || n<nChar) )
4830: 7b 0a 20 20 20 20 20 20 52 45 41 44 5f 55 54 46  {.      READ_UTF
4840: 31 36 42 45 28 7a 2c 20 63 29 3b 0a 20 20 20 20  16BE(z, c);.    
4850: 20 20 6e 2b 2b 3b 0a 20 20 20 20 7d 0a 20 20 7d    n++;.    }.  }
4860: 65 6c 73 65 7b 0a 20 20 20 20 77 68 69 6c 65 28  else{.    while(
4870: 20 63 20 26 26 20 28 28 6e 43 68 61 72 3c 30 29   c && ((nChar<0)
4880: 20 7c 7c 20 6e 3c 6e 43 68 61 72 29 20 29 7b 0a   || n<nChar) ){.
4890: 20 20 20 20 20 20 52 45 41 44 5f 55 54 46 31 36        READ_UTF16
48a0: 4c 45 28 7a 2c 20 63 29 3b 0a 20 20 20 20 20 20  LE(z, c);.      
48b0: 6e 2b 2b 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20  n++;.    }.  }. 
48c0: 20 72 65 74 75 72 6e 20 28 7a 2d 28 63 68 61 72   return (z-(char
48d0: 20 63 6f 6e 73 74 20 2a 29 7a 49 6e 29 2d 28 28   const *)zIn)-((
48e0: 63 3d 3d 30 29 3f 32 3a 30 29 3b 0a 7d 0a 0a 2f  c==0)?2:0);.}../
48f0: 2a 0a 2a 2a 20 55 54 46 2d 31 36 20 69 6d 70 6c  *.** UTF-16 impl
4900: 65 6d 65 6e 74 61 74 69 6f 6e 20 6f 66 20 74 68  ementation of th
4910: 65 20 73 75 62 73 74 72 28 29 0a 2a 2f 0a 76 6f  e substr().*/.vo
4920: 69 64 20 73 71 6c 69 74 65 33 75 74 66 31 36 53  id sqlite3utf16S
4930: 75 62 73 74 72 28 0a 20 20 73 71 6c 69 74 65 33  ubstr(.  sqlite3
4940: 5f 63 6f 6e 74 65 78 74 20 2a 63 6f 6e 74 65 78  _context *contex
4950: 74 2c 0a 20 20 69 6e 74 20 61 72 67 63 2c 0a 20  t,.  int argc,. 
4960: 20 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 20 2a   sqlite3_value *
4970: 2a 61 72 67 76 0a 29 7b 0a 20 20 69 6e 74 20 79  *argv.){.  int y
4980: 2c 20 7a 3b 0a 20 20 75 6e 73 69 67 6e 65 64 20  , z;.  unsigned 
4990: 63 68 61 72 20 63 6f 6e 73 74 20 2a 7a 53 74 72  char const *zStr
49a0: 3b 0a 20 20 75 6e 73 69 67 6e 65 64 20 63 68 61  ;.  unsigned cha
49b0: 72 20 63 6f 6e 73 74 20 2a 7a 53 74 72 45 6e 64  r const *zStrEnd
49c0: 3b 0a 20 20 75 6e 73 69 67 6e 65 64 20 63 68 61  ;.  unsigned cha
49d0: 72 20 63 6f 6e 73 74 20 2a 7a 53 74 61 72 74 3b  r const *zStart;
49e0: 0a 20 20 75 6e 73 69 67 6e 65 64 20 63 68 61 72  .  unsigned char
49f0: 20 63 6f 6e 73 74 20 2a 7a 45 6e 64 3b 0a 20 20   const *zEnd;.  
4a00: 69 6e 74 20 69 3b 0a 0a 20 20 7a 53 74 72 20 3d  int i;..  zStr =
4a10: 20 28 75 6e 73 69 67 6e 65 64 20 63 68 61 72 20   (unsigned char 
4a20: 63 6f 6e 73 74 20 2a 29 73 71 6c 69 74 65 33 5f  const *)sqlite3_
4a30: 76 61 6c 75 65 5f 74 65 78 74 31 36 28 61 72 67  value_text16(arg
4a40: 76 5b 30 5d 29 3b 0a 20 20 7a 53 74 72 45 6e 64  v[0]);.  zStrEnd
4a50: 20 3d 20 26 7a 53 74 72 5b 73 71 6c 69 74 65 33   = &zStr[sqlite3
4a60: 5f 76 61 6c 75 65 5f 62 79 74 65 73 31 36 28 61  _value_bytes16(a
4a70: 72 67 76 5b 30 5d 29 5d 3b 0a 20 20 79 20 3d 20  rgv[0])];.  y = 
4a80: 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f 69 6e  sqlite3_value_in
4a90: 74 28 61 72 67 76 5b 31 5d 29 3b 0a 20 20 7a 20  t(argv[1]);.  z 
4aa0: 3d 20 73 71 6c 69 74 65 33 5f 76 61 6c 75 65 5f  = sqlite3_value_
4ab0: 69 6e 74 28 61 72 67 76 5b 32 5d 29 3b 0a 0a 20  int(argv[2]);.. 
4ac0: 20 69 66 28 20 79 3e 30 20 29 7b 0a 20 20 20 20   if( y>0 ){.    
4ad0: 79 20 3d 20 79 2d 31 3b 0a 20 20 20 20 7a 53 74  y = y-1;.    zSt
4ae0: 61 72 74 20 3d 20 7a 53 74 72 3b 0a 20 20 20 20  art = zStr;.    
4af0: 69 66 28 20 53 51 4c 49 54 45 5f 55 54 46 31 36  if( SQLITE_UTF16
4b00: 42 45 3d 3d 53 51 4c 49 54 45 5f 55 54 46 31 36  BE==SQLITE_UTF16
4b10: 4e 41 54 49 56 45 20 29 7b 0a 20 20 20 20 20 20  NATIVE ){.      
4b20: 66 6f 72 28 69 3d 30 3b 20 69 3c 79 20 26 26 20  for(i=0; i<y && 
4b30: 7a 53 74 61 72 74 3c 7a 53 74 72 45 6e 64 3b 20  zStart<zStrEnd; 
4b40: 69 2b 2b 29 20 53 4b 49 50 5f 55 54 46 31 36 42  i++) SKIP_UTF16B
4b50: 45 28 7a 53 74 61 72 74 29 3b 0a 20 20 20 20 7d  E(zStart);.    }
4b60: 65 6c 73 65 7b 0a 20 20 20 20 20 20 66 6f 72 28  else{.      for(
4b70: 69 3d 30 3b 20 69 3c 79 20 26 26 20 7a 53 74 61  i=0; i<y && zSta
4b80: 72 74 3c 7a 53 74 72 45 6e 64 3b 20 69 2b 2b 29  rt<zStrEnd; i++)
4b90: 20 53 4b 49 50 5f 55 54 46 31 36 4c 45 28 7a 53   SKIP_UTF16LE(zS
4ba0: 74 61 72 74 29 3b 0a 20 20 20 20 7d 0a 20 20 7d  tart);.    }.  }
4bb0: 65 6c 73 65 7b 0a 20 20 20 20 7a 53 74 61 72 74  else{.    zStart
4bc0: 20 3d 20 7a 53 74 72 45 6e 64 3b 0a 20 20 20 20   = zStrEnd;.    
4bd0: 69 66 28 20 53 51 4c 49 54 45 5f 55 54 46 31 36  if( SQLITE_UTF16
4be0: 42 45 3d 3d 53 51 4c 49 54 45 5f 55 54 46 31 36  BE==SQLITE_UTF16
4bf0: 4e 41 54 49 56 45 20 29 7b 0a 20 20 20 20 20 20  NATIVE ){.      
4c00: 66 6f 72 28 69 3d 79 3b 20 69 3c 30 20 26 26 20  for(i=y; i<0 && 
4c10: 7a 53 74 61 72 74 3e 7a 53 74 72 3b 20 69 2b 2b  zStart>zStr; i++
4c20: 29 20 52 53 4b 49 50 5f 55 54 46 31 36 42 45 28  ) RSKIP_UTF16BE(
4c30: 7a 53 74 61 72 74 29 3b 0a 20 20 20 20 7d 65 6c  zStart);.    }el
4c40: 73 65 7b 0a 20 20 20 20 20 20 66 6f 72 28 69 3d  se{.      for(i=
4c50: 79 3b 20 69 3c 30 20 26 26 20 7a 53 74 61 72 74  y; i<0 && zStart
4c60: 3e 7a 53 74 72 3b 20 69 2b 2b 29 20 52 53 4b 49  >zStr; i++) RSKI
4c70: 50 5f 55 54 46 31 36 4c 45 28 7a 53 74 61 72 74  P_UTF16LE(zStart
4c80: 29 3b 0a 20 20 20 20 7d 0a 20 20 20 20 66 6f 72  );.    }.    for
4c90: 28 3b 20 69 3c 30 3b 20 69 2b 2b 29 20 7a 20 2d  (; i<0; i++) z -
4ca0: 3d 20 31 3b 0a 20 20 7d 0a 0a 20 20 7a 45 6e 64  = 1;.  }..  zEnd
4cb0: 20 3d 20 7a 53 74 61 72 74 3b 0a 20 20 69 66 28   = zStart;.  if(
4cc0: 20 53 51 4c 49 54 45 5f 55 54 46 31 36 42 45 3d   SQLITE_UTF16BE=
4cd0: 3d 53 51 4c 49 54 45 5f 55 54 46 31 36 4e 41 54  =SQLITE_UTF16NAT
4ce0: 49 56 45 20 29 7b 0a 20 20 20 20 66 6f 72 28 69  IVE ){.    for(i
4cf0: 3d 30 3b 20 69 3c 7a 20 26 26 20 7a 45 6e 64 3c  =0; i<z && zEnd<
4d00: 7a 53 74 72 45 6e 64 3b 20 69 2b 2b 29 20 53 4b  zStrEnd; i++) SK
4d10: 49 50 5f 55 54 46 31 36 42 45 28 7a 45 6e 64 29  IP_UTF16BE(zEnd)
4d20: 3b 0a 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 66  ;.  }else{.    f
4d30: 6f 72 28 69 3d 30 3b 20 69 3c 7a 20 26 26 20 7a  or(i=0; i<z && z
4d40: 45 6e 64 3c 7a 53 74 72 45 6e 64 3b 20 69 2b 2b  End<zStrEnd; i++
4d50: 29 20 53 4b 49 50 5f 55 54 46 31 36 4c 45 28 7a  ) SKIP_UTF16LE(z
4d60: 45 6e 64 29 3b 0a 20 20 7d 0a 0a 20 20 73 71 6c  End);.  }..  sql
4d70: 69 74 65 33 5f 72 65 73 75 6c 74 5f 74 65 78 74  ite3_result_text
4d80: 31 36 28 63 6f 6e 74 65 78 74 2c 20 7a 53 74 61  16(context, zSta
4d90: 72 74 2c 20 7a 45 6e 64 2d 7a 53 74 61 72 74 2c  rt, zEnd-zStart,
4da0: 20 53 51 4c 49 54 45 5f 54 52 41 4e 53 49 45 4e   SQLITE_TRANSIEN
4db0: 54 29 3b 0a 7d 0a 0a 23 69 66 20 64 65 66 69 6e  T);.}..#if defin
4dc0: 65 64 28 53 51 4c 49 54 45 5f 54 45 53 54 29 0a  ed(SQLITE_TEST).
4dd0: 2f 2a 0a 2a 2a 20 54 68 69 73 20 72 6f 75 74 69  /*.** This routi
4de0: 6e 65 20 69 73 20 63 61 6c 6c 65 64 20 66 72 6f  ne is called fro
4df0: 6d 20 74 68 65 20 54 43 4c 20 74 65 73 74 20 66  m the TCL test f
4e00: 75 6e 63 74 69 6f 6e 20 22 74 72 61 6e 73 6c 61  unction "transla
4e10: 74 65 5f 73 65 6c 66 74 65 73 74 22 2e 0a 2a 2a  te_selftest"..**
4e20: 20 49 74 20 63 68 65 63 6b 73 20 74 68 61 74 20   It checks that 
4e30: 74 68 65 20 70 72 69 6d 69 74 69 76 65 73 20 66  the primitives f
4e40: 6f 72 20 73 65 72 69 61 6c 69 7a 69 6e 67 20 61  or serializing a
4e50: 6e 64 20 64 65 73 65 72 69 61 6c 69 7a 69 6e 67  nd deserializing
4e60: 0a 2a 2a 20 63 68 61 72 61 63 74 65 72 73 20 69  .** characters i
4e70: 6e 20 65 61 63 68 20 65 6e 63 6f 64 69 6e 67 20  n each encoding 
4e80: 61 72 65 20 69 6e 76 65 72 73 65 73 20 6f 66 20  are inverses of 
4e90: 65 61 63 68 20 6f 74 68 65 72 2e 0a 2a 2f 0a 76  each other..*/.v
4ea0: 6f 69 64 20 73 71 6c 69 74 65 33 75 74 66 53 65  oid sqlite3utfSe
4eb0: 6c 66 54 65 73 74 28 29 7b 0a 20 20 69 6e 74 20  lfTest(){.  int 
4ec0: 69 3b 0a 20 20 75 6e 73 69 67 6e 65 64 20 63 68  i;.  unsigned ch
4ed0: 61 72 20 7a 42 75 66 5b 32 30 5d 3b 0a 20 20 75  ar zBuf[20];.  u
4ee0: 6e 73 69 67 6e 65 64 20 63 68 61 72 20 2a 7a 3b  nsigned char *z;
4ef0: 0a 20 20 69 6e 74 20 6e 3b 0a 20 20 69 6e 74 20  .  int n;.  int 
4f00: 63 3b 0a 0a 20 20 66 6f 72 28 69 3d 30 3b 20 69  c;..  for(i=0; i
4f10: 3c 30 78 30 30 31 31 30 30 30 30 3b 20 69 2b 2b  <0x00110000; i++
4f20: 29 7b 0a 20 20 20 20 7a 20 3d 20 7a 42 75 66 3b  ){.    z = zBuf;
4f30: 0a 20 20 20 20 57 52 49 54 45 5f 55 54 46 38 28  .    WRITE_UTF8(
4f40: 7a 2c 20 69 29 3b 0a 20 20 20 20 6e 20 3d 20 7a  z, i);.    n = z
4f50: 2d 7a 42 75 66 3b 0a 20 20 20 20 7a 20 3d 20 7a  -zBuf;.    z = z
4f60: 42 75 66 3b 0a 20 20 20 20 52 45 41 44 5f 55 54  Buf;.    READ_UT
4f70: 46 38 28 7a 2c 20 63 29 3b 0a 20 20 20 20 61 73  F8(z, c);.    as
4f80: 73 65 72 74 28 20 63 3d 3d 69 20 29 3b 0a 20 20  sert( c==i );.  
4f90: 20 20 61 73 73 65 72 74 28 20 28 7a 2d 7a 42 75    assert( (z-zBu
4fa0: 66 29 3d 3d 6e 20 29 3b 0a 20 20 7d 0a 20 20 66  f)==n );.  }.  f
4fb0: 6f 72 28 69 3d 30 3b 20 69 3c 30 78 30 30 31 31  or(i=0; i<0x0011
4fc0: 30 30 30 30 3b 20 69 2b 2b 29 7b 0a 20 20 20 20  0000; i++){.    
4fd0: 69 66 28 20 69 3e 3d 30 78 44 38 30 30 20 26 26  if( i>=0xD800 &&
4fe0: 20 69 3c 3d 30 78 45 30 30 30 20 29 20 63 6f 6e   i<=0xE000 ) con
4ff0: 74 69 6e 75 65 3b 0a 20 20 20 20 7a 20 3d 20 7a  tinue;.    z = z
5000: 42 75 66 3b 0a 20 20 20 20 57 52 49 54 45 5f 55  Buf;.    WRITE_U
5010: 54 46 31 36 4c 45 28 7a 2c 20 69 29 3b 0a 20 20  TF16LE(z, i);.  
5020: 20 20 6e 20 3d 20 7a 2d 7a 42 75 66 3b 0a 20 20    n = z-zBuf;.  
5030: 20 20 7a 20 3d 20 7a 42 75 66 3b 0a 20 20 20 20    z = zBuf;.    
5040: 52 45 41 44 5f 55 54 46 31 36 4c 45 28 7a 2c 20  READ_UTF16LE(z, 
5050: 63 29 3b 0a 20 20 20 20 61 73 73 65 72 74 28 20  c);.    assert( 
5060: 63 3d 3d 69 20 29 3b 0a 20 20 20 20 61 73 73 65  c==i );.    asse
5070: 72 74 28 20 28 7a 2d 7a 42 75 66 29 3d 3d 6e 20  rt( (z-zBuf)==n 
5080: 29 3b 0a 20 20 7d 0a 20 20 66 6f 72 28 69 3d 30  );.  }.  for(i=0
5090: 3b 20 69 3c 30 78 30 30 31 31 30 30 30 30 3b 20  ; i<0x00110000; 
50a0: 69 2b 2b 29 7b 0a 20 20 20 20 69 66 28 20 69 3e  i++){.    if( i>
50b0: 3d 30 78 44 38 30 30 20 26 26 20 69 3c 3d 30 78  =0xD800 && i<=0x
50c0: 45 30 30 30 20 29 20 63 6f 6e 74 69 6e 75 65 3b  E000 ) continue;
50d0: 0a 20 20 20 20 7a 20 3d 20 7a 42 75 66 3b 0a 20  .    z = zBuf;. 
50e0: 20 20 20 57 52 49 54 45 5f 55 54 46 31 36 42 45     WRITE_UTF16BE
50f0: 28 7a 2c 20 69 29 3b 0a 20 20 20 20 6e 20 3d 20  (z, i);.    n = 
5100: 7a 2d 7a 42 75 66 3b 0a 20 20 20 20 7a 20 3d 20  z-zBuf;.    z = 
5110: 7a 42 75 66 3b 0a 20 20 20 20 52 45 41 44 5f 55  zBuf;.    READ_U
5120: 54 46 31 36 42 45 28 7a 2c 20 63 29 3b 0a 20 20  TF16BE(z, c);.  
5130: 20 20 61 73 73 65 72 74 28 20 63 3d 3d 69 20 29    assert( c==i )
5140: 3b 0a 20 20 20 20 61 73 73 65 72 74 28 20 28 7a  ;.    assert( (z
5150: 2d 7a 42 75 66 29 3d 3d 6e 20 29 3b 0a 20 20 7d  -zBuf)==n );.  }
5160: 0a 7d 0a 23 65 6e 64 69 66 20 2f 2a 20 53 51 4c  .}.#endif /* SQL
5170: 49 54 45 5f 54 45 53 54 20 2a 2f 0a 23 65 6e 64  ITE_TEST */.#end
5180: 69 66 20 2f 2a 20 53 51 4c 49 54 45 5f 4f 4d 49  if /* SQLITE_OMI
5190: 54 5f 55 54 46 31 36 20 2a 2f 0a                 T_UTF16 */.