/ Hex Artifact Content
Login
SQLite training in Houston TX on 2019-11-05 (details)
Part of the 2019 Tcl Conference

Artifact e8c72a123570061b8088d929e403d4fc09193be7:


0000: 2f 2a 0a 2a 2a 20 32 30 30 34 20 41 70 72 69 6c  /*.** 2004 April
0010: 20 31 33 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75   13.**.** The au
0020: 74 68 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63  thor disclaims c
0030: 6f 70 79 72 69 67 68 74 20 74 6f 20 74 68 69 73  opyright to this
0040: 20 73 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49   source code.  I
0050: 6e 20 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20  n place of.** a 
0060: 6c 65 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65  legal notice, he
0070: 72 65 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67  re is a blessing
0080: 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79  :.**.**    May y
0090: 6f 75 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e  ou do good and n
00a0: 6f 74 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d  ot evil..**    M
00b0: 61 79 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67  ay you find forg
00c0: 69 76 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72  iveness for your
00d0: 73 65 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65  self and forgive
00e0: 20 6f 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d   others..**    M
00f0: 61 79 20 79 6f 75 20 73 68 61 72 65 20 66 72 65  ay you share fre
0100: 65 6c 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e  ely, never takin
0110: 67 20 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20  g more than you 
0120: 67 69 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a  give..**.*******
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 0a 2a 2a 20 54 68 69 73 20 66 69 6c 65 20  **.** This file 
0180: 63 6f 6e 74 61 69 6e 73 20 72 6f 75 74 69 6e 65  contains routine
0190: 73 20 75 73 65 64 20 74 6f 20 74 72 61 6e 73 6c  s used to transl
01a0: 61 74 65 20 62 65 74 77 65 65 6e 20 55 54 46 2d  ate between UTF-
01b0: 38 2c 20 0a 2a 2a 20 55 54 46 2d 31 36 2c 20 55  8, .** UTF-16, U
01c0: 54 46 2d 31 36 42 45 2c 20 61 6e 64 20 55 54 46  TF-16BE, and UTF
01d0: 2d 31 36 4c 45 2e 0a 2a 2a 0a 2a 2a 20 24 49 64  -16LE..**.** $Id
01e0: 3a 20 75 74 66 2e 63 2c 76 20 31 2e 35 38 20 32  : utf.c,v 1.58 2
01f0: 30 30 37 2f 30 39 2f 31 32 20 31 37 3a 30 31 3a  007/09/12 17:01:
0200: 34 35 20 64 61 6e 69 65 6c 6b 31 39 37 37 20 45  45 danielk1977 E
0210: 78 70 20 24 0a 2a 2a 0a 2a 2a 20 4e 6f 74 65 73  xp $.**.** Notes
0220: 20 6f 6e 20 55 54 46 2d 38 3a 0a 2a 2a 0a 2a 2a   on UTF-8:.**.**
0230: 20 20 20 42 79 74 65 2d 30 20 20 20 20 42 79 74     Byte-0    Byt
0240: 65 2d 31 20 20 20 20 42 79 74 65 2d 32 20 20 20  e-1    Byte-2   
0250: 20 42 79 74 65 2d 33 20 20 20 20 56 61 6c 75 65   Byte-3    Value
0260: 0a 2a 2a 20 20 30 78 78 78 78 78 78 78 20 20 20  .**  0xxxxxxx   
0270: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0280: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 30 30                00
0290: 30 30 30 30 30 30 20 30 30 30 30 30 30 30 30 20  000000 00000000 
02a0: 30 78 78 78 78 78 78 78 0a 2a 2a 20 20 31 31 30  0xxxxxxx.**  110
02b0: 79 79 79 79 79 20 20 31 30 78 78 78 78 78 78 20  yyyyy  10xxxxxx 
02c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
02d0: 20 20 20 20 20 20 30 30 30 30 30 30 30 30 20 30        00000000 0
02e0: 30 30 30 30 79 79 79 20 79 79 78 78 78 78 78 78  0000yyy yyxxxxxx
02f0: 0a 2a 2a 20 20 31 31 31 30 7a 7a 7a 7a 20 20 31  .**  1110zzzz  1
0300: 30 79 79 79 79 79 79 20 20 31 30 78 78 78 78 78  0yyyyyy  10xxxxx
0310: 78 20 20 20 20 20 20 20 20 20 20 20 20 20 30 30  x             00
0320: 30 30 30 30 30 30 20 7a 7a 7a 7a 79 79 79 79 20  000000 zzzzyyyy 
0330: 79 79 78 78 78 78 78 78 0a 2a 2a 20 20 31 31 31  yyxxxxxx.**  111
0340: 31 30 75 75 75 20 20 31 30 75 75 7a 7a 7a 7a 20  10uuu  10uuzzzz 
0350: 20 31 30 79 79 79 79 79 79 20 20 31 30 78 78 78   10yyyyyy  10xxx
0360: 78 78 78 20 20 20 30 30 30 75 75 75 75 75 20 7a  xxx   000uuuuu z
0370: 7a 7a 7a 79 79 79 79 20 79 79 78 78 78 78 78 78  zzzyyyy yyxxxxxx
0380: 0a 2a 2a 0a 2a 2a 0a 2a 2a 20 4e 6f 74 65 73 20  .**.**.** Notes 
0390: 6f 6e 20 55 54 46 2d 31 36 3a 20 20 28 77 69 74  on UTF-16:  (wit
03a0: 68 20 77 77 77 77 2b 31 3d 3d 75 75 75 75 75 29  h wwww+1==uuuuu)
03b0: 0a 2a 2a 0a 2a 2a 20 20 20 20 20 20 57 6f 72 64  .**.**      Word
03c0: 2d 30 20 20 20 20 20 20 20 20 20 20 20 20 20 20  -0              
03d0: 20 57 6f 72 64 2d 31 20 20 20 20 20 20 20 20 20   Word-1         
03e0: 20 56 61 6c 75 65 0a 2a 2a 20 20 31 31 30 31 31   Value.**  11011
03f0: 30 77 77 20 77 77 7a 7a 7a 7a 79 79 20 20 20 31  0ww wwzzzzyy   1
0400: 31 30 31 31 31 79 79 20 79 79 78 78 78 78 78 78  10111yy yyxxxxxx
0410: 20 20 20 20 30 30 30 75 75 75 75 75 20 7a 7a 7a      000uuuuu zzz
0420: 7a 79 79 79 79 20 79 79 78 78 78 78 78 78 0a 2a  zyyyy yyxxxxxx.*
0430: 2a 20 20 7a 7a 7a 7a 79 79 79 79 20 79 79 78 78  *  zzzzyyyy yyxx
0440: 78 78 78 78 20 20 20 20 20 20 20 20 20 20 20 20  xxxx            
0450: 20 20 20 20 20 20 20 20 20 20 20 20 30 30 30 30              0000
0460: 30 30 30 30 20 7a 7a 7a 7a 79 79 79 79 20 79 79  0000 zzzzyyyy yy
0470: 78 78 78 78 78 78 0a 2a 2a 0a 2a 2a 0a 2a 2a 20  xxxxxx.**.**.** 
0480: 42 4f 4d 20 6f 72 20 42 79 74 65 20 4f 72 64 65  BOM or Byte Orde
0490: 72 20 4d 61 72 6b 3a 0a 2a 2a 20 20 20 20 20 30  r Mark:.**     0
04a0: 78 66 66 20 30 78 66 65 20 20 20 6c 69 74 74 6c  xff 0xfe   littl
04b0: 65 2d 65 6e 64 69 61 6e 20 75 74 66 2d 31 36 20  e-endian utf-16 
04c0: 66 6f 6c 6c 6f 77 73 0a 2a 2a 20 20 20 20 20 30  follows.**     0
04d0: 78 66 65 20 30 78 66 66 20 20 20 62 69 67 2d 65  xfe 0xff   big-e
04e0: 6e 64 69 61 6e 20 75 74 66 2d 31 36 20 66 6f 6c  ndian utf-16 fol
04f0: 6c 6f 77 73 0a 2a 2a 0a 2a 2f 0a 23 69 6e 63 6c  lows.**.*/.#incl
0500: 75 64 65 20 22 73 71 6c 69 74 65 49 6e 74 2e 68  ude "sqliteInt.h
0510: 22 0a 23 69 6e 63 6c 75 64 65 20 3c 61 73 73 65  ".#include <asse
0520: 72 74 2e 68 3e 0a 23 69 6e 63 6c 75 64 65 20 22  rt.h>.#include "
0530: 76 64 62 65 49 6e 74 2e 68 22 0a 0a 2f 2a 0a 2a  vdbeInt.h"../*.*
0540: 2a 20 54 68 65 20 66 6f 6c 6c 6f 77 69 6e 67 20  * The following 
0550: 63 6f 6e 73 74 61 6e 74 20 76 61 6c 75 65 20 69  constant value i
0560: 73 20 75 73 65 64 20 62 79 20 74 68 65 20 53 51  s used by the SQ
0570: 4c 49 54 45 5f 42 49 47 45 4e 44 49 41 4e 20 61  LITE_BIGENDIAN a
0580: 6e 64 0a 2a 2a 20 53 51 4c 49 54 45 5f 4c 49 54  nd.** SQLITE_LIT
0590: 54 4c 45 45 4e 44 49 41 4e 20 6d 61 63 72 6f 73  TLEENDIAN macros
05a0: 2e 0a 2a 2f 0a 63 6f 6e 73 74 20 69 6e 74 20 73  ..*/.const int s
05b0: 71 6c 69 74 65 33 6f 6e 65 20 3d 20 31 3b 0a 0a  qlite3one = 1;..
05c0: 2f 2a 0a 2a 2a 20 54 68 69 73 20 6c 6f 6f 6b 75  /*.** This looku
05d0: 70 20 74 61 62 6c 65 20 69 73 20 75 73 65 64 20  p table is used 
05e0: 74 6f 20 68 65 6c 70 20 64 65 63 6f 64 65 20 74  to help decode t
05f0: 68 65 20 66 69 72 73 74 20 62 79 74 65 20 6f 66  he first byte of
0600: 0a 2a 2a 20 61 20 6d 75 6c 74 69 2d 62 79 74 65  .** a multi-byte
0610: 20 55 54 46 38 20 63 68 61 72 61 63 74 65 72 2e   UTF8 character.
0620: 0a 2a 2f 0a 73 74 61 74 69 63 20 63 6f 6e 73 74  .*/.static const
0630: 20 75 6e 73 69 67 6e 65 64 20 63 68 61 72 20 73   unsigned char s
0640: 71 6c 69 74 65 33 55 74 66 54 72 61 6e 73 31 5b  qlite3UtfTrans1[
0650: 5d 20 3d 20 7b 0a 20 20 30 78 30 30 2c 20 30 78  ] = {.  0x00, 0x
0660: 30 31 2c 20 30 78 30 32 2c 20 30 78 30 33 2c 20  01, 0x02, 0x03, 
0670: 30 78 30 34 2c 20 30 78 30 35 2c 20 30 78 30 36  0x04, 0x05, 0x06
0680: 2c 20 30 78 30 37 2c 0a 20 20 30 78 30 38 2c 20  , 0x07,.  0x08, 
0690: 30 78 30 39 2c 20 30 78 30 61 2c 20 30 78 30 62  0x09, 0x0a, 0x0b
06a0: 2c 20 30 78 30 63 2c 20 30 78 30 64 2c 20 30 78  , 0x0c, 0x0d, 0x
06b0: 30 65 2c 20 30 78 30 66 2c 0a 20 20 30 78 31 30  0e, 0x0f,.  0x10
06c0: 2c 20 30 78 31 31 2c 20 30 78 31 32 2c 20 30 78  , 0x11, 0x12, 0x
06d0: 31 33 2c 20 30 78 31 34 2c 20 30 78 31 35 2c 20  13, 0x14, 0x15, 
06e0: 30 78 31 36 2c 20 30 78 31 37 2c 0a 20 20 30 78  0x16, 0x17,.  0x
06f0: 31 38 2c 20 30 78 31 39 2c 20 30 78 31 61 2c 20  18, 0x19, 0x1a, 
0700: 30 78 31 62 2c 20 30 78 31 63 2c 20 30 78 31 64  0x1b, 0x1c, 0x1d
0710: 2c 20 30 78 31 65 2c 20 30 78 31 66 2c 0a 20 20  , 0x1e, 0x1f,.  
0720: 30 78 30 30 2c 20 30 78 30 31 2c 20 30 78 30 32  0x00, 0x01, 0x02
0730: 2c 20 30 78 30 33 2c 20 30 78 30 34 2c 20 30 78  , 0x03, 0x04, 0x
0740: 30 35 2c 20 30 78 30 36 2c 20 30 78 30 37 2c 0a  05, 0x06, 0x07,.
0750: 20 20 30 78 30 38 2c 20 30 78 30 39 2c 20 30 78    0x08, 0x09, 0x
0760: 30 61 2c 20 30 78 30 62 2c 20 30 78 30 63 2c 20  0a, 0x0b, 0x0c, 
0770: 30 78 30 64 2c 20 30 78 30 65 2c 20 30 78 30 66  0x0d, 0x0e, 0x0f
0780: 2c 0a 20 20 30 78 30 30 2c 20 30 78 30 31 2c 20  ,.  0x00, 0x01, 
0790: 30 78 30 32 2c 20 30 78 30 33 2c 20 30 78 30 34  0x02, 0x03, 0x04
07a0: 2c 20 30 78 30 35 2c 20 30 78 30 36 2c 20 30 78  , 0x05, 0x06, 0x
07b0: 30 37 2c 0a 20 20 30 78 30 30 2c 20 30 78 30 31  07,.  0x00, 0x01
07c0: 2c 20 30 78 30 32 2c 20 30 78 30 33 2c 20 30 78  , 0x02, 0x03, 0x
07d0: 30 30 2c 20 30 78 30 31 2c 20 30 78 30 30 2c 20  00, 0x01, 0x00, 
07e0: 30 78 30 30 2c 0a 7d 3b 0a 0a 0a 23 64 65 66 69  0x00,.};...#defi
07f0: 6e 65 20 57 52 49 54 45 5f 55 54 46 38 28 7a 4f  ne WRITE_UTF8(zO
0800: 75 74 2c 20 63 29 20 7b 20 20 20 20 20 20 20 20  ut, c) {        
0810: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0820: 20 20 5c 0a 20 20 69 66 28 20 63 3c 30 78 30 30    \.  if( c<0x00
0830: 30 38 30 20 29 7b 20 20 20 20 20 20 20 20 20 20  080 ){          
0840: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0850: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20             \.   
0860: 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 63 26 30 78   *zOut++ = (c&0x
0870: 46 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 20  FF);            
0880: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0890: 20 20 20 20 5c 0a 20 20 7d 20 20 20 20 20 20 20      \.  }       
08a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
08b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
08c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
08d0: 20 65 6c 73 65 20 69 66 28 20 63 3c 30 78 30 30   else if( c<0x00
08e0: 38 30 30 20 29 7b 20 20 20 20 20 20 20 20 20 20  800 ){          
08f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0900: 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75        \.    *zOu
0910: 74 2b 2b 20 3d 20 30 78 43 30 20 2b 20 28 28 63  t++ = 0xC0 + ((c
0920: 3e 3e 36 29 26 30 78 31 46 29 3b 20 20 20 20 20  >>6)&0x1F);     
0930: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
0940: 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30  .    *zOut++ = 0
0950: 78 38 30 20 2b 20 28 63 20 26 20 30 78 33 46 29  x80 + (c & 0x3F)
0960: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ;               
0970: 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 20 20 20          \.  }   
0980: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0990: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
09a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
09b0: 20 5c 0a 20 20 65 6c 73 65 20 69 66 28 20 63 3c   \.  else if( c<
09c0: 30 78 31 30 30 30 30 20 29 7b 20 20 20 20 20 20  0x10000 ){      
09d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
09e0: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20            \.    
09f0: 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78 45 30 20 2b  *zOut++ = 0xE0 +
0a00: 20 28 28 63 3e 3e 31 32 29 26 30 78 30 46 29 3b   ((c>>12)&0x0F);
0a10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0a20: 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b     \.    *zOut++
0a30: 20 3d 20 30 78 38 30 20 2b 20 28 28 63 3e 3e 36   = 0x80 + ((c>>6
0a40: 29 20 26 20 30 78 33 46 29 3b 20 20 20 20 20 20  ) & 0x3F);      
0a50: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
0a60: 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78 38 30    *zOut++ = 0x80
0a70: 20 2b 20 28 63 20 26 20 30 78 33 46 29 3b 20 20   + (c & 0x3F);  
0a80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0a90: 20 20 20 20 20 5c 0a 20 20 7d 65 6c 73 65 7b 20       \.  }else{ 
0aa0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ab0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ac0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
0ad0: 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78      *zOut++ = 0x
0ae0: 46 30 20 2b 20 28 28 63 3e 3e 31 38 29 20 26 20  F0 + ((c>>18) & 
0af0: 30 78 30 37 29 3b 20 20 20 20 20 20 20 20 20 20  0x07);          
0b00: 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f         \.    *zO
0b10: 75 74 2b 2b 20 3d 20 30 78 38 30 20 2b 20 28 28  ut++ = 0x80 + ((
0b20: 63 3e 3e 31 32 29 20 26 20 30 78 33 46 29 3b 20  c>>12) & 0x3F); 
0b30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0b40: 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20  \.    *zOut++ = 
0b50: 30 78 38 30 20 2b 20 28 28 63 3e 3e 36 29 20 26  0x80 + ((c>>6) &
0b60: 20 30 78 33 46 29 3b 20 20 20 20 20 20 20 20 20   0x3F);         
0b70: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a           \.    *
0b80: 7a 4f 75 74 2b 2b 20 3d 20 30 78 38 30 20 2b 20  zOut++ = 0x80 + 
0b90: 28 63 20 26 20 30 78 33 46 29 3b 20 20 20 20 20  (c & 0x3F);     
0ba0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0bb0: 20 20 5c 0a 20 20 7d 20 20 20 20 20 20 20 20 20    \.  }         
0bc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0bd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0be0: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 7d 0a 0a             \.}..
0bf0: 23 64 65 66 69 6e 65 20 57 52 49 54 45 5f 55 54  #define WRITE_UT
0c00: 46 31 36 4c 45 28 7a 4f 75 74 2c 20 63 29 20 7b  F16LE(zOut, c) {
0c10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c30: 5c 0a 20 20 69 66 28 20 63 3c 3d 30 78 46 46 46  \.  if( c<=0xFFF
0c40: 46 20 29 7b 20 20 20 20 20 20 20 20 20 20 20 20  F ){            
0c50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c70: 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20    \.    *zOut++ 
0c80: 3d 20 28 63 26 30 78 30 30 46 46 29 3b 20 20 20  = (c&0x00FF);   
0c90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ca0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0cb0: 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b      \.    *zOut+
0cc0: 2b 20 3d 20 28 28 63 3e 3e 38 29 26 30 78 30 30  + = ((c>>8)&0x00
0cd0: 46 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 20  FF);            
0ce0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0cf0: 20 20 20 20 20 20 5c 0a 20 20 7d 65 6c 73 65 7b        \.  }else{
0d00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0d10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0d20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0d30: 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a          \.    *z
0d40: 4f 75 74 2b 2b 20 3d 20 28 28 28 63 3e 3e 31 30  Out++ = (((c>>10
0d50: 29 26 30 78 30 30 33 46 29 20 2b 20 28 28 28 63  )&0x003F) + (((c
0d60: 2d 30 78 31 30 30 30 30 29 3e 3e 31 30 29 26 30  -0x10000)>>10)&0
0d70: 78 30 30 43 30 29 29 3b 20 20 5c 0a 20 20 20 20  x00C0));  \.    
0d80: 2a 7a 4f 75 74 2b 2b 20 3d 20 28 30 78 30 30 44  *zOut++ = (0x00D
0d90: 38 20 2b 20 28 28 28 63 2d 30 78 31 30 30 30 30  8 + (((c-0x10000
0da0: 29 3e 3e 31 38 29 26 30 78 30 33 29 29 3b 20 20  )>>18)&0x03));  
0db0: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
0dc0: 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 63 26 30    *zOut++ = (c&0
0dd0: 78 30 30 46 46 29 3b 20 20 20 20 20 20 20 20 20  x00FF);         
0de0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0df0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
0e00: 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 30      *zOut++ = (0
0e10: 78 30 30 44 43 20 2b 20 28 28 63 3e 3e 38 29 26  x00DC + ((c>>8)&
0e20: 30 78 30 33 29 29 3b 20 20 20 20 20 20 20 20 20  0x03));         
0e30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0e40: 5c 0a 20 20 7d 20 20 20 20 20 20 20 20 20 20 20  \.  }           
0e50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0e60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0e70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0e80: 20 20 5c 0a 7d 0a 0a 23 64 65 66 69 6e 65 20 57    \.}..#define W
0e90: 52 49 54 45 5f 55 54 46 31 36 42 45 28 7a 4f 75  RITE_UTF16BE(zOu
0ea0: 74 2c 20 63 29 20 7b 20 20 20 20 20 20 20 20 20  t, c) {         
0eb0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ec0: 20 20 20 20 20 20 20 5c 0a 20 20 69 66 28 20 63         \.  if( c
0ed0: 3c 3d 30 78 46 46 46 46 20 29 7b 20 20 20 20 20  <=0xFFFF ){     
0ee0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ef0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0f00: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a           \.    *
0f10: 7a 4f 75 74 2b 2b 20 3d 20 28 28 63 3e 3e 38 29  zOut++ = ((c>>8)
0f20: 26 30 78 30 30 46 46 29 3b 20 20 20 20 20 20 20  &0x00FF);       
0f30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0f40: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20             \.   
0f50: 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 63 26 30 78   *zOut++ = (c&0x
0f60: 30 30 46 46 29 3b 20 20 20 20 20 20 20 20 20 20  00FF);          
0f70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0f80: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
0f90: 20 7d 65 6c 73 65 7b 20 20 20 20 20 20 20 20 20   }else{         
0fa0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0fb0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0fc0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
0fd0: 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28  .    *zOut++ = (
0fe0: 30 78 30 30 44 38 20 2b 20 28 28 28 63 2d 30 78  0x00D8 + (((c-0x
0ff0: 31 30 30 30 30 29 3e 3e 31 38 29 26 30 78 30 33  10000)>>18)&0x03
1000: 29 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  ));             
1010: 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d   \.    *zOut++ =
1020: 20 28 28 28 63 3e 3e 31 30 29 26 30 78 30 30 33   (((c>>10)&0x003
1030: 46 29 20 2b 20 28 28 28 63 2d 30 78 31 30 30 30  F) + (((c-0x1000
1040: 30 29 3e 3e 31 30 29 26 30 78 30 30 43 30 29 29  0)>>10)&0x00C0))
1050: 3b 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b  ;  \.    *zOut++
1060: 20 3d 20 28 30 78 30 30 44 43 20 2b 20 28 28 63   = (0x00DC + ((c
1070: 3e 3e 38 29 26 30 78 30 33 29 29 3b 20 20 20 20  >>8)&0x03));    
1080: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1090: 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74       \.    *zOut
10a0: 2b 2b 20 3d 20 28 63 26 30 78 30 30 46 46 29 3b  ++ = (c&0x00FF);
10b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
10c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
10d0: 20 20 20 20 20 20 20 5c 0a 20 20 7d 20 20 20 20         \.  }    
10e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
10f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1100: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1110: 20 20 20 20 20 20 20 20 20 5c 0a 7d 0a 0a 23 64           \.}..#d
1120: 65 66 69 6e 65 20 52 45 41 44 5f 55 54 46 31 36  efine READ_UTF16
1130: 4c 45 28 7a 49 6e 2c 20 63 29 7b 20 20 20 20 20  LE(zIn, c){     
1140: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1150: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1160: 20 20 20 20 5c 0a 20 20 63 20 3d 20 28 2a 7a 49      \.  c = (*zI
1170: 6e 2b 2b 29 3b 20 20 20 20 20 20 20 20 20 20 20  n++);           
1180: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1190: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
11a0: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
11b0: 63 20 2b 3d 20 28 28 2a 7a 49 6e 2b 2b 29 3c 3c  c += ((*zIn++)<<
11c0: 38 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  8);             
11d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
11e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
11f0: 20 20 20 20 5c 0a 20 20 69 66 28 20 63 3e 3d 30      \.  if( c>=0
1200: 78 44 38 30 30 20 26 26 20 63 3c 30 78 45 30 30  xD800 && c<0xE00
1210: 30 20 29 7b 20 20 20 20 20 20 20 20 20 20 20 20  0 ){            
1220: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1230: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20             \.   
1240: 20 69 6e 74 20 63 32 20 3d 20 28 2a 7a 49 6e 2b   int c2 = (*zIn+
1250: 2b 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  +);             
1260: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1270: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1280: 20 20 20 5c 0a 20 20 20 20 63 32 20 2b 3d 20 28     \.    c2 += (
1290: 28 2a 7a 49 6e 2b 2b 29 3c 3c 38 29 3b 20 20 20  (*zIn++)<<8);   
12a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
12b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
12c0: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20             \.   
12d0: 20 63 20 3d 20 28 63 32 26 30 78 30 33 46 46 29   c = (c2&0x03FF)
12e0: 20 2b 20 28 28 63 26 30 78 30 30 33 46 29 3c 3c   + ((c&0x003F)<<
12f0: 31 30 29 20 2b 20 28 28 28 63 26 30 78 30 33 43  10) + (((c&0x03C
1300: 30 29 2b 30 78 30 30 34 30 29 3c 3c 31 30 29 3b  0)+0x0040)<<10);
1310: 20 20 20 5c 0a 20 20 20 20 69 66 28 20 28 63 20     \.    if( (c 
1320: 26 20 30 78 46 46 46 46 30 30 30 30 29 3d 3d 30  & 0xFFFF0000)==0
1330: 20 29 20 63 20 3d 20 30 78 46 46 46 44 3b 20 20   ) c = 0xFFFD;  
1340: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1350: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 7d             \.  }
1360: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1370: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1380: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1390: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
13a0: 20 20 20 5c 0a 7d 0a 0a 23 64 65 66 69 6e 65 20     \.}..#define 
13b0: 52 45 41 44 5f 55 54 46 31 36 42 45 28 7a 49 6e  READ_UTF16BE(zIn
13c0: 2c 20 63 29 7b 20 20 20 20 20 20 20 20 20 20 20  , c){           
13d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
13e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
13f0: 20 20 63 20 3d 20 28 28 2a 7a 49 6e 2b 2b 29 3c    c = ((*zIn++)<
1400: 3c 38 29 3b 20 20 20 20 20 20 20 20 20 20 20 20  <8);            
1410: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1420: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1430: 20 20 20 20 20 20 5c 0a 20 20 63 20 2b 3d 20 28        \.  c += (
1440: 2a 7a 49 6e 2b 2b 29 3b 20 20 20 20 20 20 20 20  *zIn++);        
1450: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1460: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1470: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
1480: 20 20 69 66 28 20 63 3e 3d 30 78 44 38 30 30 20    if( c>=0xD800 
1490: 26 26 20 63 3c 30 78 45 30 30 30 20 29 7b 20 20  && c<0xE000 ){  
14a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
14b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
14c0: 20 20 20 20 20 5c 0a 20 20 20 20 69 6e 74 20 63       \.    int c
14d0: 32 20 3d 20 28 28 2a 7a 49 6e 2b 2b 29 3c 3c 38  2 = ((*zIn++)<<8
14e0: 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  );              
14f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1500: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
1510: 20 20 20 63 32 20 2b 3d 20 28 2a 7a 49 6e 2b 2b     c2 += (*zIn++
1520: 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  );              
1530: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1540: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1550: 20 20 20 20 20 5c 0a 20 20 20 20 63 20 3d 20 28       \.    c = (
1560: 63 32 26 30 78 30 33 46 46 29 20 2b 20 28 28 63  c2&0x03FF) + ((c
1570: 26 30 78 30 30 33 46 29 3c 3c 31 30 29 20 2b 20  &0x003F)<<10) + 
1580: 28 28 28 63 26 30 78 30 33 43 30 29 2b 30 78 30  (((c&0x03C0)+0x0
1590: 30 34 30 29 3c 3c 31 30 29 3b 20 20 20 5c 0a 20  040)<<10);   \. 
15a0: 20 20 20 69 66 28 20 28 63 20 26 20 30 78 46 46     if( (c & 0xFF
15b0: 46 46 30 30 30 30 29 3d 3d 30 20 29 20 63 20 3d  FF0000)==0 ) c =
15c0: 20 30 78 46 46 46 44 3b 20 20 20 20 20 20 20 20   0xFFFD;        
15d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
15e0: 20 20 20 20 20 5c 0a 20 20 7d 20 20 20 20 20 20       \.  }      
15f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1600: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1610: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1620: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 7d               \.}
1630: 0a 0a 2f 2a 0a 2a 2a 20 54 72 61 6e 73 6c 61 74  ../*.** Translat
1640: 65 20 61 20 73 69 6e 67 6c 65 20 55 54 46 2d 38  e a single UTF-8
1650: 20 63 68 61 72 61 63 74 65 72 2e 20 20 52 65 74   character.  Ret
1660: 75 72 6e 20 74 68 65 20 75 6e 69 63 6f 64 65 20  urn the unicode 
1670: 76 61 6c 75 65 2e 0a 2a 2a 0a 2a 2a 20 44 75 72  value..**.** Dur
1680: 69 6e 67 20 74 72 61 6e 73 6c 61 74 69 6f 6e 2c  ing translation,
1690: 20 61 73 73 75 6d 65 20 74 68 61 74 20 74 68 65   assume that the
16a0: 20 62 79 74 65 20 74 68 61 74 20 7a 54 65 72 6d   byte that zTerm
16b0: 20 70 6f 69 6e 74 73 0a 2a 2a 20 69 73 20 61 20   points.** is a 
16c0: 30 78 30 30 2e 0a 2a 2a 0a 2a 2a 20 57 72 69 74  0x00..**.** Writ
16d0: 65 20 61 20 70 6f 69 6e 74 65 72 20 74 6f 20 74  e a pointer to t
16e0: 68 65 20 6e 65 78 74 20 75 6e 72 65 61 64 20 62  he next unread b
16f0: 79 74 65 20 62 61 63 6b 20 69 6e 74 6f 20 2a 70  yte back into *p
1700: 7a 4e 65 78 74 2e 0a 2a 2a 0a 2a 2a 20 4e 6f 74  zNext..**.** Not
1710: 65 73 20 4f 6e 20 49 6e 76 61 6c 69 64 20 55 54  es On Invalid UT
1720: 46 2d 38 3a 0a 2a 2a 0a 2a 2a 20 20 2a 20 20 54  F-8:.**.**  *  T
1730: 68 69 73 20 72 6f 75 74 69 6e 65 20 6e 65 76 65  his routine neve
1740: 72 20 61 6c 6c 6f 77 73 20 61 20 37 2d 62 69 74  r allows a 7-bit
1750: 20 63 68 61 72 61 63 74 65 72 20 28 30 78 30 30   character (0x00
1760: 20 74 68 72 6f 75 67 68 20 30 78 37 66 29 20 74   through 0x7f) t
1770: 6f 0a 2a 2a 20 20 20 20 20 62 65 20 65 6e 63 6f  o.**     be enco
1780: 64 65 64 20 61 73 20 61 20 6d 75 6c 74 69 2d 62  ded as a multi-b
1790: 79 74 65 20 63 68 61 72 61 63 74 65 72 2e 20 20  yte character.  
17a0: 41 6e 79 20 6d 75 6c 74 69 2d 62 79 74 65 20 63  Any multi-byte c
17b0: 68 61 72 61 63 74 65 72 20 74 68 61 74 0a 2a 2a  haracter that.**
17c0: 20 20 20 20 20 61 74 74 65 6d 70 74 73 20 74 6f       attempts to
17d0: 20 65 6e 63 6f 64 65 20 61 20 76 61 6c 75 65 20   encode a value 
17e0: 62 65 74 77 65 65 6e 20 30 78 30 30 20 61 6e 64  between 0x00 and
17f0: 20 30 78 37 66 20 69 73 20 72 65 6e 64 65 72 65   0x7f is rendere
1800: 64 20 61 73 20 30 78 66 66 66 64 2e 0a 2a 2a 0a  d as 0xfffd..**.
1810: 2a 2a 20 20 2a 20 20 54 68 69 73 20 72 6f 75 74  **  *  This rout
1820: 69 6e 65 20 6e 65 76 65 72 20 61 6c 6c 6f 77 73  ine never allows
1830: 20 61 20 55 54 46 31 36 20 73 75 72 72 6f 67 61   a UTF16 surroga
1840: 74 65 20 76 61 6c 75 65 20 74 6f 20 62 65 20 65  te value to be e
1850: 6e 63 6f 64 65 64 2e 0a 2a 2a 20 20 20 20 20 49  ncoded..**     I
1860: 66 20 61 20 6d 75 6c 74 69 2d 62 79 74 65 20 63  f a multi-byte c
1870: 68 61 72 61 63 74 65 72 20 61 74 74 65 6d 70 74  haracter attempt
1880: 73 20 74 6f 20 65 6e 63 6f 64 65 20 61 20 76 61  s to encode a va
1890: 6c 75 65 20 62 65 74 77 65 65 6e 0a 2a 2a 20 20  lue between.**  
18a0: 20 20 20 30 78 64 38 30 30 20 61 6e 64 20 30 78     0xd800 and 0x
18b0: 65 30 30 30 20 74 68 65 6e 20 69 74 20 69 73 20  e000 then it is 
18c0: 72 65 6e 64 65 72 65 64 20 61 73 20 30 78 66 66  rendered as 0xff
18d0: 66 64 2e 0a 2a 2a 0a 2a 2a 20 20 2a 20 20 42 79  fd..**.**  *  By
18e0: 74 65 73 20 69 6e 20 74 68 65 20 72 61 6e 67 65  tes in the range
18f0: 20 6f 66 20 30 78 38 30 20 74 68 72 6f 75 67 68   of 0x80 through
1900: 20 30 78 62 66 20 77 68 69 63 68 20 6f 63 63 75   0xbf which occu
1910: 72 20 61 73 20 74 68 65 20 66 69 72 73 74 0a 2a  r as the first.*
1920: 2a 20 20 20 20 20 62 79 74 65 20 6f 66 20 61 20  *     byte of a 
1930: 63 68 61 72 61 63 74 65 72 20 61 72 65 20 69 6e  character are in
1940: 74 65 72 70 72 65 74 65 64 20 61 73 20 73 69 6e  terpreted as sin
1950: 67 6c 65 2d 62 79 74 65 20 63 68 61 72 61 63 74  gle-byte charact
1960: 65 72 73 0a 2a 2a 20 20 20 20 20 61 6e 64 20 72  ers.**     and r
1970: 65 6e 64 65 72 65 64 20 61 73 20 74 68 65 6d 73  endered as thems
1980: 65 6c 76 65 73 20 65 76 65 6e 20 74 68 6f 75 67  elves even thoug
1990: 68 20 74 68 65 79 20 61 72 65 20 74 65 63 68 6e  h they are techn
19a0: 69 63 61 6c 6c 79 0a 2a 2a 20 20 20 20 20 69 6e  ically.**     in
19b0: 76 61 6c 69 64 20 63 68 61 72 61 63 74 65 72 73  valid characters
19c0: 2e 0a 2a 2a 0a 2a 2a 20 20 2a 20 20 54 68 69 73  ..**.**  *  This
19d0: 20 72 6f 75 74 69 6e 65 20 61 63 63 65 70 74 73   routine accepts
19e0: 20 61 6e 20 69 6e 66 69 6e 69 74 65 20 6e 75 6d   an infinite num
19f0: 62 65 72 20 6f 66 20 64 69 66 66 65 72 65 6e 74  ber of different
1a00: 20 55 54 46 38 20 65 6e 63 6f 64 69 6e 67 73 0a   UTF8 encodings.
1a10: 2a 2a 20 20 20 20 20 66 6f 72 20 75 6e 69 63 6f  **     for unico
1a20: 64 65 20 76 61 6c 75 65 73 20 30 78 38 30 20 61  de values 0x80 a
1a30: 6e 64 20 67 72 65 61 74 65 72 2e 20 20 49 74 20  nd greater.  It 
1a40: 64 6f 20 6e 6f 74 20 63 68 61 6e 67 65 20 6f 76  do not change ov
1a50: 65 72 2d 6c 65 6e 67 74 68 0a 2a 2a 20 20 20 20  er-length.**    
1a60: 20 65 6e 63 6f 64 69 6e 67 73 20 74 6f 20 30 78   encodings to 0x
1a70: 66 66 66 64 20 61 73 20 73 6f 6d 65 20 73 79 73  fffd as some sys
1a80: 74 65 6d 73 20 72 65 63 6f 6d 6d 65 6e 64 2e 0a  tems recommend..
1a90: 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 55 74  */.int sqlite3Ut
1aa0: 66 38 52 65 61 64 28 0a 20 20 63 6f 6e 73 74 20  f8Read(.  const 
1ab0: 75 6e 73 69 67 6e 65 64 20 63 68 61 72 20 2a 7a  unsigned char *z
1ac0: 2c 20 20 20 20 20 20 20 20 20 2f 2a 20 46 69 72  ,         /* Fir
1ad0: 73 74 20 62 79 74 65 20 6f 66 20 55 54 46 2d 38  st byte of UTF-8
1ae0: 20 63 68 61 72 61 63 74 65 72 20 2a 2f 0a 20 20   character */.  
1af0: 63 6f 6e 73 74 20 75 6e 73 69 67 6e 65 64 20 63  const unsigned c
1b00: 68 61 72 20 2a 7a 54 65 72 6d 2c 20 20 20 20 20  har *zTerm,     
1b10: 2f 2a 20 50 72 65 74 65 6e 64 20 74 68 69 73 20  /* Pretend this 
1b20: 62 79 74 65 20 69 73 20 30 78 30 30 20 2a 2f 0a  byte is 0x00 */.
1b30: 20 20 63 6f 6e 73 74 20 75 6e 73 69 67 6e 65 64    const unsigned
1b40: 20 63 68 61 72 20 2a 2a 70 7a 4e 65 78 74 20 20   char **pzNext  
1b50: 20 20 2f 2a 20 57 72 69 74 65 20 66 69 72 73 74    /* Write first
1b60: 20 62 79 74 65 20 70 61 73 74 20 55 54 46 2d 38   byte past UTF-8
1b70: 20 63 68 61 72 20 68 65 72 65 20 2a 2f 0a 29 7b   char here */.){
1b80: 0a 20 20 69 6e 74 20 63 20 3d 20 2a 28 7a 2b 2b  .  int c = *(z++
1b90: 29 3b 0a 20 20 69 66 28 20 63 3e 3d 30 78 63 30  );.  if( c>=0xc0
1ba0: 20 29 7b 0a 20 20 20 20 63 20 3d 20 73 71 6c 69   ){.    c = sqli
1bb0: 74 65 33 55 74 66 54 72 61 6e 73 31 5b 63 2d 30  te3UtfTrans1[c-0
1bc0: 78 63 30 5d 3b 0a 20 20 20 20 77 68 69 6c 65 28  xc0];.    while(
1bd0: 20 7a 21 3d 7a 54 65 72 6d 20 26 26 20 28 2a 7a   z!=zTerm && (*z
1be0: 20 26 20 30 78 63 30 29 3d 3d 30 78 38 30 20 29   & 0xc0)==0x80 )
1bf0: 7b 0a 20 20 20 20 20 20 63 20 3d 20 28 63 3c 3c  {.      c = (c<<
1c00: 36 29 20 2b 20 28 30 78 33 66 20 26 20 2a 28 7a  6) + (0x3f & *(z
1c10: 2b 2b 29 29 3b 0a 20 20 20 20 7d 0a 20 20 20 20  ++));.    }.    
1c20: 69 66 28 20 63 3c 30 78 38 30 0a 20 20 20 20 20  if( c<0x80.     
1c30: 20 20 20 7c 7c 20 28 63 26 30 78 46 46 46 46 46     || (c&0xFFFFF
1c40: 38 30 30 29 3d 3d 30 78 44 38 30 30 0a 20 20 20  800)==0xD800.   
1c50: 20 20 20 20 20 7c 7c 20 28 63 26 30 78 46 46 46       || (c&0xFFF
1c60: 46 46 46 46 45 29 3d 3d 30 78 46 46 46 45 20 29  FFFFE)==0xFFFE )
1c70: 7b 20 20 63 20 3d 20 30 78 46 46 46 44 3b 20 7d  {  c = 0xFFFD; }
1c80: 0a 20 20 7d 0a 20 20 2a 70 7a 4e 65 78 74 20 3d  .  }.  *pzNext =
1c90: 20 7a 3b 0a 20 20 72 65 74 75 72 6e 20 63 3b 0a   z;.  return c;.
1ca0: 7d 0a 0a 0a 0a 2f 2a 0a 2a 2a 20 49 66 20 74 68  }..../*.** If th
1cb0: 65 20 54 52 41 4e 53 4c 41 54 45 5f 54 52 41 43  e TRANSLATE_TRAC
1cc0: 45 20 6d 61 63 72 6f 20 69 73 20 64 65 66 69 6e  E macro is defin
1cd0: 65 64 2c 20 74 68 65 20 76 61 6c 75 65 20 6f 66  ed, the value of
1ce0: 20 65 61 63 68 20 4d 65 6d 20 69 73 0a 2a 2a 20   each Mem is.** 
1cf0: 70 72 69 6e 74 65 64 20 6f 6e 20 73 74 64 65 72  printed on stder
1d00: 72 20 6f 6e 20 74 68 65 20 77 61 79 20 69 6e 74  r on the way int
1d10: 6f 20 61 6e 64 20 6f 75 74 20 6f 66 20 73 71 6c  o and out of sql
1d20: 69 74 65 33 56 64 62 65 4d 65 6d 54 72 61 6e 73  ite3VdbeMemTrans
1d30: 6c 61 74 65 28 29 2e 0a 2a 2f 20 0a 2f 2a 20 23  late()..*/ ./* #
1d40: 64 65 66 69 6e 65 20 54 52 41 4e 53 4c 41 54 45  define TRANSLATE
1d50: 5f 54 52 41 43 45 20 31 20 2a 2f 0a 0a 23 69 66  _TRACE 1 */..#if
1d60: 6e 64 65 66 20 53 51 4c 49 54 45 5f 4f 4d 49 54  ndef SQLITE_OMIT
1d70: 5f 55 54 46 31 36 0a 2f 2a 0a 2a 2a 20 54 68 69  _UTF16./*.** Thi
1d80: 73 20 72 6f 75 74 69 6e 65 20 74 72 61 6e 73 66  s routine transf
1d90: 6f 72 6d 73 20 74 68 65 20 69 6e 74 65 72 6e 61  orms the interna
1da0: 6c 20 74 65 78 74 20 65 6e 63 6f 64 69 6e 67 20  l text encoding 
1db0: 75 73 65 64 20 62 79 20 70 4d 65 6d 20 74 6f 0a  used by pMem to.
1dc0: 2a 2a 20 64 65 73 69 72 65 64 45 6e 63 2e 20 49  ** desiredEnc. I
1dd0: 74 20 69 73 20 61 6e 20 65 72 72 6f 72 20 69 66  t is an error if
1de0: 20 74 68 65 20 73 74 72 69 6e 67 20 69 73 20 61   the string is a
1df0: 6c 72 65 61 64 79 20 6f 66 20 74 68 65 20 64 65  lready of the de
1e00: 73 69 72 65 64 0a 2a 2a 20 65 6e 63 6f 64 69 6e  sired.** encodin
1e10: 67 2c 20 6f 72 20 69 66 20 2a 70 4d 65 6d 20 64  g, or if *pMem d
1e20: 6f 65 73 20 6e 6f 74 20 63 6f 6e 74 61 69 6e 20  oes not contain 
1e30: 61 20 73 74 72 69 6e 67 20 76 61 6c 75 65 2e 0a  a string value..
1e40: 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 56 64  */.int sqlite3Vd
1e50: 62 65 4d 65 6d 54 72 61 6e 73 6c 61 74 65 28 4d  beMemTranslate(M
1e60: 65 6d 20 2a 70 4d 65 6d 2c 20 75 38 20 64 65 73  em *pMem, u8 des
1e70: 69 72 65 64 45 6e 63 29 7b 0a 20 20 75 6e 73 69  iredEnc){.  unsi
1e80: 67 6e 65 64 20 63 68 61 72 20 7a 53 68 6f 72 74  gned char zShort
1e90: 5b 4e 42 46 53 5d 3b 20 2f 2a 20 54 65 6d 70 6f  [NBFS]; /* Tempo
1ea0: 72 61 72 79 20 73 68 6f 72 74 20 6f 75 74 70 75  rary short outpu
1eb0: 74 20 62 75 66 66 65 72 20 2a 2f 0a 20 20 69 6e  t buffer */.  in
1ec0: 74 20 6c 65 6e 3b 20 20 20 20 20 20 20 20 20 20  t len;          
1ed0: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 4d 61 78            /* Max
1ee0: 69 6d 75 6d 20 6c 65 6e 67 74 68 20 6f 66 20 6f  imum length of o
1ef0: 75 74 70 75 74 20 73 74 72 69 6e 67 20 69 6e 20  utput string in 
1f00: 62 79 74 65 73 20 2a 2f 0a 20 20 75 6e 73 69 67  bytes */.  unsig
1f10: 6e 65 64 20 63 68 61 72 20 2a 7a 4f 75 74 3b 20  ned char *zOut; 
1f20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1f30: 20 2f 2a 20 4f 75 74 70 75 74 20 62 75 66 66 65   /* Output buffe
1f40: 72 20 2a 2f 0a 20 20 75 6e 73 69 67 6e 65 64 20  r */.  unsigned 
1f50: 63 68 61 72 20 2a 7a 49 6e 3b 20 20 20 20 20 20  char *zIn;      
1f60: 20 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20               /* 
1f70: 49 6e 70 75 74 20 69 74 65 72 61 74 6f 72 20 2a  Input iterator *
1f80: 2f 0a 20 20 75 6e 73 69 67 6e 65 64 20 63 68 61  /.  unsigned cha
1f90: 72 20 2a 7a 54 65 72 6d 3b 20 20 20 20 20 20 20  r *zTerm;       
1fa0: 20 20 20 20 20 20 20 20 20 20 2f 2a 20 45 6e 64            /* End
1fb0: 20 6f 66 20 69 6e 70 75 74 20 2a 2f 0a 20 20 75   of input */.  u
1fc0: 6e 73 69 67 6e 65 64 20 63 68 61 72 20 2a 7a 3b  nsigned char *z;
1fd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1fe0: 20 20 20 20 20 2f 2a 20 4f 75 74 70 75 74 20 69       /* Output i
1ff0: 74 65 72 61 74 6f 72 20 2a 2f 0a 20 20 75 6e 73  terator */.  uns
2000: 69 67 6e 65 64 20 69 6e 74 20 63 3b 0a 0a 20 20  igned int c;..  
2010: 61 73 73 65 72 74 28 20 70 4d 65 6d 2d 3e 64 62  assert( pMem->db
2020: 3d 3d 30 20 7c 7c 20 73 71 6c 69 74 65 33 5f 6d  ==0 || sqlite3_m
2030: 75 74 65 78 5f 68 65 6c 64 28 70 4d 65 6d 2d 3e  utex_held(pMem->
2040: 64 62 2d 3e 6d 75 74 65 78 29 20 29 3b 0a 20 20  db->mutex) );.  
2050: 61 73 73 65 72 74 28 20 70 4d 65 6d 2d 3e 66 6c  assert( pMem->fl
2060: 61 67 73 26 4d 45 4d 5f 53 74 72 20 29 3b 0a 20  ags&MEM_Str );. 
2070: 20 61 73 73 65 72 74 28 20 70 4d 65 6d 2d 3e 65   assert( pMem->e
2080: 6e 63 21 3d 64 65 73 69 72 65 64 45 6e 63 20 29  nc!=desiredEnc )
2090: 3b 0a 20 20 61 73 73 65 72 74 28 20 70 4d 65 6d  ;.  assert( pMem
20a0: 2d 3e 65 6e 63 21 3d 30 20 29 3b 0a 20 20 61 73  ->enc!=0 );.  as
20b0: 73 65 72 74 28 20 70 4d 65 6d 2d 3e 6e 3e 3d 30  sert( pMem->n>=0
20c0: 20 29 3b 0a 0a 23 69 66 20 64 65 66 69 6e 65 64   );..#if defined
20d0: 28 54 52 41 4e 53 4c 41 54 45 5f 54 52 41 43 45  (TRANSLATE_TRACE
20e0: 29 20 26 26 20 64 65 66 69 6e 65 64 28 53 51 4c  ) && defined(SQL
20f0: 49 54 45 5f 44 45 42 55 47 29 0a 20 20 7b 0a 20  ITE_DEBUG).  {. 
2100: 20 20 20 63 68 61 72 20 7a 42 75 66 5b 31 30 30     char zBuf[100
2110: 5d 3b 0a 20 20 20 20 73 71 6c 69 74 65 33 56 64  ];.    sqlite3Vd
2120: 62 65 4d 65 6d 50 72 65 74 74 79 50 72 69 6e 74  beMemPrettyPrint
2130: 28 70 4d 65 6d 2c 20 7a 42 75 66 29 3b 0a 20 20  (pMem, zBuf);.  
2140: 20 20 66 70 72 69 6e 74 66 28 73 74 64 65 72 72    fprintf(stderr
2150: 2c 20 22 49 4e 50 55 54 3a 20 20 25 73 5c 6e 22  , "INPUT:  %s\n"
2160: 2c 20 7a 42 75 66 29 3b 0a 20 20 7d 0a 23 65 6e  , zBuf);.  }.#en
2170: 64 69 66 0a 0a 20 20 2f 2a 20 49 66 20 74 68 65  dif..  /* If the
2180: 20 74 72 61 6e 73 6c 61 74 69 6f 6e 20 69 73 20   translation is 
2190: 62 65 74 77 65 65 6e 20 55 54 46 2d 31 36 20 6c  between UTF-16 l
21a0: 69 74 74 6c 65 20 61 6e 64 20 62 69 67 20 65 6e  ittle and big en
21b0: 64 69 61 6e 2c 20 74 68 65 6e 20 0a 20 20 2a 2a  dian, then .  **
21c0: 20 61 6c 6c 20 74 68 61 74 20 69 73 20 72 65 71   all that is req
21d0: 75 69 72 65 64 20 69 73 20 74 6f 20 73 77 61 70  uired is to swap
21e0: 20 74 68 65 20 62 79 74 65 20 6f 72 64 65 72 2e   the byte order.
21f0: 20 54 68 69 73 20 63 61 73 65 20 69 73 20 68 61   This case is ha
2200: 6e 64 6c 65 64 0a 20 20 2a 2a 20 64 69 66 66 65  ndled.  ** diffe
2210: 72 65 6e 74 6c 79 20 66 72 6f 6d 20 74 68 65 20  rently from the 
2220: 6f 74 68 65 72 73 2e 0a 20 20 2a 2f 0a 20 20 69  others..  */.  i
2230: 66 28 20 70 4d 65 6d 2d 3e 65 6e 63 21 3d 53 51  f( pMem->enc!=SQ
2240: 4c 49 54 45 5f 55 54 46 38 20 26 26 20 64 65 73  LITE_UTF8 && des
2250: 69 72 65 64 45 6e 63 21 3d 53 51 4c 49 54 45 5f  iredEnc!=SQLITE_
2260: 55 54 46 38 20 29 7b 0a 20 20 20 20 75 38 20 74  UTF8 ){.    u8 t
2270: 65 6d 70 3b 0a 20 20 20 20 69 6e 74 20 72 63 3b  emp;.    int rc;
2280: 0a 20 20 20 20 72 63 20 3d 20 73 71 6c 69 74 65  .    rc = sqlite
2290: 33 56 64 62 65 4d 65 6d 4d 61 6b 65 57 72 69 74  3VdbeMemMakeWrit
22a0: 65 61 62 6c 65 28 70 4d 65 6d 29 3b 0a 20 20 20  eable(pMem);.   
22b0: 20 69 66 28 20 72 63 21 3d 53 51 4c 49 54 45 5f   if( rc!=SQLITE_
22c0: 4f 4b 20 29 7b 0a 20 20 20 20 20 20 61 73 73 65  OK ){.      asse
22d0: 72 74 28 20 72 63 3d 3d 53 51 4c 49 54 45 5f 4e  rt( rc==SQLITE_N
22e0: 4f 4d 45 4d 20 29 3b 0a 20 20 20 20 20 20 72 65  OMEM );.      re
22f0: 74 75 72 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d 45  turn SQLITE_NOME
2300: 4d 3b 0a 20 20 20 20 7d 0a 20 20 20 20 7a 49 6e  M;.    }.    zIn
2310: 20 3d 20 28 75 38 2a 29 70 4d 65 6d 2d 3e 7a 3b   = (u8*)pMem->z;
2320: 0a 20 20 20 20 7a 54 65 72 6d 20 3d 20 26 7a 49  .    zTerm = &zI
2330: 6e 5b 70 4d 65 6d 2d 3e 6e 5d 3b 0a 20 20 20 20  n[pMem->n];.    
2340: 77 68 69 6c 65 28 20 7a 49 6e 3c 7a 54 65 72 6d  while( zIn<zTerm
2350: 20 29 7b 0a 20 20 20 20 20 20 74 65 6d 70 20 3d   ){.      temp =
2360: 20 2a 7a 49 6e 3b 0a 20 20 20 20 20 20 2a 7a 49   *zIn;.      *zI
2370: 6e 20 3d 20 2a 28 7a 49 6e 2b 31 29 3b 0a 20 20  n = *(zIn+1);.  
2380: 20 20 20 20 7a 49 6e 2b 2b 3b 0a 20 20 20 20 20      zIn++;.     
2390: 20 2a 7a 49 6e 2b 2b 20 3d 20 74 65 6d 70 3b 0a   *zIn++ = temp;.
23a0: 20 20 20 20 7d 0a 20 20 20 20 70 4d 65 6d 2d 3e      }.    pMem->
23b0: 65 6e 63 20 3d 20 64 65 73 69 72 65 64 45 6e 63  enc = desiredEnc
23c0: 3b 0a 20 20 20 20 67 6f 74 6f 20 74 72 61 6e 73  ;.    goto trans
23d0: 6c 61 74 65 5f 6f 75 74 3b 0a 20 20 7d 0a 0a 20  late_out;.  }.. 
23e0: 20 2f 2a 20 53 65 74 20 6c 65 6e 20 74 6f 20 74   /* Set len to t
23f0: 68 65 20 6d 61 78 69 6d 75 6d 20 6e 75 6d 62 65  he maximum numbe
2400: 72 20 6f 66 20 62 79 74 65 73 20 72 65 71 75 69  r of bytes requi
2410: 72 65 64 20 69 6e 20 74 68 65 20 6f 75 74 70 75  red in the outpu
2420: 74 20 62 75 66 66 65 72 2e 20 2a 2f 0a 20 20 69  t buffer. */.  i
2430: 66 28 20 64 65 73 69 72 65 64 45 6e 63 3d 3d 53  f( desiredEnc==S
2440: 51 4c 49 54 45 5f 55 54 46 38 20 29 7b 0a 20 20  QLITE_UTF8 ){.  
2450: 20 20 2f 2a 20 57 68 65 6e 20 63 6f 6e 76 65 72    /* When conver
2460: 74 69 6e 67 20 66 72 6f 6d 20 55 54 46 2d 31 36  ting from UTF-16
2470: 2c 20 74 68 65 20 6d 61 78 69 6d 75 6d 20 67 72  , the maximum gr
2480: 6f 77 74 68 20 72 65 73 75 6c 74 73 20 66 72 6f  owth results fro
2490: 6d 0a 20 20 20 20 2a 2a 20 74 72 61 6e 73 6c 61  m.    ** transla
24a0: 74 69 6e 67 20 61 20 32 2d 62 79 74 65 20 63 68  ting a 2-byte ch
24b0: 61 72 61 63 74 65 72 20 74 6f 20 61 20 34 2d 62  aracter to a 4-b
24c0: 79 74 65 20 55 54 46 2d 38 20 63 68 61 72 61 63  yte UTF-8 charac
24d0: 74 65 72 2e 0a 20 20 20 20 2a 2a 20 41 20 73 69  ter..    ** A si
24e0: 6e 67 6c 65 20 62 79 74 65 20 69 73 20 72 65 71  ngle byte is req
24f0: 75 69 72 65 64 20 66 6f 72 20 74 68 65 20 6f 75  uired for the ou
2500: 74 70 75 74 20 73 74 72 69 6e 67 0a 20 20 20 20  tput string.    
2510: 2a 2a 20 6e 75 6c 2d 74 65 72 6d 69 6e 61 74 6f  ** nul-terminato
2520: 72 2e 0a 20 20 20 20 2a 2f 0a 20 20 20 20 6c 65  r..    */.    le
2530: 6e 20 3d 20 70 4d 65 6d 2d 3e 6e 20 2a 20 32 20  n = pMem->n * 2 
2540: 2b 20 31 3b 0a 20 20 7d 65 6c 73 65 7b 0a 20 20  + 1;.  }else{.  
2550: 20 20 2f 2a 20 57 68 65 6e 20 63 6f 6e 76 65 72    /* When conver
2560: 74 69 6e 67 20 66 72 6f 6d 20 55 54 46 2d 38 20  ting from UTF-8 
2570: 74 6f 20 55 54 46 2d 31 36 20 74 68 65 20 6d 61  to UTF-16 the ma
2580: 78 69 6d 75 6d 20 67 72 6f 77 74 68 20 69 73 20  ximum growth is 
2590: 63 61 75 73 65 64 0a 20 20 20 20 2a 2a 20 77 68  caused.    ** wh
25a0: 65 6e 20 61 20 31 2d 62 79 74 65 20 55 54 46 2d  en a 1-byte UTF-
25b0: 38 20 63 68 61 72 61 63 74 65 72 20 69 73 20 74  8 character is t
25c0: 72 61 6e 73 6c 61 74 65 64 20 69 6e 74 6f 20 61  ranslated into a
25d0: 20 32 2d 62 79 74 65 20 55 54 46 2d 31 36 0a 20   2-byte UTF-16. 
25e0: 20 20 20 2a 2a 20 63 68 61 72 61 63 74 65 72 2e     ** character.
25f0: 20 54 77 6f 20 62 79 74 65 73 20 61 72 65 20 72   Two bytes are r
2600: 65 71 75 69 72 65 64 20 69 6e 20 74 68 65 20 6f  equired in the o
2610: 75 74 70 75 74 20 62 75 66 66 65 72 20 66 6f 72  utput buffer for
2620: 20 74 68 65 0a 20 20 20 20 2a 2a 20 6e 75 6c 2d   the.    ** nul-
2630: 74 65 72 6d 69 6e 61 74 6f 72 2e 0a 20 20 20 20  terminator..    
2640: 2a 2f 0a 20 20 20 20 6c 65 6e 20 3d 20 70 4d 65  */.    len = pMe
2650: 6d 2d 3e 6e 20 2a 20 32 20 2b 20 32 3b 0a 20 20  m->n * 2 + 2;.  
2660: 7d 0a 0a 20 20 2f 2a 20 53 65 74 20 7a 49 6e 20  }..  /* Set zIn 
2670: 74 6f 20 70 6f 69 6e 74 20 61 74 20 74 68 65 20  to point at the 
2680: 73 74 61 72 74 20 6f 66 20 74 68 65 20 69 6e 70  start of the inp
2690: 75 74 20 62 75 66 66 65 72 20 61 6e 64 20 7a 54  ut buffer and zT
26a0: 65 72 6d 20 74 6f 20 70 6f 69 6e 74 20 31 0a 20  erm to point 1. 
26b0: 20 2a 2a 20 62 79 74 65 20 70 61 73 74 20 74 68   ** byte past th
26c0: 65 20 65 6e 64 2e 0a 20 20 2a 2a 0a 20 20 2a 2a  e end..  **.  **
26d0: 20 56 61 72 69 61 62 6c 65 20 7a 4f 75 74 20 69   Variable zOut i
26e0: 73 20 73 65 74 20 74 6f 20 70 6f 69 6e 74 20 61  s set to point a
26f0: 74 20 74 68 65 20 6f 75 74 70 75 74 20 62 75 66  t the output buf
2700: 66 65 72 2e 20 54 68 69 73 20 6d 61 79 20 62 65  fer. This may be
2710: 20 73 70 61 63 65 0a 20 20 2a 2a 20 6f 62 74 61   space.  ** obta
2720: 69 6e 65 64 20 66 72 6f 6d 20 73 71 6c 69 74 65  ined from sqlite
2730: 33 5f 6d 61 6c 6c 6f 63 28 29 2c 20 6f 72 20 4d  3_malloc(), or M
2740: 65 6d 2e 7a 53 68 6f 72 74 2c 20 69 66 20 69 74  em.zShort, if it
2750: 20 6c 61 72 67 65 20 65 6e 6f 75 67 68 20 61 6e   large enough an
2760: 64 0a 20 20 2a 2a 20 6e 6f 74 20 69 6e 20 75 73  d.  ** not in us
2770: 65 2c 20 6f 72 20 74 68 65 20 7a 53 68 6f 72 74  e, or the zShort
2780: 20 61 72 72 61 79 20 6f 6e 20 74 68 65 20 73 74   array on the st
2790: 61 63 6b 20 28 73 65 65 20 61 62 6f 76 65 29 2e  ack (see above).
27a0: 0a 20 20 2a 2f 0a 20 20 7a 49 6e 20 3d 20 28 75  .  */.  zIn = (u
27b0: 38 2a 29 70 4d 65 6d 2d 3e 7a 3b 0a 20 20 7a 54  8*)pMem->z;.  zT
27c0: 65 72 6d 20 3d 20 26 7a 49 6e 5b 70 4d 65 6d 2d  erm = &zIn[pMem-
27d0: 3e 6e 5d 3b 0a 20 20 69 66 28 20 6c 65 6e 3e 4e  >n];.  if( len>N
27e0: 42 46 53 20 29 7b 0a 20 20 20 20 7a 4f 75 74 20  BFS ){.    zOut 
27f0: 3d 20 73 71 6c 69 74 65 33 44 62 4d 61 6c 6c 6f  = sqlite3DbMallo
2800: 63 52 61 77 28 70 4d 65 6d 2d 3e 64 62 2c 20 6c  cRaw(pMem->db, l
2810: 65 6e 29 3b 0a 20 20 20 20 69 66 28 20 21 7a 4f  en);.    if( !zO
2820: 75 74 20 29 7b 0a 20 20 20 20 20 20 72 65 74 75  ut ){.      retu
2830: 72 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d 3b  rn SQLITE_NOMEM;
2840: 0a 20 20 20 20 7d 0a 20 20 7d 65 6c 73 65 7b 0a  .    }.  }else{.
2850: 20 20 20 20 7a 4f 75 74 20 3d 20 7a 53 68 6f 72      zOut = zShor
2860: 74 3b 0a 20 20 7d 0a 20 20 7a 20 3d 20 7a 4f 75  t;.  }.  z = zOu
2870: 74 3b 0a 0a 20 20 69 66 28 20 70 4d 65 6d 2d 3e  t;..  if( pMem->
2880: 65 6e 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46 38  enc==SQLITE_UTF8
2890: 20 29 7b 0a 20 20 20 20 69 66 28 20 64 65 73 69   ){.    if( desi
28a0: 72 65 64 45 6e 63 3d 3d 53 51 4c 49 54 45 5f 55  redEnc==SQLITE_U
28b0: 54 46 31 36 4c 45 20 29 7b 0a 20 20 20 20 20 20  TF16LE ){.      
28c0: 2f 2a 20 55 54 46 2d 38 20 2d 3e 20 55 54 46 2d  /* UTF-8 -> UTF-
28d0: 31 36 20 4c 69 74 74 6c 65 2d 65 6e 64 69 61 6e  16 Little-endian
28e0: 20 2a 2f 0a 20 20 20 20 20 20 77 68 69 6c 65 28   */.      while(
28f0: 20 7a 49 6e 3c 7a 54 65 72 6d 20 29 7b 0a 20 20   zIn<zTerm ){.  
2900: 20 20 20 20 20 20 63 20 3d 20 73 71 6c 69 74 65        c = sqlite
2910: 33 55 74 66 38 52 65 61 64 28 7a 49 6e 2c 20 7a  3Utf8Read(zIn, z
2920: 54 65 72 6d 2c 20 28 63 6f 6e 73 74 20 75 38 2a  Term, (const u8*
2930: 2a 29 26 7a 49 6e 29 3b 0a 20 20 20 20 20 20 20  *)&zIn);.       
2940: 20 57 52 49 54 45 5f 55 54 46 31 36 4c 45 28 7a   WRITE_UTF16LE(z
2950: 2c 20 63 29 3b 0a 20 20 20 20 20 20 7d 0a 20 20  , c);.      }.  
2960: 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 20 20 61    }else{.      a
2970: 73 73 65 72 74 28 20 64 65 73 69 72 65 64 45 6e  ssert( desiredEn
2980: 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46 31 36 42  c==SQLITE_UTF16B
2990: 45 20 29 3b 0a 20 20 20 20 20 20 2f 2a 20 55 54  E );.      /* UT
29a0: 46 2d 38 20 2d 3e 20 55 54 46 2d 31 36 20 42 69  F-8 -> UTF-16 Bi
29b0: 67 2d 65 6e 64 69 61 6e 20 2a 2f 0a 20 20 20 20  g-endian */.    
29c0: 20 20 77 68 69 6c 65 28 20 7a 49 6e 3c 7a 54 65    while( zIn<zTe
29d0: 72 6d 20 29 7b 0a 20 20 20 20 20 20 20 20 63 20  rm ){.        c 
29e0: 3d 20 73 71 6c 69 74 65 33 55 74 66 38 52 65 61  = sqlite3Utf8Rea
29f0: 64 28 7a 49 6e 2c 20 7a 54 65 72 6d 2c 20 28 63  d(zIn, zTerm, (c
2a00: 6f 6e 73 74 20 75 38 2a 2a 29 26 7a 49 6e 29 3b  onst u8**)&zIn);
2a10: 0a 20 20 20 20 20 20 20 20 57 52 49 54 45 5f 55  .        WRITE_U
2a20: 54 46 31 36 42 45 28 7a 2c 20 63 29 3b 0a 20 20  TF16BE(z, c);.  
2a30: 20 20 20 20 7d 0a 20 20 20 20 7d 0a 20 20 20 20      }.    }.    
2a40: 70 4d 65 6d 2d 3e 6e 20 3d 20 7a 20 2d 20 7a 4f  pMem->n = z - zO
2a50: 75 74 3b 0a 20 20 20 20 2a 7a 2b 2b 20 3d 20 30  ut;.    *z++ = 0
2a60: 3b 0a 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 61  ;.  }else{.    a
2a70: 73 73 65 72 74 28 20 64 65 73 69 72 65 64 45 6e  ssert( desiredEn
2a80: 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46 38 20 29  c==SQLITE_UTF8 )
2a90: 3b 0a 20 20 20 20 69 66 28 20 70 4d 65 6d 2d 3e  ;.    if( pMem->
2aa0: 65 6e 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46 31  enc==SQLITE_UTF1
2ab0: 36 4c 45 20 29 7b 0a 20 20 20 20 20 20 2f 2a 20  6LE ){.      /* 
2ac0: 55 54 46 2d 31 36 20 4c 69 74 74 6c 65 2d 65 6e  UTF-16 Little-en
2ad0: 64 69 61 6e 20 2d 3e 20 55 54 46 2d 38 20 2a 2f  dian -> UTF-8 */
2ae0: 0a 20 20 20 20 20 20 77 68 69 6c 65 28 20 7a 49  .      while( zI
2af0: 6e 3c 7a 54 65 72 6d 20 29 7b 0a 20 20 20 20 20  n<zTerm ){.     
2b00: 20 20 20 52 45 41 44 5f 55 54 46 31 36 4c 45 28     READ_UTF16LE(
2b10: 7a 49 6e 2c 20 63 29 3b 20 0a 20 20 20 20 20 20  zIn, c); .      
2b20: 20 20 57 52 49 54 45 5f 55 54 46 38 28 7a 2c 20    WRITE_UTF8(z, 
2b30: 63 29 3b 0a 20 20 20 20 20 20 7d 0a 20 20 20 20  c);.      }.    
2b40: 7d 65 6c 73 65 7b 0a 20 20 20 20 20 20 2f 2a 20  }else{.      /* 
2b50: 55 54 46 2d 31 36 20 4c 69 74 74 6c 65 2d 65 6e  UTF-16 Little-en
2b60: 64 69 61 6e 20 2d 3e 20 55 54 46 2d 38 20 2a 2f  dian -> UTF-8 */
2b70: 0a 20 20 20 20 20 20 77 68 69 6c 65 28 20 7a 49  .      while( zI
2b80: 6e 3c 7a 54 65 72 6d 20 29 7b 0a 20 20 20 20 20  n<zTerm ){.     
2b90: 20 20 20 52 45 41 44 5f 55 54 46 31 36 42 45 28     READ_UTF16BE(
2ba0: 7a 49 6e 2c 20 63 29 3b 20 0a 20 20 20 20 20 20  zIn, c); .      
2bb0: 20 20 57 52 49 54 45 5f 55 54 46 38 28 7a 2c 20    WRITE_UTF8(z, 
2bc0: 63 29 3b 0a 20 20 20 20 20 20 7d 0a 20 20 20 20  c);.      }.    
2bd0: 7d 0a 20 20 20 20 70 4d 65 6d 2d 3e 6e 20 3d 20  }.    pMem->n = 
2be0: 7a 20 2d 20 7a 4f 75 74 3b 0a 20 20 7d 0a 20 20  z - zOut;.  }.  
2bf0: 2a 7a 20 3d 20 30 3b 0a 20 20 61 73 73 65 72 74  *z = 0;.  assert
2c00: 28 20 28 70 4d 65 6d 2d 3e 6e 2b 28 64 65 73 69  ( (pMem->n+(desi
2c10: 72 65 64 45 6e 63 3d 3d 53 51 4c 49 54 45 5f 55  redEnc==SQLITE_U
2c20: 54 46 38 3f 31 3a 32 29 29 3c 3d 6c 65 6e 20 29  TF8?1:2))<=len )
2c30: 3b 0a 0a 20 20 73 71 6c 69 74 65 33 56 64 62 65  ;..  sqlite3Vdbe
2c40: 4d 65 6d 52 65 6c 65 61 73 65 28 70 4d 65 6d 29  MemRelease(pMem)
2c50: 3b 0a 20 20 70 4d 65 6d 2d 3e 66 6c 61 67 73 20  ;.  pMem->flags 
2c60: 26 3d 20 7e 28 4d 45 4d 5f 53 74 61 74 69 63 7c  &= ~(MEM_Static|
2c70: 4d 45 4d 5f 44 79 6e 7c 4d 45 4d 5f 45 70 68 65  MEM_Dyn|MEM_Ephe
2c80: 6d 7c 4d 45 4d 5f 53 68 6f 72 74 29 3b 0a 20 20  m|MEM_Short);.  
2c90: 70 4d 65 6d 2d 3e 65 6e 63 20 3d 20 64 65 73 69  pMem->enc = desi
2ca0: 72 65 64 45 6e 63 3b 0a 20 20 69 66 28 20 7a 4f  redEnc;.  if( zO
2cb0: 75 74 3d 3d 7a 53 68 6f 72 74 20 29 7b 0a 20 20  ut==zShort ){.  
2cc0: 20 20 6d 65 6d 63 70 79 28 70 4d 65 6d 2d 3e 7a    memcpy(pMem->z
2cd0: 53 68 6f 72 74 2c 20 7a 4f 75 74 2c 20 6c 65 6e  Short, zOut, len
2ce0: 29 3b 0a 20 20 20 20 7a 4f 75 74 20 3d 20 28 75  );.    zOut = (u
2cf0: 38 2a 29 70 4d 65 6d 2d 3e 7a 53 68 6f 72 74 3b  8*)pMem->zShort;
2d00: 0a 20 20 20 20 70 4d 65 6d 2d 3e 66 6c 61 67 73  .    pMem->flags
2d10: 20 7c 3d 20 28 4d 45 4d 5f 54 65 72 6d 7c 4d 45   |= (MEM_Term|ME
2d20: 4d 5f 53 68 6f 72 74 29 3b 0a 20 20 7d 65 6c 73  M_Short);.  }els
2d30: 65 7b 0a 20 20 20 20 70 4d 65 6d 2d 3e 66 6c 61  e{.    pMem->fla
2d40: 67 73 20 7c 3d 20 28 4d 45 4d 5f 54 65 72 6d 7c  gs |= (MEM_Term|
2d50: 4d 45 4d 5f 44 79 6e 29 3b 0a 20 20 7d 0a 20 20  MEM_Dyn);.  }.  
2d60: 70 4d 65 6d 2d 3e 7a 20 3d 20 28 63 68 61 72 2a  pMem->z = (char*
2d70: 29 7a 4f 75 74 3b 0a 0a 74 72 61 6e 73 6c 61 74  )zOut;..translat
2d80: 65 5f 6f 75 74 3a 0a 23 69 66 20 64 65 66 69 6e  e_out:.#if defin
2d90: 65 64 28 54 52 41 4e 53 4c 41 54 45 5f 54 52 41  ed(TRANSLATE_TRA
2da0: 43 45 29 20 26 26 20 64 65 66 69 6e 65 64 28 53  CE) && defined(S
2db0: 51 4c 49 54 45 5f 44 45 42 55 47 29 0a 20 20 7b  QLITE_DEBUG).  {
2dc0: 0a 20 20 20 20 63 68 61 72 20 7a 42 75 66 5b 31  .    char zBuf[1
2dd0: 30 30 5d 3b 0a 20 20 20 20 73 71 6c 69 74 65 33  00];.    sqlite3
2de0: 56 64 62 65 4d 65 6d 50 72 65 74 74 79 50 72 69  VdbeMemPrettyPri
2df0: 6e 74 28 70 4d 65 6d 2c 20 7a 42 75 66 29 3b 0a  nt(pMem, zBuf);.
2e00: 20 20 20 20 66 70 72 69 6e 74 66 28 73 74 64 65      fprintf(stde
2e10: 72 72 2c 20 22 4f 55 54 50 55 54 3a 20 25 73 5c  rr, "OUTPUT: %s\
2e20: 6e 22 2c 20 7a 42 75 66 29 3b 0a 20 20 7d 0a 23  n", zBuf);.  }.#
2e30: 65 6e 64 69 66 0a 20 20 72 65 74 75 72 6e 20 53  endif.  return S
2e40: 51 4c 49 54 45 5f 4f 4b 3b 0a 7d 0a 0a 2f 2a 0a  QLITE_OK;.}../*.
2e50: 2a 2a 20 54 68 69 73 20 72 6f 75 74 69 6e 65 20  ** This routine 
2e60: 63 68 65 63 6b 73 20 66 6f 72 20 61 20 62 79 74  checks for a byt
2e70: 65 2d 6f 72 64 65 72 20 6d 61 72 6b 20 61 74 20  e-order mark at 
2e80: 74 68 65 20 62 65 67 69 6e 6e 69 6e 67 20 6f 66  the beginning of
2e90: 20 74 68 65 20 0a 2a 2a 20 55 54 46 2d 31 36 20   the .** UTF-16 
2ea0: 73 74 72 69 6e 67 20 73 74 6f 72 65 64 20 69 6e  string stored in
2eb0: 20 2a 70 4d 65 6d 2e 20 49 66 20 6f 6e 65 20 69   *pMem. If one i
2ec0: 73 20 70 72 65 73 65 6e 74 2c 20 69 74 20 69 73  s present, it is
2ed0: 20 72 65 6d 6f 76 65 64 20 61 6e 64 0a 2a 2a 20   removed and.** 
2ee0: 74 68 65 20 65 6e 63 6f 64 69 6e 67 20 6f 66 20  the encoding of 
2ef0: 74 68 65 20 4d 65 6d 20 61 64 6a 75 73 74 65 64  the Mem adjusted
2f00: 2e 20 54 68 69 73 20 72 6f 75 74 69 6e 65 20 64  . This routine d
2f10: 6f 65 73 20 6e 6f 74 20 64 6f 20 61 6e 79 0a 2a  oes not do any.*
2f20: 2a 20 62 79 74 65 2d 73 77 61 70 70 69 6e 67 2c  * byte-swapping,
2f30: 20 69 74 20 6a 75 73 74 20 73 65 74 73 20 4d 65   it just sets Me
2f40: 6d 2e 65 6e 63 20 61 70 70 72 6f 70 72 69 61 74  m.enc appropriat
2f50: 65 6c 79 2e 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61  ely..**.** The a
2f60: 6c 6c 6f 63 61 74 69 6f 6e 20 28 73 74 61 74 69  llocation (stati
2f70: 63 2c 20 64 79 6e 61 6d 69 63 20 65 74 63 2e 29  c, dynamic etc.)
2f80: 20 61 6e 64 20 65 6e 63 6f 64 69 6e 67 20 6f 66   and encoding of
2f90: 20 74 68 65 20 4d 65 6d 20 6d 61 79 20 62 65 0a   the Mem may be.
2fa0: 2a 2a 20 63 68 61 6e 67 65 64 20 62 79 20 74 68  ** changed by th
2fb0: 69 73 20 66 75 6e 63 74 69 6f 6e 2e 0a 2a 2f 0a  is function..*/.
2fc0: 69 6e 74 20 73 71 6c 69 74 65 33 56 64 62 65 4d  int sqlite3VdbeM
2fd0: 65 6d 48 61 6e 64 6c 65 42 6f 6d 28 4d 65 6d 20  emHandleBom(Mem 
2fe0: 2a 70 4d 65 6d 29 7b 0a 20 20 69 6e 74 20 72 63  *pMem){.  int rc
2ff0: 20 3d 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 20 20   = SQLITE_OK;.  
3000: 75 38 20 62 6f 6d 20 3d 20 30 3b 0a 0a 20 20 69  u8 bom = 0;..  i
3010: 66 28 20 70 4d 65 6d 2d 3e 6e 3c 30 20 7c 7c 20  f( pMem->n<0 || 
3020: 70 4d 65 6d 2d 3e 6e 3e 31 20 29 7b 0a 20 20 20  pMem->n>1 ){.   
3030: 20 75 38 20 62 31 20 3d 20 2a 28 75 38 20 2a 29   u8 b1 = *(u8 *)
3040: 70 4d 65 6d 2d 3e 7a 3b 0a 20 20 20 20 75 38 20  pMem->z;.    u8 
3050: 62 32 20 3d 20 2a 28 28 28 75 38 20 2a 29 70 4d  b2 = *(((u8 *)pM
3060: 65 6d 2d 3e 7a 29 20 2b 20 31 29 3b 0a 20 20 20  em->z) + 1);.   
3070: 20 69 66 28 20 62 31 3d 3d 30 78 46 45 20 26 26   if( b1==0xFE &&
3080: 20 62 32 3d 3d 30 78 46 46 20 29 7b 0a 20 20 20   b2==0xFF ){.   
3090: 20 20 20 62 6f 6d 20 3d 20 53 51 4c 49 54 45 5f     bom = SQLITE_
30a0: 55 54 46 31 36 42 45 3b 0a 20 20 20 20 7d 0a 20  UTF16BE;.    }. 
30b0: 20 20 20 69 66 28 20 62 31 3d 3d 30 78 46 46 20     if( b1==0xFF 
30c0: 26 26 20 62 32 3d 3d 30 78 46 45 20 29 7b 0a 20  && b2==0xFE ){. 
30d0: 20 20 20 20 20 62 6f 6d 20 3d 20 53 51 4c 49 54       bom = SQLIT
30e0: 45 5f 55 54 46 31 36 4c 45 3b 0a 20 20 20 20 7d  E_UTF16LE;.    }
30f0: 0a 20 20 7d 0a 20 20 0a 20 20 69 66 28 20 62 6f  .  }.  .  if( bo
3100: 6d 20 29 7b 0a 20 20 20 20 2f 2a 20 54 68 69 73  m ){.    /* This
3110: 20 66 75 6e 63 74 69 6f 6e 20 69 73 20 63 61 6c   function is cal
3120: 6c 65 64 20 61 73 20 73 6f 6f 6e 20 61 73 20 61  led as soon as a
3130: 20 73 74 72 69 6e 67 20 69 73 20 73 74 6f 72 65   string is store
3140: 64 20 69 6e 20 61 20 4d 65 6d 2a 2c 0a 20 20 20  d in a Mem*,.   
3150: 20 2a 2a 20 66 72 6f 6d 20 77 69 74 68 69 6e 20   ** from within 
3160: 73 71 6c 69 74 65 33 56 64 62 65 4d 65 6d 53 65  sqlite3VdbeMemSe
3170: 74 53 74 72 28 29 2e 20 41 74 20 74 68 61 74 20  tStr(). At that 
3180: 70 6f 69 6e 74 20 69 74 20 69 73 20 6e 6f 74 20  point it is not 
3190: 70 6f 73 73 69 62 6c 65 0a 20 20 20 20 2a 2a 20  possible.    ** 
31a0: 66 6f 72 20 74 68 65 20 73 74 72 69 6e 67 20 74  for the string t
31b0: 6f 20 62 65 20 73 74 6f 72 65 64 20 69 6e 20 4d  o be stored in M
31c0: 65 6d 2e 7a 53 68 6f 72 74 2c 20 6f 72 20 66 6f  em.zShort, or fo
31d0: 72 20 69 74 20 74 6f 20 62 65 20 73 74 6f 72 65  r it to be store
31e0: 64 0a 20 20 20 20 2a 2a 20 69 6e 20 64 79 6e 61  d.    ** in dyna
31f0: 6d 69 63 20 6d 65 6d 6f 72 79 20 77 69 74 68 20  mic memory with 
3200: 6e 6f 20 64 65 73 74 72 75 63 74 6f 72 2e 0a 20  no destructor.. 
3210: 20 20 20 2a 2f 0a 20 20 20 20 61 73 73 65 72 74     */.    assert
3220: 28 20 21 28 70 4d 65 6d 2d 3e 66 6c 61 67 73 26  ( !(pMem->flags&
3230: 4d 45 4d 5f 53 68 6f 72 74 29 20 29 3b 0a 20 20  MEM_Short) );.  
3240: 20 20 61 73 73 65 72 74 28 20 21 28 70 4d 65 6d    assert( !(pMem
3250: 2d 3e 66 6c 61 67 73 26 4d 45 4d 5f 44 79 6e 29  ->flags&MEM_Dyn)
3260: 20 7c 7c 20 70 4d 65 6d 2d 3e 78 44 65 6c 20 29   || pMem->xDel )
3270: 3b 0a 20 20 20 20 69 66 28 20 70 4d 65 6d 2d 3e  ;.    if( pMem->
3280: 66 6c 61 67 73 20 26 20 4d 45 4d 5f 44 79 6e 20  flags & MEM_Dyn 
3290: 29 7b 0a 20 20 20 20 20 20 76 6f 69 64 20 28 2a  ){.      void (*
32a0: 78 44 65 6c 29 28 76 6f 69 64 2a 29 20 3d 20 70  xDel)(void*) = p
32b0: 4d 65 6d 2d 3e 78 44 65 6c 3b 0a 20 20 20 20 20  Mem->xDel;.     
32c0: 20 63 68 61 72 20 2a 7a 20 3d 20 70 4d 65 6d 2d   char *z = pMem-
32d0: 3e 7a 3b 0a 20 20 20 20 20 20 70 4d 65 6d 2d 3e  >z;.      pMem->
32e0: 7a 20 3d 20 30 3b 0a 20 20 20 20 20 20 70 4d 65  z = 0;.      pMe
32f0: 6d 2d 3e 78 44 65 6c 20 3d 20 30 3b 0a 20 20 20  m->xDel = 0;.   
3300: 20 20 20 72 63 20 3d 20 73 71 6c 69 74 65 33 56     rc = sqlite3V
3310: 64 62 65 4d 65 6d 53 65 74 53 74 72 28 70 4d 65  dbeMemSetStr(pMe
3320: 6d 2c 20 26 7a 5b 32 5d 2c 20 70 4d 65 6d 2d 3e  m, &z[2], pMem->
3330: 6e 2d 32 2c 20 62 6f 6d 2c 20 0a 20 20 20 20 20  n-2, bom, .     
3340: 20 20 20 20 20 53 51 4c 49 54 45 5f 54 52 41 4e       SQLITE_TRAN
3350: 53 49 45 4e 54 29 3b 0a 20 20 20 20 20 20 78 44  SIENT);.      xD
3360: 65 6c 28 7a 29 3b 0a 20 20 20 20 7d 65 6c 73 65  el(z);.    }else
3370: 7b 0a 20 20 20 20 20 20 72 63 20 3d 20 73 71 6c  {.      rc = sql
3380: 69 74 65 33 56 64 62 65 4d 65 6d 53 65 74 53 74  ite3VdbeMemSetSt
3390: 72 28 70 4d 65 6d 2c 20 26 70 4d 65 6d 2d 3e 7a  r(pMem, &pMem->z
33a0: 5b 32 5d 2c 20 70 4d 65 6d 2d 3e 6e 2d 32 2c 20  [2], pMem->n-2, 
33b0: 62 6f 6d 2c 20 0a 20 20 20 20 20 20 20 20 20 20  bom, .          
33c0: 53 51 4c 49 54 45 5f 54 52 41 4e 53 49 45 4e 54  SQLITE_TRANSIENT
33d0: 29 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 72  );.    }.  }.  r
33e0: 65 74 75 72 6e 20 72 63 3b 0a 7d 0a 23 65 6e 64  eturn rc;.}.#end
33f0: 69 66 20 2f 2a 20 53 51 4c 49 54 45 5f 4f 4d 49  if /* SQLITE_OMI
3400: 54 5f 55 54 46 31 36 20 2a 2f 0a 0a 2f 2a 0a 2a  T_UTF16 */../*.*
3410: 2a 20 70 5a 20 69 73 20 61 20 55 54 46 2d 38 20  * pZ is a UTF-8 
3420: 65 6e 63 6f 64 65 64 20 75 6e 69 63 6f 64 65 20  encoded unicode 
3430: 73 74 72 69 6e 67 2e 20 49 66 20 6e 42 79 74 65  string. If nByte
3440: 20 69 73 20 6c 65 73 73 20 74 68 61 6e 20 7a 65   is less than ze
3450: 72 6f 2c 0a 2a 2a 20 72 65 74 75 72 6e 20 74 68  ro,.** return th
3460: 65 20 6e 75 6d 62 65 72 20 6f 66 20 75 6e 69 63  e number of unic
3470: 6f 64 65 20 63 68 61 72 61 63 74 65 72 73 20 69  ode characters i
3480: 6e 20 70 5a 20 75 70 20 74 6f 20 28 62 75 74 20  n pZ up to (but 
3490: 6e 6f 74 20 69 6e 63 6c 75 64 69 6e 67 29 0a 2a  not including).*
34a0: 2a 20 74 68 65 20 66 69 72 73 74 20 30 78 30 30  * the first 0x00
34b0: 20 62 79 74 65 2e 20 49 66 20 6e 42 79 74 65 20   byte. If nByte 
34c0: 69 73 20 6e 6f 74 20 6c 65 73 73 20 74 68 61 6e  is not less than
34d0: 20 7a 65 72 6f 2c 20 72 65 74 75 72 6e 20 74 68   zero, return th
34e0: 65 0a 2a 2a 20 6e 75 6d 62 65 72 20 6f 66 20 75  e.** number of u
34f0: 6e 69 63 6f 64 65 20 63 68 61 72 61 63 74 65 72  nicode character
3500: 73 20 69 6e 20 74 68 65 20 66 69 72 73 74 20 6e  s in the first n
3510: 42 79 74 65 20 6f 66 20 70 5a 20 28 6f 72 20 75  Byte of pZ (or u
3520: 70 20 74 6f 20 0a 2a 2a 20 74 68 65 20 66 69 72  p to .** the fir
3530: 73 74 20 30 78 30 30 2c 20 77 68 69 63 68 65 76  st 0x00, whichev
3540: 65 72 20 63 6f 6d 65 73 20 66 69 72 73 74 29 2e  er comes first).
3550: 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 55  .*/.int sqlite3U
3560: 74 66 38 43 68 61 72 4c 65 6e 28 63 6f 6e 73 74  tf8CharLen(const
3570: 20 63 68 61 72 20 2a 7a 49 6e 2c 20 69 6e 74 20   char *zIn, int 
3580: 6e 42 79 74 65 29 7b 0a 20 20 69 6e 74 20 72 20  nByte){.  int r 
3590: 3d 20 30 3b 0a 20 20 63 6f 6e 73 74 20 75 38 20  = 0;.  const u8 
35a0: 2a 7a 20 3d 20 28 63 6f 6e 73 74 20 75 38 2a 29  *z = (const u8*)
35b0: 7a 49 6e 3b 0a 20 20 63 6f 6e 73 74 20 75 38 20  zIn;.  const u8 
35c0: 2a 7a 54 65 72 6d 3b 0a 20 20 69 66 28 20 6e 42  *zTerm;.  if( nB
35d0: 79 74 65 3e 3d 30 20 29 7b 0a 20 20 20 20 7a 54  yte>=0 ){.    zT
35e0: 65 72 6d 20 3d 20 26 7a 5b 6e 42 79 74 65 5d 3b  erm = &z[nByte];
35f0: 0a 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 7a 54  .  }else{.    zT
3600: 65 72 6d 20 3d 20 28 63 6f 6e 73 74 20 75 38 2a  erm = (const u8*
3610: 29 28 2d 31 29 3b 0a 20 20 7d 0a 20 20 61 73 73  )(-1);.  }.  ass
3620: 65 72 74 28 20 7a 3c 3d 7a 54 65 72 6d 20 29 3b  ert( z<=zTerm );
3630: 0a 20 20 77 68 69 6c 65 28 20 2a 7a 21 3d 30 20  .  while( *z!=0 
3640: 26 26 20 7a 3c 7a 54 65 72 6d 20 29 7b 0a 20 20  && z<zTerm ){.  
3650: 20 20 53 51 4c 49 54 45 5f 53 4b 49 50 5f 55 54    SQLITE_SKIP_UT
3660: 46 38 28 7a 29 3b 0a 20 20 20 20 72 2b 2b 3b 0a  F8(z);.    r++;.
3670: 20 20 7d 0a 20 20 72 65 74 75 72 6e 20 72 3b 0a    }.  return r;.
3680: 7d 0a 0a 2f 2a 20 54 68 69 73 20 74 65 73 74 20  }../* This test 
3690: 66 75 6e 63 74 69 6f 6e 20 69 73 20 6e 6f 74 20  function is not 
36a0: 63 75 72 72 65 6e 74 6c 79 20 75 73 65 64 20 62  currently used b
36b0: 79 20 74 68 65 20 61 75 74 6f 6d 61 74 65 64 20  y the automated 
36c0: 74 65 73 74 2d 73 75 69 74 65 2e 20 0a 2a 2a 20  test-suite. .** 
36d0: 48 65 6e 63 65 20 69 74 20 69 73 20 6f 6e 6c 79  Hence it is only
36e0: 20 61 76 61 69 6c 61 62 6c 65 20 69 6e 20 64 65   available in de
36f0: 62 75 67 20 62 75 69 6c 64 73 2e 0a 2a 2f 0a 23  bug builds..*/.#
3700: 69 66 20 64 65 66 69 6e 65 64 28 53 51 4c 49 54  if defined(SQLIT
3710: 45 5f 54 45 53 54 29 20 26 26 20 64 65 66 69 6e  E_TEST) && defin
3720: 65 64 28 53 51 4c 49 54 45 5f 44 45 42 55 47 29  ed(SQLITE_DEBUG)
3730: 0a 2f 2a 0a 2a 2a 20 54 72 61 6e 73 6c 61 74 65  ./*.** Translate
3740: 20 55 54 46 2d 38 20 74 6f 20 55 54 46 2d 38 2e   UTF-8 to UTF-8.
3750: 0a 2a 2a 0a 2a 2a 20 54 68 69 73 20 68 61 73 20  .**.** This has 
3760: 74 68 65 20 65 66 66 65 63 74 20 6f 66 20 6d 61  the effect of ma
3770: 6b 69 6e 67 20 73 75 72 65 20 74 68 61 74 20 74  king sure that t
3780: 68 65 20 73 74 72 69 6e 67 20 69 73 20 77 65 6c  he string is wel
3790: 6c 2d 66 6f 72 6d 65 64 0a 2a 2a 20 55 54 46 2d  l-formed.** UTF-
37a0: 38 2e 20 20 4d 69 73 63 6f 64 65 64 20 63 68 61  8.  Miscoded cha
37b0: 72 61 63 74 65 72 73 20 61 72 65 20 72 65 6d 6f  racters are remo
37c0: 76 65 64 2e 0a 2a 2a 0a 2a 2a 20 54 68 65 20 74  ved..**.** The t
37d0: 72 61 6e 73 6c 61 74 69 6f 6e 20 69 73 20 64 6f  ranslation is do
37e0: 6e 65 20 69 6e 2d 70 6c 61 63 65 20 28 73 69 6e  ne in-place (sin
37f0: 63 65 20 69 74 20 69 73 20 69 6d 70 6f 73 73 69  ce it is impossi
3800: 62 6c 65 20 66 6f 72 20 74 68 65 0a 2a 2a 20 63  ble for the.** c
3810: 6f 72 72 65 63 74 20 55 54 46 2d 38 20 65 6e 63  orrect UTF-8 enc
3820: 6f 64 69 6e 67 20 74 6f 20 62 65 20 6c 6f 6e 67  oding to be long
3830: 65 72 20 74 68 61 6e 20 61 20 6d 61 6c 66 6f 72  er than a malfor
3840: 6d 65 64 20 65 6e 63 6f 64 69 6e 67 29 2e 0a 2a  med encoding)..*
3850: 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 55 74 66  /.int sqlite3Utf
3860: 38 54 6f 38 28 75 6e 73 69 67 6e 65 64 20 63 68  8To8(unsigned ch
3870: 61 72 20 2a 7a 49 6e 29 7b 0a 20 20 75 6e 73 69  ar *zIn){.  unsi
3880: 67 6e 65 64 20 63 68 61 72 20 2a 7a 4f 75 74 20  gned char *zOut 
3890: 3d 20 7a 49 6e 3b 0a 20 20 75 6e 73 69 67 6e 65  = zIn;.  unsigne
38a0: 64 20 63 68 61 72 20 2a 7a 53 74 61 72 74 20 3d  d char *zStart =
38b0: 20 7a 49 6e 3b 0a 20 20 75 6e 73 69 67 6e 65 64   zIn;.  unsigned
38c0: 20 63 68 61 72 20 2a 7a 54 65 72 6d 3b 0a 20 20   char *zTerm;.  
38d0: 75 33 32 20 63 3b 0a 0a 20 20 77 68 69 6c 65 28  u32 c;..  while(
38e0: 20 7a 49 6e 5b 30 5d 20 29 7b 0a 20 20 20 20 63   zIn[0] ){.    c
38f0: 20 3d 20 73 71 6c 69 74 65 33 55 74 66 38 52 65   = sqlite3Utf8Re
3900: 61 64 28 7a 49 6e 2c 20 7a 54 65 72 6d 2c 20 28  ad(zIn, zTerm, (
3910: 63 6f 6e 73 74 20 75 38 2a 2a 29 26 7a 49 6e 29  const u8**)&zIn)
3920: 3b 0a 20 20 20 20 69 66 28 20 63 21 3d 30 78 66  ;.    if( c!=0xf
3930: 66 66 64 20 29 7b 0a 20 20 20 20 20 20 57 52 49  ffd ){.      WRI
3940: 54 45 5f 55 54 46 38 28 7a 4f 75 74 2c 20 63 29  TE_UTF8(zOut, c)
3950: 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 2a 7a  ;.    }.  }.  *z
3960: 4f 75 74 20 3d 20 30 3b 0a 20 20 72 65 74 75 72  Out = 0;.  retur
3970: 6e 20 7a 4f 75 74 20 2d 20 7a 53 74 61 72 74 3b  n zOut - zStart;
3980: 0a 7d 0a 23 65 6e 64 69 66 0a 0a 23 69 66 6e 64  .}.#endif..#ifnd
3990: 65 66 20 53 51 4c 49 54 45 5f 4f 4d 49 54 5f 55  ef SQLITE_OMIT_U
39a0: 54 46 31 36 0a 2f 2a 0a 2a 2a 20 43 6f 6e 76 65  TF16./*.** Conve
39b0: 72 74 20 61 20 55 54 46 2d 31 36 20 73 74 72 69  rt a UTF-16 stri
39c0: 6e 67 20 69 6e 20 74 68 65 20 6e 61 74 69 76 65  ng in the native
39d0: 20 65 6e 63 6f 64 69 6e 67 20 69 6e 74 6f 20 61   encoding into a
39e0: 20 55 54 46 2d 38 20 73 74 72 69 6e 67 2e 0a 2a   UTF-8 string..*
39f0: 2a 20 4d 65 6d 6f 72 79 20 74 6f 20 68 6f 6c 64  * Memory to hold
3a00: 20 74 68 65 20 55 54 46 2d 38 20 73 74 72 69 6e   the UTF-8 strin
3a10: 67 20 69 73 20 6f 62 74 61 69 6e 65 64 20 66 72  g is obtained fr
3a20: 6f 6d 20 73 71 6c 69 74 65 33 5f 6d 61 6c 6c 6f  om sqlite3_mallo
3a30: 63 20 61 6e 64 20 6d 75 73 74 0a 2a 2a 20 62 65  c and must.** be
3a40: 20 66 72 65 65 64 20 62 79 20 74 68 65 20 63 61   freed by the ca
3a50: 6c 6c 69 6e 67 20 66 75 6e 63 74 69 6f 6e 2e 0a  lling function..
3a60: 2a 2a 0a 2a 2a 20 4e 55 4c 4c 20 69 73 20 72 65  **.** NULL is re
3a70: 74 75 72 6e 65 64 20 69 66 20 74 68 65 72 65 20  turned if there 
3a80: 69 73 20 61 6e 20 61 6c 6c 6f 63 61 74 69 6f 6e  is an allocation
3a90: 20 65 72 72 6f 72 2e 0a 2a 2f 0a 63 68 61 72 20   error..*/.char 
3aa0: 2a 73 71 6c 69 74 65 33 55 74 66 31 36 74 6f 38  *sqlite3Utf16to8
3ab0: 28 73 71 6c 69 74 65 33 20 2a 64 62 2c 20 63 6f  (sqlite3 *db, co
3ac0: 6e 73 74 20 76 6f 69 64 20 2a 7a 2c 20 69 6e 74  nst void *z, int
3ad0: 20 6e 42 79 74 65 29 7b 0a 20 20 4d 65 6d 20 6d   nByte){.  Mem m
3ae0: 3b 0a 20 20 6d 65 6d 73 65 74 28 26 6d 2c 20 30  ;.  memset(&m, 0
3af0: 2c 20 73 69 7a 65 6f 66 28 6d 29 29 3b 0a 20 20  , sizeof(m));.  
3b00: 6d 2e 64 62 20 3d 20 64 62 3b 0a 20 20 73 71 6c  m.db = db;.  sql
3b10: 69 74 65 33 56 64 62 65 4d 65 6d 53 65 74 53 74  ite3VdbeMemSetSt
3b20: 72 28 26 6d 2c 20 7a 2c 20 6e 42 79 74 65 2c 20  r(&m, z, nByte, 
3b30: 53 51 4c 49 54 45 5f 55 54 46 31 36 4e 41 54 49  SQLITE_UTF16NATI
3b40: 56 45 2c 20 53 51 4c 49 54 45 5f 53 54 41 54 49  VE, SQLITE_STATI
3b50: 43 29 3b 0a 20 20 73 71 6c 69 74 65 33 56 64 62  C);.  sqlite3Vdb
3b60: 65 43 68 61 6e 67 65 45 6e 63 6f 64 69 6e 67 28  eChangeEncoding(
3b70: 26 6d 2c 20 53 51 4c 49 54 45 5f 55 54 46 38 29  &m, SQLITE_UTF8)
3b80: 3b 0a 20 20 61 73 73 65 72 74 28 20 28 6d 2e 66  ;.  assert( (m.f
3b90: 6c 61 67 73 20 26 20 4d 45 4d 5f 54 65 72 6d 29  lags & MEM_Term)
3ba0: 21 3d 30 20 7c 7c 20 64 62 2d 3e 6d 61 6c 6c 6f  !=0 || db->mallo
3bb0: 63 46 61 69 6c 65 64 20 29 3b 0a 20 20 61 73 73  cFailed );.  ass
3bc0: 65 72 74 28 20 28 6d 2e 66 6c 61 67 73 20 26 20  ert( (m.flags & 
3bd0: 4d 45 4d 5f 53 74 72 29 21 3d 30 20 7c 7c 20 64  MEM_Str)!=0 || d
3be0: 62 2d 3e 6d 61 6c 6c 6f 63 46 61 69 6c 65 64 20  b->mallocFailed 
3bf0: 29 3b 0a 20 20 72 65 74 75 72 6e 20 28 6d 2e 66  );.  return (m.f
3c00: 6c 61 67 73 20 26 20 4d 45 4d 5f 44 79 6e 29 21  lags & MEM_Dyn)!
3c10: 3d 30 20 3f 20 6d 2e 7a 20 3a 20 73 71 6c 69 74  =0 ? m.z : sqlit
3c20: 65 33 44 62 53 74 72 44 75 70 28 64 62 2c 20 6d  e3DbStrDup(db, m
3c30: 2e 7a 29 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 70 5a  .z);.}../*.** pZ
3c40: 20 69 73 20 61 20 55 54 46 2d 31 36 20 65 6e 63   is a UTF-16 enc
3c50: 6f 64 65 64 20 75 6e 69 63 6f 64 65 20 73 74 72  oded unicode str
3c60: 69 6e 67 2e 20 49 66 20 6e 43 68 61 72 20 69 73  ing. If nChar is
3c70: 20 6c 65 73 73 20 74 68 61 6e 20 7a 65 72 6f 2c   less than zero,
3c80: 0a 2a 2a 20 72 65 74 75 72 6e 20 74 68 65 20 6e  .** return the n
3c90: 75 6d 62 65 72 20 6f 66 20 62 79 74 65 73 20 75  umber of bytes u
3ca0: 70 20 74 6f 20 28 62 75 74 20 6e 6f 74 20 69 6e  p to (but not in
3cb0: 63 6c 75 64 69 6e 67 29 2c 20 74 68 65 20 66 69  cluding), the fi
3cc0: 72 73 74 20 70 61 69 72 0a 2a 2a 20 6f 66 20 63  rst pair.** of c
3cd0: 6f 6e 73 65 63 75 74 69 76 65 20 30 78 30 30 20  onsecutive 0x00 
3ce0: 62 79 74 65 73 20 69 6e 20 70 5a 2e 20 49 66 20  bytes in pZ. If 
3cf0: 6e 43 68 61 72 20 69 73 20 6e 6f 74 20 6c 65 73  nChar is not les
3d00: 73 20 74 68 61 6e 20 7a 65 72 6f 2c 0a 2a 2a 20  s than zero,.** 
3d10: 74 68 65 6e 20 72 65 74 75 72 6e 20 74 68 65 20  then return the 
3d20: 6e 75 6d 62 65 72 20 6f 66 20 62 79 74 65 73 20  number of bytes 
3d30: 69 6e 20 74 68 65 20 66 69 72 73 74 20 6e 43 68  in the first nCh
3d40: 61 72 20 75 6e 69 63 6f 64 65 20 63 68 61 72 61  ar unicode chara
3d50: 63 74 65 72 73 0a 2a 2a 20 69 6e 20 70 5a 20 28  cters.** in pZ (
3d60: 6f 72 20 75 70 20 75 6e 74 69 6c 20 74 68 65 20  or up until the 
3d70: 66 69 72 73 74 20 70 61 69 72 20 6f 66 20 30 78  first pair of 0x
3d80: 30 30 20 62 79 74 65 73 2c 20 77 68 69 63 68 65  00 bytes, whiche
3d90: 76 65 72 20 63 6f 6d 65 73 20 66 69 72 73 74 29  ver comes first)
3da0: 2e 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33  ..*/.int sqlite3
3db0: 55 74 66 31 36 42 79 74 65 4c 65 6e 28 63 6f 6e  Utf16ByteLen(con
3dc0: 73 74 20 76 6f 69 64 20 2a 7a 49 6e 2c 20 69 6e  st void *zIn, in
3dd0: 74 20 6e 43 68 61 72 29 7b 0a 20 20 75 6e 73 69  t nChar){.  unsi
3de0: 67 6e 65 64 20 69 6e 74 20 63 20 3d 20 31 3b 0a  gned int c = 1;.
3df0: 20 20 63 68 61 72 20 63 6f 6e 73 74 20 2a 7a 20    char const *z 
3e00: 3d 20 7a 49 6e 3b 0a 20 20 69 6e 74 20 6e 20 3d  = zIn;.  int n =
3e10: 20 30 3b 0a 20 20 69 66 28 20 53 51 4c 49 54 45   0;.  if( SQLITE
3e20: 5f 55 54 46 31 36 4e 41 54 49 56 45 3d 3d 53 51  _UTF16NATIVE==SQ
3e30: 4c 49 54 45 5f 55 54 46 31 36 42 45 20 29 7b 0a  LITE_UTF16BE ){.
3e40: 20 20 20 20 2f 2a 20 55 73 69 6e 67 20 61 6e 20      /* Using an 
3e50: 22 69 66 20 28 53 51 4c 49 54 45 5f 55 54 46 31  "if (SQLITE_UTF1
3e60: 36 4e 41 54 49 56 45 3d 3d 53 51 4c 49 54 45 5f  6NATIVE==SQLITE_
3e70: 55 54 46 31 36 42 45 29 22 20 63 6f 6e 73 74 72  UTF16BE)" constr
3e80: 75 63 74 20 68 65 72 65 0a 20 20 20 20 2a 2a 20  uct here.    ** 
3e90: 61 6e 64 20 69 6e 20 6f 74 68 65 72 20 70 61 72  and in other par
3ea0: 74 73 20 6f 66 20 74 68 69 73 20 66 69 6c 65 20  ts of this file 
3eb0: 6d 65 61 6e 73 20 74 68 61 74 20 61 74 20 6f 6e  means that at on
3ec0: 65 20 62 72 61 6e 63 68 20 77 69 6c 6c 0a 20 20  e branch will.  
3ed0: 20 20 2a 2a 20 6e 6f 74 20 62 65 20 63 6f 76 65    ** not be cove
3ee0: 72 65 64 20 62 79 20 63 6f 76 65 72 61 67 65 20  red by coverage 
3ef0: 74 65 73 74 69 6e 67 20 6f 6e 20 61 6e 79 20 73  testing on any s
3f00: 69 6e 67 6c 65 20 68 6f 73 74 2e 20 42 75 74 20  ingle host. But 
3f10: 63 6f 76 65 72 61 67 65 0a 20 20 20 20 2a 2a 20  coverage.    ** 
3f20: 77 69 6c 6c 20 62 65 20 63 6f 6d 70 6c 65 74 65  will be complete
3f30: 20 69 66 20 74 68 65 20 74 65 73 74 73 20 61 72   if the tests ar
3f40: 65 20 72 75 6e 20 6f 6e 20 62 6f 74 68 20 61 20  e run on both a 
3f50: 6c 69 74 74 6c 65 2d 65 6e 64 69 61 6e 20 61 6e  little-endian an
3f60: 64 20 0a 20 20 20 20 2a 2a 20 62 69 67 2d 65 6e  d .    ** big-en
3f70: 64 69 61 6e 20 68 6f 73 74 2e 20 42 65 63 61 75  dian host. Becau
3f80: 73 65 20 62 6f 74 68 20 74 68 65 20 55 54 46 31  se both the UTF1
3f90: 36 4e 41 54 49 56 45 20 61 6e 64 20 53 51 4c 49  6NATIVE and SQLI
3fa0: 54 45 5f 55 54 46 31 36 42 45 0a 20 20 20 20 2a  TE_UTF16BE.    *
3fb0: 2a 20 6d 61 63 72 6f 73 20 61 72 65 20 63 6f 6e  * macros are con
3fc0: 73 74 61 6e 74 20 61 74 20 63 6f 6d 70 69 6c 65  stant at compile
3fd0: 20 74 69 6d 65 20 74 68 65 20 63 6f 6d 70 69 6c   time the compil
3fe0: 65 72 20 63 61 6e 20 64 65 74 65 72 6d 69 6e 65  er can determine
3ff0: 0a 20 20 20 20 2a 2a 20 77 68 69 63 68 20 62 72  .    ** which br
4000: 61 6e 63 68 20 77 69 6c 6c 20 62 65 20 66 6f 6c  anch will be fol
4010: 6c 6f 77 65 64 2e 20 49 74 20 69 73 20 74 68 65  lowed. It is the
4020: 72 65 66 6f 72 65 20 61 73 73 75 6d 65 64 20 74  refore assumed t
4030: 68 61 74 20 6e 6f 20 72 75 6e 74 69 6d 65 0a 20  hat no runtime. 
4040: 20 20 20 2a 2a 20 70 65 6e 61 6c 74 79 20 69 73     ** penalty is
4050: 20 70 61 69 64 20 66 6f 72 20 74 68 69 73 20 22   paid for this "
4060: 69 66 22 20 73 74 61 74 65 6d 65 6e 74 2e 0a 20  if" statement.. 
4070: 20 20 20 2a 2f 0a 20 20 20 20 77 68 69 6c 65 28     */.    while(
4080: 20 63 20 26 26 20 28 28 6e 43 68 61 72 3c 30 29   c && ((nChar<0)
4090: 20 7c 7c 20 6e 3c 6e 43 68 61 72 29 20 29 7b 0a   || n<nChar) ){.
40a0: 20 20 20 20 20 20 52 45 41 44 5f 55 54 46 31 36        READ_UTF16
40b0: 42 45 28 7a 2c 20 63 29 3b 0a 20 20 20 20 20 20  BE(z, c);.      
40c0: 6e 2b 2b 3b 0a 20 20 20 20 7d 0a 20 20 7d 65 6c  n++;.    }.  }el
40d0: 73 65 7b 0a 20 20 20 20 77 68 69 6c 65 28 20 63  se{.    while( c
40e0: 20 26 26 20 28 28 6e 43 68 61 72 3c 30 29 20 7c   && ((nChar<0) |
40f0: 7c 20 6e 3c 6e 43 68 61 72 29 20 29 7b 0a 20 20  | n<nChar) ){.  
4100: 20 20 20 20 52 45 41 44 5f 55 54 46 31 36 4c 45      READ_UTF16LE
4110: 28 7a 2c 20 63 29 3b 0a 20 20 20 20 20 20 6e 2b  (z, c);.      n+
4120: 2b 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 72  +;.    }.  }.  r
4130: 65 74 75 72 6e 20 28 7a 2d 28 63 68 61 72 20 63  eturn (z-(char c
4140: 6f 6e 73 74 20 2a 29 7a 49 6e 29 2d 28 28 63 3d  onst *)zIn)-((c=
4150: 3d 30 29 3f 32 3a 30 29 3b 0a 7d 0a 0a 23 69 66  =0)?2:0);.}..#if
4160: 20 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45 5f   defined(SQLITE_
4170: 54 45 53 54 29 0a 2f 2a 0a 2a 2a 20 54 68 69 73  TEST)./*.** This
4180: 20 72 6f 75 74 69 6e 65 20 69 73 20 63 61 6c 6c   routine is call
4190: 65 64 20 66 72 6f 6d 20 74 68 65 20 54 43 4c 20  ed from the TCL 
41a0: 74 65 73 74 20 66 75 6e 63 74 69 6f 6e 20 22 74  test function "t
41b0: 72 61 6e 73 6c 61 74 65 5f 73 65 6c 66 74 65 73  ranslate_selftes
41c0: 74 22 2e 0a 2a 2a 20 49 74 20 63 68 65 63 6b 73  t"..** It checks
41d0: 20 74 68 61 74 20 74 68 65 20 70 72 69 6d 69 74   that the primit
41e0: 69 76 65 73 20 66 6f 72 20 73 65 72 69 61 6c 69  ives for seriali
41f0: 7a 69 6e 67 20 61 6e 64 20 64 65 73 65 72 69 61  zing and deseria
4200: 6c 69 7a 69 6e 67 0a 2a 2a 20 63 68 61 72 61 63  lizing.** charac
4210: 74 65 72 73 20 69 6e 20 65 61 63 68 20 65 6e 63  ters in each enc
4220: 6f 64 69 6e 67 20 61 72 65 20 69 6e 76 65 72 73  oding are invers
4230: 65 73 20 6f 66 20 65 61 63 68 20 6f 74 68 65 72  es of each other
4240: 2e 0a 2a 2f 0a 76 6f 69 64 20 73 71 6c 69 74 65  ..*/.void sqlite
4250: 33 55 74 66 53 65 6c 66 54 65 73 74 28 29 7b 0a  3UtfSelfTest(){.
4260: 20 20 75 6e 73 69 67 6e 65 64 20 69 6e 74 20 69    unsigned int i
4270: 2c 20 74 3b 0a 20 20 75 6e 73 69 67 6e 65 64 20  , t;.  unsigned 
4280: 63 68 61 72 20 7a 42 75 66 5b 32 30 5d 3b 0a 20  char zBuf[20];. 
4290: 20 75 6e 73 69 67 6e 65 64 20 63 68 61 72 20 2a   unsigned char *
42a0: 7a 3b 0a 20 20 75 6e 73 69 67 6e 65 64 20 63 68  z;.  unsigned ch
42b0: 61 72 20 2a 7a 54 65 72 6d 3b 0a 20 20 69 6e 74  ar *zTerm;.  int
42c0: 20 6e 3b 0a 20 20 75 6e 73 69 67 6e 65 64 20 69   n;.  unsigned i
42d0: 6e 74 20 63 3b 0a 0a 20 20 66 6f 72 28 69 3d 30  nt c;..  for(i=0
42e0: 3b 20 69 3c 30 78 30 30 31 31 30 30 30 30 3b 20  ; i<0x00110000; 
42f0: 69 2b 2b 29 7b 0a 20 20 20 20 7a 20 3d 20 7a 42  i++){.    z = zB
4300: 75 66 3b 0a 20 20 20 20 57 52 49 54 45 5f 55 54  uf;.    WRITE_UT
4310: 46 38 28 7a 2c 20 69 29 3b 0a 20 20 20 20 6e 20  F8(z, i);.    n 
4320: 3d 20 7a 2d 7a 42 75 66 3b 0a 20 20 20 20 7a 5b  = z-zBuf;.    z[
4330: 30 5d 20 3d 20 30 3b 0a 20 20 20 20 7a 54 65 72  0] = 0;.    zTer
4340: 6d 20 3d 20 7a 3b 0a 20 20 20 20 7a 20 3d 20 7a  m = z;.    z = z
4350: 42 75 66 3b 0a 20 20 20 20 63 20 3d 20 73 71 6c  Buf;.    c = sql
4360: 69 74 65 33 55 74 66 38 52 65 61 64 28 7a 2c 20  ite3Utf8Read(z, 
4370: 7a 54 65 72 6d 2c 20 28 63 6f 6e 73 74 20 75 38  zTerm, (const u8
4380: 2a 2a 29 26 7a 29 3b 0a 20 20 20 20 74 20 3d 20  **)&z);.    t = 
4390: 69 3b 0a 20 20 20 20 69 66 28 20 69 3e 3d 30 78  i;.    if( i>=0x
43a0: 44 38 30 30 20 26 26 20 69 3c 3d 30 78 44 46 46  D800 && i<=0xDFF
43b0: 46 20 29 20 74 20 3d 20 30 78 46 46 46 44 3b 0a  F ) t = 0xFFFD;.
43c0: 20 20 20 20 69 66 28 20 28 69 26 30 78 46 46 46      if( (i&0xFFF
43d0: 46 46 46 46 45 29 3d 3d 30 78 46 46 46 45 20 29  FFFFE)==0xFFFE )
43e0: 20 74 20 3d 20 30 78 46 46 46 44 3b 0a 20 20 20   t = 0xFFFD;.   
43f0: 20 61 73 73 65 72 74 28 20 63 3d 3d 74 20 29 3b   assert( c==t );
4400: 0a 20 20 20 20 61 73 73 65 72 74 28 20 28 7a 2d  .    assert( (z-
4410: 7a 42 75 66 29 3d 3d 6e 20 29 3b 0a 20 20 7d 0a  zBuf)==n );.  }.
4420: 20 20 66 6f 72 28 69 3d 30 3b 20 69 3c 30 78 30    for(i=0; i<0x0
4430: 30 31 31 30 30 30 30 3b 20 69 2b 2b 29 7b 0a 20  0110000; i++){. 
4440: 20 20 20 69 66 28 20 69 3e 3d 30 78 44 38 30 30     if( i>=0xD800
4450: 20 26 26 20 69 3c 30 78 45 30 30 30 20 29 20 63   && i<0xE000 ) c
4460: 6f 6e 74 69 6e 75 65 3b 0a 20 20 20 20 7a 20 3d  ontinue;.    z =
4470: 20 7a 42 75 66 3b 0a 20 20 20 20 57 52 49 54 45   zBuf;.    WRITE
4480: 5f 55 54 46 31 36 4c 45 28 7a 2c 20 69 29 3b 0a  _UTF16LE(z, i);.
4490: 20 20 20 20 6e 20 3d 20 7a 2d 7a 42 75 66 3b 0a      n = z-zBuf;.
44a0: 20 20 20 20 7a 5b 30 5d 20 3d 20 30 3b 0a 20 20      z[0] = 0;.  
44b0: 20 20 7a 20 3d 20 7a 42 75 66 3b 0a 20 20 20 20    z = zBuf;.    
44c0: 52 45 41 44 5f 55 54 46 31 36 4c 45 28 7a 2c 20  READ_UTF16LE(z, 
44d0: 63 29 3b 0a 20 20 20 20 61 73 73 65 72 74 28 20  c);.    assert( 
44e0: 63 3d 3d 69 20 29 3b 0a 20 20 20 20 61 73 73 65  c==i );.    asse
44f0: 72 74 28 20 28 7a 2d 7a 42 75 66 29 3d 3d 6e 20  rt( (z-zBuf)==n 
4500: 29 3b 0a 20 20 7d 0a 20 20 66 6f 72 28 69 3d 30  );.  }.  for(i=0
4510: 3b 20 69 3c 30 78 30 30 31 31 30 30 30 30 3b 20  ; i<0x00110000; 
4520: 69 2b 2b 29 7b 0a 20 20 20 20 69 66 28 20 69 3e  i++){.    if( i>
4530: 3d 30 78 44 38 30 30 20 26 26 20 69 3c 30 78 45  =0xD800 && i<0xE
4540: 30 30 30 20 29 20 63 6f 6e 74 69 6e 75 65 3b 0a  000 ) continue;.
4550: 20 20 20 20 7a 20 3d 20 7a 42 75 66 3b 0a 20 20      z = zBuf;.  
4560: 20 20 57 52 49 54 45 5f 55 54 46 31 36 42 45 28    WRITE_UTF16BE(
4570: 7a 2c 20 69 29 3b 0a 20 20 20 20 6e 20 3d 20 7a  z, i);.    n = z
4580: 2d 7a 42 75 66 3b 0a 20 20 20 20 7a 5b 30 5d 20  -zBuf;.    z[0] 
4590: 3d 20 30 3b 0a 20 20 20 20 7a 20 3d 20 7a 42 75  = 0;.    z = zBu
45a0: 66 3b 0a 20 20 20 20 52 45 41 44 5f 55 54 46 31  f;.    READ_UTF1
45b0: 36 42 45 28 7a 2c 20 63 29 3b 0a 20 20 20 20 61  6BE(z, c);.    a
45c0: 73 73 65 72 74 28 20 63 3d 3d 69 20 29 3b 0a 20  ssert( c==i );. 
45d0: 20 20 20 61 73 73 65 72 74 28 20 28 7a 2d 7a 42     assert( (z-zB
45e0: 75 66 29 3d 3d 6e 20 29 3b 0a 20 20 7d 0a 7d 0a  uf)==n );.  }.}.
45f0: 23 65 6e 64 69 66 20 2f 2a 20 53 51 4c 49 54 45  #endif /* SQLITE
4600: 5f 54 45 53 54 20 2a 2f 0a 23 65 6e 64 69 66 20  _TEST */.#endif 
4610: 2f 2a 20 53 51 4c 49 54 45 5f 4f 4d 49 54 5f 55  /* SQLITE_OMIT_U
4620: 54 46 31 36 20 2a 2f 0a                          TF16 */.