/ Hex Artifact Content
Login

Artifact 2395dfcd72e0da4dbc75ff7e113bd415562750aa:


0000: 2f 2a 0a 2a 2a 20 32 30 30 34 20 41 70 72 69 6c  /*.** 2004 April
0010: 20 31 33 0a 2a 2a 0a 2a 2a 20 54 68 65 20 61 75   13.**.** The au
0020: 74 68 6f 72 20 64 69 73 63 6c 61 69 6d 73 20 63  thor disclaims c
0030: 6f 70 79 72 69 67 68 74 20 74 6f 20 74 68 69 73  opyright to this
0040: 20 73 6f 75 72 63 65 20 63 6f 64 65 2e 20 20 49   source code.  I
0050: 6e 20 70 6c 61 63 65 20 6f 66 0a 2a 2a 20 61 20  n place of.** a 
0060: 6c 65 67 61 6c 20 6e 6f 74 69 63 65 2c 20 68 65  legal notice, he
0070: 72 65 20 69 73 20 61 20 62 6c 65 73 73 69 6e 67  re is a blessing
0080: 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 4d 61 79 20 79  :.**.**    May y
0090: 6f 75 20 64 6f 20 67 6f 6f 64 20 61 6e 64 20 6e  ou do good and n
00a0: 6f 74 20 65 76 69 6c 2e 0a 2a 2a 20 20 20 20 4d  ot evil..**    M
00b0: 61 79 20 79 6f 75 20 66 69 6e 64 20 66 6f 72 67  ay you find forg
00c0: 69 76 65 6e 65 73 73 20 66 6f 72 20 79 6f 75 72  iveness for your
00d0: 73 65 6c 66 20 61 6e 64 20 66 6f 72 67 69 76 65  self and forgive
00e0: 20 6f 74 68 65 72 73 2e 0a 2a 2a 20 20 20 20 4d   others..**    M
00f0: 61 79 20 79 6f 75 20 73 68 61 72 65 20 66 72 65  ay you share fre
0100: 65 6c 79 2c 20 6e 65 76 65 72 20 74 61 6b 69 6e  ely, never takin
0110: 67 20 6d 6f 72 65 20 74 68 61 6e 20 79 6f 75 20  g more than you 
0120: 67 69 76 65 2e 0a 2a 2a 0a 2a 2a 2a 2a 2a 2a 2a  give..**.*******
0130: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0140: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0150: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0160: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
0170: 2a 2a 0a 2a 2a 20 54 68 69 73 20 66 69 6c 65 20  **.** This file 
0180: 63 6f 6e 74 61 69 6e 73 20 72 6f 75 74 69 6e 65  contains routine
0190: 73 20 75 73 65 64 20 74 6f 20 74 72 61 6e 73 6c  s used to transl
01a0: 61 74 65 20 62 65 74 77 65 65 6e 20 55 54 46 2d  ate between UTF-
01b0: 38 2c 20 0a 2a 2a 20 55 54 46 2d 31 36 2c 20 55  8, .** UTF-16, U
01c0: 54 46 2d 31 36 42 45 2c 20 61 6e 64 20 55 54 46  TF-16BE, and UTF
01d0: 2d 31 36 4c 45 2e 0a 2a 2a 0a 2a 2a 20 24 49 64  -16LE..**.** $Id
01e0: 3a 20 75 74 66 2e 63 2c 76 20 31 2e 37 33 20 32  : utf.c,v 1.73 2
01f0: 30 30 39 2f 30 34 2f 30 31 20 31 38 3a 34 30 3a  009/04/01 18:40:
0200: 33 32 20 64 72 68 20 45 78 70 20 24 0a 2a 2a 0a  32 drh Exp $.**.
0210: 2a 2a 20 4e 6f 74 65 73 20 6f 6e 20 55 54 46 2d  ** Notes on UTF-
0220: 38 3a 0a 2a 2a 0a 2a 2a 20 20 20 42 79 74 65 2d  8:.**.**   Byte-
0230: 30 20 20 20 20 42 79 74 65 2d 31 20 20 20 20 42  0    Byte-1    B
0240: 79 74 65 2d 32 20 20 20 20 42 79 74 65 2d 33 20  yte-2    Byte-3 
0250: 20 20 20 56 61 6c 75 65 0a 2a 2a 20 20 30 78 78     Value.**  0xx
0260: 78 78 78 78 78 20 20 20 20 20 20 20 20 20 20 20  xxxxx           
0270: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0280: 20 20 20 20 20 20 30 30 30 30 30 30 30 30 20 30        00000000 0
0290: 30 30 30 30 30 30 30 20 30 78 78 78 78 78 78 78  0000000 0xxxxxxx
02a0: 0a 2a 2a 20 20 31 31 30 79 79 79 79 79 20 20 31  .**  110yyyyy  1
02b0: 30 78 78 78 78 78 78 20 20 20 20 20 20 20 20 20  0xxxxxx         
02c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 30 30                00
02d0: 30 30 30 30 30 30 20 30 30 30 30 30 79 79 79 20  000000 00000yyy 
02e0: 79 79 78 78 78 78 78 78 0a 2a 2a 20 20 31 31 31  yyxxxxxx.**  111
02f0: 30 7a 7a 7a 7a 20 20 31 30 79 79 79 79 79 79 20  0zzzz  10yyyyyy 
0300: 20 31 30 78 78 78 78 78 78 20 20 20 20 20 20 20   10xxxxxx       
0310: 20 20 20 20 20 20 30 30 30 30 30 30 30 30 20 7a        00000000 z
0320: 7a 7a 7a 79 79 79 79 20 79 79 78 78 78 78 78 78  zzzyyyy yyxxxxxx
0330: 0a 2a 2a 20 20 31 31 31 31 30 75 75 75 20 20 31  .**  11110uuu  1
0340: 30 75 75 7a 7a 7a 7a 20 20 31 30 79 79 79 79 79  0uuzzzz  10yyyyy
0350: 79 20 20 31 30 78 78 78 78 78 78 20 20 20 30 30  y  10xxxxxx   00
0360: 30 75 75 75 75 75 20 7a 7a 7a 7a 79 79 79 79 20  0uuuuu zzzzyyyy 
0370: 79 79 78 78 78 78 78 78 0a 2a 2a 0a 2a 2a 0a 2a  yyxxxxxx.**.**.*
0380: 2a 20 4e 6f 74 65 73 20 6f 6e 20 55 54 46 2d 31  * Notes on UTF-1
0390: 36 3a 20 20 28 77 69 74 68 20 77 77 77 77 2b 31  6:  (with wwww+1
03a0: 3d 3d 75 75 75 75 75 29 0a 2a 2a 0a 2a 2a 20 20  ==uuuuu).**.**  
03b0: 20 20 20 20 57 6f 72 64 2d 30 20 20 20 20 20 20      Word-0      
03c0: 20 20 20 20 20 20 20 20 20 57 6f 72 64 2d 31 20           Word-1 
03d0: 20 20 20 20 20 20 20 20 20 56 61 6c 75 65 0a 2a           Value.*
03e0: 2a 20 20 31 31 30 31 31 30 77 77 20 77 77 7a 7a  *  110110ww wwzz
03f0: 7a 7a 79 79 20 20 20 31 31 30 31 31 31 79 79 20  zzyy   110111yy 
0400: 79 79 78 78 78 78 78 78 20 20 20 20 30 30 30 75  yyxxxxxx    000u
0410: 75 75 75 75 20 7a 7a 7a 7a 79 79 79 79 20 79 79  uuuu zzzzyyyy yy
0420: 78 78 78 78 78 78 0a 2a 2a 20 20 7a 7a 7a 7a 79  xxxxxx.**  zzzzy
0430: 79 79 79 20 79 79 78 78 78 78 78 78 20 20 20 20  yyy yyxxxxxx    
0440: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0450: 20 20 20 20 30 30 30 30 30 30 30 30 20 7a 7a 7a      00000000 zzz
0460: 7a 79 79 79 79 20 79 79 78 78 78 78 78 78 0a 2a  zyyyy yyxxxxxx.*
0470: 2a 0a 2a 2a 0a 2a 2a 20 42 4f 4d 20 6f 72 20 42  *.**.** BOM or B
0480: 79 74 65 20 4f 72 64 65 72 20 4d 61 72 6b 3a 0a  yte Order Mark:.
0490: 2a 2a 20 20 20 20 20 30 78 66 66 20 30 78 66 65  **     0xff 0xfe
04a0: 20 20 20 6c 69 74 74 6c 65 2d 65 6e 64 69 61 6e     little-endian
04b0: 20 75 74 66 2d 31 36 20 66 6f 6c 6c 6f 77 73 0a   utf-16 follows.
04c0: 2a 2a 20 20 20 20 20 30 78 66 65 20 30 78 66 66  **     0xfe 0xff
04d0: 20 20 20 62 69 67 2d 65 6e 64 69 61 6e 20 75 74     big-endian ut
04e0: 66 2d 31 36 20 66 6f 6c 6c 6f 77 73 0a 2a 2a 0a  f-16 follows.**.
04f0: 2a 2f 0a 23 69 6e 63 6c 75 64 65 20 22 73 71 6c  */.#include "sql
0500: 69 74 65 49 6e 74 2e 68 22 0a 23 69 6e 63 6c 75  iteInt.h".#inclu
0510: 64 65 20 3c 61 73 73 65 72 74 2e 68 3e 0a 23 69  de <assert.h>.#i
0520: 6e 63 6c 75 64 65 20 22 76 64 62 65 49 6e 74 2e  nclude "vdbeInt.
0530: 68 22 0a 0a 23 69 66 6e 64 65 66 20 53 51 4c 49  h"..#ifndef SQLI
0540: 54 45 5f 41 4d 41 4c 47 41 4d 41 54 49 4f 4e 0a  TE_AMALGAMATION.
0550: 2f 2a 0a 2a 2a 20 54 68 65 20 66 6f 6c 6c 6f 77  /*.** The follow
0560: 69 6e 67 20 63 6f 6e 73 74 61 6e 74 20 76 61 6c  ing constant val
0570: 75 65 20 69 73 20 75 73 65 64 20 62 79 20 74 68  ue is used by th
0580: 65 20 53 51 4c 49 54 45 5f 42 49 47 45 4e 44 49  e SQLITE_BIGENDI
0590: 41 4e 20 61 6e 64 0a 2a 2a 20 53 51 4c 49 54 45  AN and.** SQLITE
05a0: 5f 4c 49 54 54 4c 45 45 4e 44 49 41 4e 20 6d 61  _LITTLEENDIAN ma
05b0: 63 72 6f 73 2e 0a 2a 2f 0a 63 6f 6e 73 74 20 69  cros..*/.const i
05c0: 6e 74 20 73 71 6c 69 74 65 33 6f 6e 65 20 3d 20  nt sqlite3one = 
05d0: 31 3b 0a 23 65 6e 64 69 66 20 2f 2a 20 53 51 4c  1;.#endif /* SQL
05e0: 49 54 45 5f 41 4d 41 4c 47 41 4d 41 54 49 4f 4e  ITE_AMALGAMATION
05f0: 20 2a 2f 0a 0a 2f 2a 0a 2a 2a 20 54 68 69 73 20   */../*.** This 
0600: 6c 6f 6f 6b 75 70 20 74 61 62 6c 65 20 69 73 20  lookup table is 
0610: 75 73 65 64 20 74 6f 20 68 65 6c 70 20 64 65 63  used to help dec
0620: 6f 64 65 20 74 68 65 20 66 69 72 73 74 20 62 79  ode the first by
0630: 74 65 20 6f 66 0a 2a 2a 20 61 20 6d 75 6c 74 69  te of.** a multi
0640: 2d 62 79 74 65 20 55 54 46 38 20 63 68 61 72 61  -byte UTF8 chara
0650: 63 74 65 72 2e 0a 2a 2f 0a 73 74 61 74 69 63 20  cter..*/.static 
0660: 63 6f 6e 73 74 20 75 6e 73 69 67 6e 65 64 20 63  const unsigned c
0670: 68 61 72 20 73 71 6c 69 74 65 33 55 74 66 38 54  har sqlite3Utf8T
0680: 72 61 6e 73 31 5b 5d 20 3d 20 7b 0a 20 20 30 78  rans1[] = {.  0x
0690: 30 30 2c 20 30 78 30 31 2c 20 30 78 30 32 2c 20  00, 0x01, 0x02, 
06a0: 30 78 30 33 2c 20 30 78 30 34 2c 20 30 78 30 35  0x03, 0x04, 0x05
06b0: 2c 20 30 78 30 36 2c 20 30 78 30 37 2c 0a 20 20  , 0x06, 0x07,.  
06c0: 30 78 30 38 2c 20 30 78 30 39 2c 20 30 78 30 61  0x08, 0x09, 0x0a
06d0: 2c 20 30 78 30 62 2c 20 30 78 30 63 2c 20 30 78  , 0x0b, 0x0c, 0x
06e0: 30 64 2c 20 30 78 30 65 2c 20 30 78 30 66 2c 0a  0d, 0x0e, 0x0f,.
06f0: 20 20 30 78 31 30 2c 20 30 78 31 31 2c 20 30 78    0x10, 0x11, 0x
0700: 31 32 2c 20 30 78 31 33 2c 20 30 78 31 34 2c 20  12, 0x13, 0x14, 
0710: 30 78 31 35 2c 20 30 78 31 36 2c 20 30 78 31 37  0x15, 0x16, 0x17
0720: 2c 0a 20 20 30 78 31 38 2c 20 30 78 31 39 2c 20  ,.  0x18, 0x19, 
0730: 30 78 31 61 2c 20 30 78 31 62 2c 20 30 78 31 63  0x1a, 0x1b, 0x1c
0740: 2c 20 30 78 31 64 2c 20 30 78 31 65 2c 20 30 78  , 0x1d, 0x1e, 0x
0750: 31 66 2c 0a 20 20 30 78 30 30 2c 20 30 78 30 31  1f,.  0x00, 0x01
0760: 2c 20 30 78 30 32 2c 20 30 78 30 33 2c 20 30 78  , 0x02, 0x03, 0x
0770: 30 34 2c 20 30 78 30 35 2c 20 30 78 30 36 2c 20  04, 0x05, 0x06, 
0780: 30 78 30 37 2c 0a 20 20 30 78 30 38 2c 20 30 78  0x07,.  0x08, 0x
0790: 30 39 2c 20 30 78 30 61 2c 20 30 78 30 62 2c 20  09, 0x0a, 0x0b, 
07a0: 30 78 30 63 2c 20 30 78 30 64 2c 20 30 78 30 65  0x0c, 0x0d, 0x0e
07b0: 2c 20 30 78 30 66 2c 0a 20 20 30 78 30 30 2c 20  , 0x0f,.  0x00, 
07c0: 30 78 30 31 2c 20 30 78 30 32 2c 20 30 78 30 33  0x01, 0x02, 0x03
07d0: 2c 20 30 78 30 34 2c 20 30 78 30 35 2c 20 30 78  , 0x04, 0x05, 0x
07e0: 30 36 2c 20 30 78 30 37 2c 0a 20 20 30 78 30 30  06, 0x07,.  0x00
07f0: 2c 20 30 78 30 31 2c 20 30 78 30 32 2c 20 30 78  , 0x01, 0x02, 0x
0800: 30 33 2c 20 30 78 30 30 2c 20 30 78 30 31 2c 20  03, 0x00, 0x01, 
0810: 30 78 30 30 2c 20 30 78 30 30 2c 0a 7d 3b 0a 0a  0x00, 0x00,.};..
0820: 0a 23 64 65 66 69 6e 65 20 57 52 49 54 45 5f 55  .#define WRITE_U
0830: 54 46 38 28 7a 4f 75 74 2c 20 63 29 20 7b 20 20  TF8(zOut, c) {  
0840: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0850: 20 20 20 20 20 20 20 20 5c 0a 20 20 69 66 28 20          \.  if( 
0860: 63 3c 30 78 30 30 30 38 30 20 29 7b 20 20 20 20  c<0x00080 ){    
0870: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0880: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0890: 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d   \.    *zOut++ =
08a0: 20 28 75 38 29 28 63 26 30 78 46 46 29 3b 20 20   (u8)(c&0xFF);  
08b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
08c0: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 20            \.  } 
08d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
08e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
08f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0900: 20 20 20 5c 0a 20 20 65 6c 73 65 20 69 66 28 20     \.  else if( 
0910: 63 3c 30 78 30 30 38 30 30 20 29 7b 20 20 20 20  c<0x00800 ){    
0920: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0930: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
0940: 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78 43 30    *zOut++ = 0xC0
0950: 20 2b 20 28 75 38 29 28 28 63 3e 3e 36 29 26 30   + (u8)((c>>6)&0
0960: 78 31 46 29 3b 20 20 20 20 20 20 20 20 20 20 20  x1F);           
0970: 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74       \.    *zOut
0980: 2b 2b 20 3d 20 30 78 38 30 20 2b 20 28 75 38 29  ++ = 0x80 + (u8)
0990: 28 63 20 26 20 30 78 33 46 29 3b 20 20 20 20 20  (c & 0x3F);     
09a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
09b0: 20 20 7d 20 20 20 20 20 20 20 20 20 20 20 20 20    }             
09c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
09d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
09e0: 20 20 20 20 20 20 20 5c 0a 20 20 65 6c 73 65 20         \.  else 
09f0: 69 66 28 20 63 3c 30 78 31 30 30 30 30 20 29 7b  if( c<0x10000 ){
0a00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0a10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0a20: 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20  \.    *zOut++ = 
0a30: 30 78 45 30 20 2b 20 28 75 38 29 28 28 63 3e 3e  0xE0 + (u8)((c>>
0a40: 31 32 29 26 30 78 30 46 29 3b 20 20 20 20 20 20  12)&0x0F);      
0a50: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a           \.    *
0a60: 7a 4f 75 74 2b 2b 20 3d 20 30 78 38 30 20 2b 20  zOut++ = 0x80 + 
0a70: 28 75 38 29 28 28 63 3e 3e 36 29 20 26 20 30 78  (u8)((c>>6) & 0x
0a80: 33 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 20  3F);            
0a90: 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20    \.    *zOut++ 
0aa0: 3d 20 30 78 38 30 20 2b 20 28 75 38 29 28 63 20  = 0x80 + (u8)(c 
0ab0: 26 20 30 78 33 46 29 3b 20 20 20 20 20 20 20 20  & 0x3F);        
0ac0: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 7d             \.  }
0ad0: 65 6c 73 65 7b 20 20 20 20 20 20 20 20 20 20 20  else{           
0ae0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0af0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0b00: 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b      \.    *zOut+
0b10: 2b 20 3d 20 30 78 46 30 20 2b 20 28 75 38 29 28  + = 0xF0 + (u8)(
0b20: 28 63 3e 3e 31 38 29 20 26 20 30 78 30 37 29 3b  (c>>18) & 0x07);
0b30: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
0b40: 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30 78 38     *zOut++ = 0x8
0b50: 30 20 2b 20 28 75 38 29 28 28 63 3e 3e 31 32 29  0 + (u8)((c>>12)
0b60: 20 26 20 30 78 33 46 29 3b 20 20 20 20 20 20 20   & 0x3F);       
0b70: 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75        \.    *zOu
0b80: 74 2b 2b 20 3d 20 30 78 38 30 20 2b 20 28 75 38  t++ = 0x80 + (u8
0b90: 29 28 28 63 3e 3e 36 29 20 26 20 30 78 33 46 29  )((c>>6) & 0x3F)
0ba0: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c  ;              \
0bb0: 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 30  .    *zOut++ = 0
0bc0: 78 38 30 20 2b 20 28 75 38 29 28 63 20 26 20 30  x80 + (u8)(c & 0
0bd0: 78 33 46 29 3b 20 20 20 20 20 20 20 20 20 20 20  x3F);           
0be0: 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 20 20 20          \.  }   
0bf0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c20: 20 5c 0a 7d 0a 0a 23 64 65 66 69 6e 65 20 57 52   \.}..#define WR
0c30: 49 54 45 5f 55 54 46 31 36 4c 45 28 7a 4f 75 74  ITE_UTF16LE(zOut
0c40: 2c 20 63 29 20 7b 20 20 20 20 20 20 20 20 20 20  , c) {          
0c50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c60: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 69 66            \.  if
0c70: 28 20 63 3c 3d 30 78 46 46 46 46 20 29 7b 20 20  ( c<=0xFFFF ){  
0c80: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0c90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ca0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0cb0: 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20  \.    *zOut++ = 
0cc0: 28 75 38 29 28 63 26 30 78 30 30 46 46 29 3b 20  (u8)(c&0x00FF); 
0cd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ce0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0cf0: 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75        \.    *zOu
0d00: 74 2b 2b 20 3d 20 28 75 38 29 28 28 63 3e 3e 38  t++ = (u8)((c>>8
0d10: 29 26 30 78 30 30 46 46 29 3b 20 20 20 20 20 20  )&0x00FF);      
0d20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0d30: 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20              \.  
0d40: 7d 65 6c 73 65 7b 20 20 20 20 20 20 20 20 20 20  }else{          
0d50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0d60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0d70: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0d80: 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20    \.    *zOut++ 
0d90: 3d 20 28 75 38 29 28 28 28 63 3e 3e 31 30 29 26  = (u8)(((c>>10)&
0da0: 30 78 30 30 33 46 29 20 2b 20 28 28 28 63 2d 30  0x003F) + (((c-0
0db0: 78 31 30 30 30 30 29 3e 3e 31 30 29 26 30 78 30  x10000)>>10)&0x0
0dc0: 30 43 30 29 29 3b 20 20 5c 0a 20 20 20 20 2a 7a  0C0));  \.    *z
0dd0: 4f 75 74 2b 2b 20 3d 20 28 75 38 29 28 30 78 30  Out++ = (u8)(0x0
0de0: 30 44 38 20 2b 20 28 28 28 63 2d 30 78 31 30 30  0D8 + (((c-0x100
0df0: 30 30 29 3e 3e 31 38 29 26 30 78 30 33 29 29 3b  00)>>18)&0x03));
0e00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
0e10: 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 75      *zOut++ = (u
0e20: 38 29 28 63 26 30 78 30 30 46 46 29 3b 20 20 20  8)(c&0x00FF);   
0e30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0e40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0e50: 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b      \.    *zOut+
0e60: 2b 20 3d 20 28 75 38 29 28 30 78 30 30 44 43 20  + = (u8)(0x00DC 
0e70: 2b 20 28 28 63 3e 3e 38 29 26 30 78 30 33 29 29  + ((c>>8)&0x03))
0e80: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ;               
0e90: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 20            \.  } 
0ea0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0eb0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ec0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ed0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ee0: 5c 0a 7d 0a 0a 23 64 65 66 69 6e 65 20 57 52 49  \.}..#define WRI
0ef0: 54 45 5f 55 54 46 31 36 42 45 28 7a 4f 75 74 2c  TE_UTF16BE(zOut,
0f00: 20 63 29 20 7b 20 20 20 20 20 20 20 20 20 20 20   c) {           
0f10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0f20: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 69 66 28           \.  if(
0f30: 20 63 3c 3d 30 78 46 46 46 46 20 29 7b 20 20 20   c<=0xFFFF ){   
0f40: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0f50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0f60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
0f70: 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28  .    *zOut++ = (
0f80: 75 38 29 28 28 63 3e 3e 38 29 26 30 78 30 30 46  u8)((c>>8)&0x00F
0f90: 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  F);             
0fa0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0fb0: 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74       \.    *zOut
0fc0: 2b 2b 20 3d 20 28 75 38 29 28 63 26 30 78 30 30  ++ = (u8)(c&0x00
0fd0: 46 46 29 3b 20 20 20 20 20 20 20 20 20 20 20 20  FF);            
0fe0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
0ff0: 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 7d             \.  }
1000: 65 6c 73 65 7b 20 20 20 20 20 20 20 20 20 20 20  else{           
1010: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1020: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1030: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1040: 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d   \.    *zOut++ =
1050: 20 28 75 38 29 28 30 78 30 30 44 38 20 2b 20 28   (u8)(0x00D8 + (
1060: 28 28 63 2d 30 78 31 30 30 30 30 29 3e 3e 31 38  ((c-0x10000)>>18
1070: 29 26 30 78 30 33 29 29 3b 20 20 20 20 20 20 20  )&0x03));       
1080: 20 20 20 20 20 20 20 5c 0a 20 20 20 20 2a 7a 4f         \.    *zO
1090: 75 74 2b 2b 20 3d 20 28 75 38 29 28 28 28 63 3e  ut++ = (u8)(((c>
10a0: 3e 31 30 29 26 30 78 30 30 33 46 29 20 2b 20 28  >10)&0x003F) + (
10b0: 28 28 63 2d 30 78 31 30 30 30 30 29 3e 3e 31 30  ((c-0x10000)>>10
10c0: 29 26 30 78 30 30 43 30 29 29 3b 20 20 5c 0a 20  )&0x00C0));  \. 
10d0: 20 20 20 2a 7a 4f 75 74 2b 2b 20 3d 20 28 75 38     *zOut++ = (u8
10e0: 29 28 30 78 30 30 44 43 20 2b 20 28 28 63 3e 3e  )(0x00DC + ((c>>
10f0: 38 29 26 30 78 30 33 29 29 3b 20 20 20 20 20 20  8)&0x03));      
1100: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1110: 20 20 20 5c 0a 20 20 20 20 2a 7a 4f 75 74 2b 2b     \.    *zOut++
1120: 20 3d 20 28 75 38 29 28 63 26 30 78 30 30 46 46   = (u8)(c&0x00FF
1130: 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  );              
1140: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1150: 20 20 20 20 20 20 20 20 20 5c 0a 20 20 7d 20 20           \.  }  
1160: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1170: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1180: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1190: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c                 \
11a0: 0a 7d 0a 0a 23 64 65 66 69 6e 65 20 52 45 41 44  .}..#define READ
11b0: 5f 55 54 46 31 36 4c 45 28 7a 49 6e 2c 20 7a 54  _UTF16LE(zIn, zT
11c0: 65 72 6d 2c 20 63 29 7b 20 20 20 20 20 20 20 20  erm, c){        
11d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
11e0: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 63 20            \.  c 
11f0: 3d 20 28 2a 7a 49 6e 2b 2b 29 3b 20 20 20 20 20  = (*zIn++);     
1200: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1210: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1220: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1230: 20 20 5c 0a 20 20 63 20 2b 3d 20 28 28 2a 7a 49    \.  c += ((*zI
1240: 6e 2b 2b 29 3c 3c 38 29 3b 20 20 20 20 20 20 20  n++)<<8);       
1250: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1260: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1270: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 69 66            \.  if
1280: 28 20 63 3e 3d 30 78 44 38 30 30 20 26 26 20 63  ( c>=0xD800 && c
1290: 3c 30 78 45 30 30 30 20 26 26 20 7a 49 6e 3c 7a  <0xE000 && zIn<z
12a0: 54 65 72 6d 20 29 7b 20 20 20 20 20 20 20 20 20  Term ){         
12b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
12c0: 20 20 5c 0a 20 20 20 20 69 6e 74 20 63 32 20 3d    \.    int c2 =
12d0: 20 28 2a 7a 49 6e 2b 2b 29 3b 20 20 20 20 20 20   (*zIn++);      
12e0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
12f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1300: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20            \.    
1310: 63 32 20 2b 3d 20 28 28 2a 7a 49 6e 2b 2b 29 3c  c2 += ((*zIn++)<
1320: 3c 38 29 3b 20 20 20 20 20 20 20 20 20 20 20 20  <8);            
1330: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1340: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1350: 20 20 5c 0a 20 20 20 20 63 20 3d 20 28 63 32 26    \.    c = (c2&
1360: 30 78 30 33 46 46 29 20 2b 20 28 28 63 26 30 78  0x03FF) + ((c&0x
1370: 30 30 33 46 29 3c 3c 31 30 29 20 2b 20 28 28 28  003F)<<10) + (((
1380: 63 26 30 78 30 33 43 30 29 2b 30 78 30 30 34 30  c&0x03C0)+0x0040
1390: 29 3c 3c 31 30 29 3b 20 20 20 5c 0a 20 20 7d 20  )<<10);   \.  } 
13a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
13b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
13c0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
13d0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
13e0: 20 20 5c 0a 7d 0a 0a 23 64 65 66 69 6e 65 20 52    \.}..#define R
13f0: 45 41 44 5f 55 54 46 31 36 42 45 28 7a 49 6e 2c  EAD_UTF16BE(zIn,
1400: 20 7a 54 65 72 6d 2c 20 63 29 7b 20 20 20 20 20   zTerm, c){     
1410: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1420: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
1430: 20 63 20 3d 20 28 28 2a 7a 49 6e 2b 2b 29 3c 3c   c = ((*zIn++)<<
1440: 38 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20  8);             
1450: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1460: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1470: 20 20 20 20 20 5c 0a 20 20 63 20 2b 3d 20 28 2a       \.  c += (*
1480: 7a 49 6e 2b 2b 29 3b 20 20 20 20 20 20 20 20 20  zIn++);         
1490: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
14a0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
14b0: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
14c0: 20 69 66 28 20 63 3e 3d 30 78 44 38 30 30 20 26   if( c>=0xD800 &
14d0: 26 20 63 3c 30 78 45 30 30 30 20 26 26 20 7a 49  & c<0xE000 && zI
14e0: 6e 3c 7a 54 65 72 6d 20 29 7b 20 20 20 20 20 20  n<zTerm ){      
14f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1500: 20 20 20 20 20 5c 0a 20 20 20 20 69 6e 74 20 63       \.    int c
1510: 32 20 3d 20 28 28 2a 7a 49 6e 2b 2b 29 3c 3c 38  2 = ((*zIn++)<<8
1520: 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  );              
1530: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1540: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
1550: 20 20 20 63 32 20 2b 3d 20 28 2a 7a 49 6e 2b 2b     c2 += (*zIn++
1560: 29 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20  );              
1570: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1580: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1590: 20 20 20 20 20 5c 0a 20 20 20 20 63 20 3d 20 28       \.    c = (
15a0: 63 32 26 30 78 30 33 46 46 29 20 2b 20 28 28 63  c2&0x03FF) + ((c
15b0: 26 30 78 30 30 33 46 29 3c 3c 31 30 29 20 2b 20  &0x003F)<<10) + 
15c0: 28 28 28 63 26 30 78 30 33 43 30 29 2b 30 78 30  (((c&0x03C0)+0x0
15d0: 30 34 30 29 3c 3c 31 30 29 3b 20 20 20 5c 0a 20  040)<<10);   \. 
15e0: 20 7d 20 20 20 20 20 20 20 20 20 20 20 20 20 20   }              
15f0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1600: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1610: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1620: 20 20 20 20 20 5c 0a 7d 0a 0a 2f 2a 0a 2a 2a 20       \.}../*.** 
1630: 54 72 61 6e 73 6c 61 74 65 20 61 20 73 69 6e 67  Translate a sing
1640: 6c 65 20 55 54 46 2d 38 20 63 68 61 72 61 63 74  le UTF-8 charact
1650: 65 72 2e 20 20 52 65 74 75 72 6e 20 74 68 65 20  er.  Return the 
1660: 75 6e 69 63 6f 64 65 20 76 61 6c 75 65 2e 0a 2a  unicode value..*
1670: 2a 0a 2a 2a 20 44 75 72 69 6e 67 20 74 72 61 6e  *.** During tran
1680: 73 6c 61 74 69 6f 6e 2c 20 61 73 73 75 6d 65 20  slation, assume 
1690: 74 68 61 74 20 74 68 65 20 62 79 74 65 20 74 68  that the byte th
16a0: 61 74 20 7a 54 65 72 6d 20 70 6f 69 6e 74 73 0a  at zTerm points.
16b0: 2a 2a 20 69 73 20 61 20 30 78 30 30 2e 0a 2a 2a  ** is a 0x00..**
16c0: 0a 2a 2a 20 57 72 69 74 65 20 61 20 70 6f 69 6e  .** Write a poin
16d0: 74 65 72 20 74 6f 20 74 68 65 20 6e 65 78 74 20  ter to the next 
16e0: 75 6e 72 65 61 64 20 62 79 74 65 20 62 61 63 6b  unread byte back
16f0: 20 69 6e 74 6f 20 2a 70 7a 4e 65 78 74 2e 0a 2a   into *pzNext..*
1700: 2a 0a 2a 2a 20 4e 6f 74 65 73 20 4f 6e 20 49 6e  *.** Notes On In
1710: 76 61 6c 69 64 20 55 54 46 2d 38 3a 0a 2a 2a 0a  valid UTF-8:.**.
1720: 2a 2a 20 20 2a 20 20 54 68 69 73 20 72 6f 75 74  **  *  This rout
1730: 69 6e 65 20 6e 65 76 65 72 20 61 6c 6c 6f 77 73  ine never allows
1740: 20 61 20 37 2d 62 69 74 20 63 68 61 72 61 63 74   a 7-bit charact
1750: 65 72 20 28 30 78 30 30 20 74 68 72 6f 75 67 68  er (0x00 through
1760: 20 30 78 37 66 29 20 74 6f 0a 2a 2a 20 20 20 20   0x7f) to.**    
1770: 20 62 65 20 65 6e 63 6f 64 65 64 20 61 73 20 61   be encoded as a
1780: 20 6d 75 6c 74 69 2d 62 79 74 65 20 63 68 61 72   multi-byte char
1790: 61 63 74 65 72 2e 20 20 41 6e 79 20 6d 75 6c 74  acter.  Any mult
17a0: 69 2d 62 79 74 65 20 63 68 61 72 61 63 74 65 72  i-byte character
17b0: 20 74 68 61 74 0a 2a 2a 20 20 20 20 20 61 74 74   that.**     att
17c0: 65 6d 70 74 73 20 74 6f 20 65 6e 63 6f 64 65 20  empts to encode 
17d0: 61 20 76 61 6c 75 65 20 62 65 74 77 65 65 6e 20  a value between 
17e0: 30 78 30 30 20 61 6e 64 20 30 78 37 66 20 69 73  0x00 and 0x7f is
17f0: 20 72 65 6e 64 65 72 65 64 20 61 73 20 30 78 66   rendered as 0xf
1800: 66 66 64 2e 0a 2a 2a 0a 2a 2a 20 20 2a 20 20 54  ffd..**.**  *  T
1810: 68 69 73 20 72 6f 75 74 69 6e 65 20 6e 65 76 65  his routine neve
1820: 72 20 61 6c 6c 6f 77 73 20 61 20 55 54 46 31 36  r allows a UTF16
1830: 20 73 75 72 72 6f 67 61 74 65 20 76 61 6c 75 65   surrogate value
1840: 20 74 6f 20 62 65 20 65 6e 63 6f 64 65 64 2e 0a   to be encoded..
1850: 2a 2a 20 20 20 20 20 49 66 20 61 20 6d 75 6c 74  **     If a mult
1860: 69 2d 62 79 74 65 20 63 68 61 72 61 63 74 65 72  i-byte character
1870: 20 61 74 74 65 6d 70 74 73 20 74 6f 20 65 6e 63   attempts to enc
1880: 6f 64 65 20 61 20 76 61 6c 75 65 20 62 65 74 77  ode a value betw
1890: 65 65 6e 0a 2a 2a 20 20 20 20 20 30 78 64 38 30  een.**     0xd80
18a0: 30 20 61 6e 64 20 30 78 65 30 30 30 20 74 68 65  0 and 0xe000 the
18b0: 6e 20 69 74 20 69 73 20 72 65 6e 64 65 72 65 64  n it is rendered
18c0: 20 61 73 20 30 78 66 66 66 64 2e 0a 2a 2a 0a 2a   as 0xfffd..**.*
18d0: 2a 20 20 2a 20 20 42 79 74 65 73 20 69 6e 20 74  *  *  Bytes in t
18e0: 68 65 20 72 61 6e 67 65 20 6f 66 20 30 78 38 30  he range of 0x80
18f0: 20 74 68 72 6f 75 67 68 20 30 78 62 66 20 77 68   through 0xbf wh
1900: 69 63 68 20 6f 63 63 75 72 20 61 73 20 74 68 65  ich occur as the
1910: 20 66 69 72 73 74 0a 2a 2a 20 20 20 20 20 62 79   first.**     by
1920: 74 65 20 6f 66 20 61 20 63 68 61 72 61 63 74 65  te of a characte
1930: 72 20 61 72 65 20 69 6e 74 65 72 70 72 65 74 65  r are interprete
1940: 64 20 61 73 20 73 69 6e 67 6c 65 2d 62 79 74 65  d as single-byte
1950: 20 63 68 61 72 61 63 74 65 72 73 0a 2a 2a 20 20   characters.**  
1960: 20 20 20 61 6e 64 20 72 65 6e 64 65 72 65 64 20     and rendered 
1970: 61 73 20 74 68 65 6d 73 65 6c 76 65 73 20 65 76  as themselves ev
1980: 65 6e 20 74 68 6f 75 67 68 20 74 68 65 79 20 61  en though they a
1990: 72 65 20 74 65 63 68 6e 69 63 61 6c 6c 79 0a 2a  re technically.*
19a0: 2a 20 20 20 20 20 69 6e 76 61 6c 69 64 20 63 68  *     invalid ch
19b0: 61 72 61 63 74 65 72 73 2e 0a 2a 2a 0a 2a 2a 20  aracters..**.** 
19c0: 20 2a 20 20 54 68 69 73 20 72 6f 75 74 69 6e 65   *  This routine
19d0: 20 61 63 63 65 70 74 73 20 61 6e 20 69 6e 66 69   accepts an infi
19e0: 6e 69 74 65 20 6e 75 6d 62 65 72 20 6f 66 20 64  nite number of d
19f0: 69 66 66 65 72 65 6e 74 20 55 54 46 38 20 65 6e  ifferent UTF8 en
1a00: 63 6f 64 69 6e 67 73 0a 2a 2a 20 20 20 20 20 66  codings.**     f
1a10: 6f 72 20 75 6e 69 63 6f 64 65 20 76 61 6c 75 65  or unicode value
1a20: 73 20 30 78 38 30 20 61 6e 64 20 67 72 65 61 74  s 0x80 and great
1a30: 65 72 2e 20 20 49 74 20 64 6f 20 6e 6f 74 20 63  er.  It do not c
1a40: 68 61 6e 67 65 20 6f 76 65 72 2d 6c 65 6e 67 74  hange over-lengt
1a50: 68 0a 2a 2a 20 20 20 20 20 65 6e 63 6f 64 69 6e  h.**     encodin
1a60: 67 73 20 74 6f 20 30 78 66 66 66 64 20 61 73 20  gs to 0xfffd as 
1a70: 73 6f 6d 65 20 73 79 73 74 65 6d 73 20 72 65 63  some systems rec
1a80: 6f 6d 6d 65 6e 64 2e 0a 2a 2f 0a 23 64 65 66 69  ommend..*/.#defi
1a90: 6e 65 20 52 45 41 44 5f 55 54 46 38 28 7a 49 6e  ne READ_UTF8(zIn
1aa0: 2c 20 7a 54 65 72 6d 2c 20 63 29 20 20 20 20 20  , zTerm, c)     
1ab0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1ac0: 20 20 20 20 20 20 5c 0a 20 20 63 20 3d 20 2a 28        \.  c = *(
1ad0: 7a 49 6e 2b 2b 29 3b 20 20 20 20 20 20 20 20 20  zIn++);         
1ae0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1af0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1b00: 20 20 20 5c 0a 20 20 69 66 28 20 63 3e 3d 30 78     \.  if( c>=0x
1b10: 63 30 20 29 7b 20 20 20 20 20 20 20 20 20 20 20  c0 ){           
1b20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1b30: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1b40: 5c 0a 20 20 20 20 63 20 3d 20 73 71 6c 69 74 65  \.    c = sqlite
1b50: 33 55 74 66 38 54 72 61 6e 73 31 5b 63 2d 30 78  3Utf8Trans1[c-0x
1b60: 63 30 5d 3b 20 20 20 20 20 20 20 20 20 20 20 20  c0];            
1b70: 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a 20               \. 
1b80: 20 20 20 77 68 69 6c 65 28 20 7a 49 6e 21 3d 7a     while( zIn!=z
1b90: 54 65 72 6d 20 26 26 20 28 2a 7a 49 6e 20 26 20  Term && (*zIn & 
1ba0: 30 78 63 30 29 3d 3d 30 78 38 30 20 29 7b 20 20  0xc0)==0x80 ){  
1bb0: 20 20 20 20 20 20 20 20 20 20 5c 0a 20 20 20 20            \.    
1bc0: 20 20 63 20 3d 20 28 63 3c 3c 36 29 20 2b 20 28    c = (c<<6) + (
1bd0: 30 78 33 66 20 26 20 2a 28 7a 49 6e 2b 2b 29 29  0x3f & *(zIn++))
1be0: 3b 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20  ;               
1bf0: 20 20 20 20 20 20 20 5c 0a 20 20 20 20 7d 20 20         \.    }  
1c00: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c10: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c20: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c30: 20 20 20 20 5c 0a 20 20 20 20 69 66 28 20 63 3c      \.    if( c<
1c40: 30 78 38 30 20 20 20 20 20 20 20 20 20 20 20 20  0x80            
1c50: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c60: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
1c70: 20 5c 0a 20 20 20 20 20 20 20 20 7c 7c 20 28 63   \.        || (c
1c80: 26 30 78 46 46 46 46 46 38 30 30 29 3d 3d 30 78  &0xFFFFF800)==0x
1c90: 44 38 30 30 20 20 20 20 20 20 20 20 20 20 20 20  D800            
1ca0: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 5c 0a                \.
1cb0: 20 20 20 20 20 20 20 20 7c 7c 20 28 63 26 30 78          || (c&0x
1cc0: 46 46 46 46 46 46 46 45 29 3d 3d 30 78 46 46 46  FFFFFFFE)==0xFFF
1cd0: 45 20 29 7b 20 20 63 20 3d 20 30 78 46 46 46 44  E ){  c = 0xFFFD
1ce0: 3b 20 7d 20 20 20 20 20 20 20 20 5c 0a 20 20 7d  ; }        \.  }
1cf0: 0a 69 6e 74 20 73 71 6c 69 74 65 33 55 74 66 38  .int sqlite3Utf8
1d00: 52 65 61 64 28 0a 20 20 63 6f 6e 73 74 20 75 6e  Read(.  const un
1d10: 73 69 67 6e 65 64 20 63 68 61 72 20 2a 7a 49 6e  signed char *zIn
1d20: 2c 20 20 20 20 20 20 20 2f 2a 20 46 69 72 73 74  ,       /* First
1d30: 20 62 79 74 65 20 6f 66 20 55 54 46 2d 38 20 63   byte of UTF-8 c
1d40: 68 61 72 61 63 74 65 72 20 2a 2f 0a 20 20 63 6f  haracter */.  co
1d50: 6e 73 74 20 75 6e 73 69 67 6e 65 64 20 63 68 61  nst unsigned cha
1d60: 72 20 2a 2a 70 7a 4e 65 78 74 20 20 20 20 2f 2a  r **pzNext    /*
1d70: 20 57 72 69 74 65 20 66 69 72 73 74 20 62 79 74   Write first byt
1d80: 65 20 70 61 73 74 20 55 54 46 2d 38 20 63 68 61  e past UTF-8 cha
1d90: 72 20 68 65 72 65 20 2a 2f 0a 29 7b 0a 20 20 69  r here */.){.  i
1da0: 6e 74 20 63 3b 0a 0a 20 20 2f 2a 20 53 61 6d 65  nt c;..  /* Same
1db0: 20 61 73 20 52 45 41 44 5f 55 54 46 38 28 29 20   as READ_UTF8() 
1dc0: 61 62 6f 76 65 20 62 75 74 20 77 69 74 68 6f 75  above but withou
1dd0: 74 20 74 68 65 20 7a 54 65 72 6d 20 70 61 72 61  t the zTerm para
1de0: 6d 65 74 65 72 2e 0a 20 20 2a 2a 20 46 6f 72 20  meter..  ** For 
1df0: 74 68 69 73 20 72 6f 75 74 69 6e 65 2c 20 77 65  this routine, we
1e00: 20 61 73 73 75 6d 65 20 74 68 65 20 55 54 46 38   assume the UTF8
1e10: 20 73 74 72 69 6e 67 20 69 73 20 61 6c 77 61 79   string is alway
1e20: 73 20 7a 65 72 6f 2d 74 65 72 6d 69 6e 61 74 65  s zero-terminate
1e30: 64 2e 0a 20 20 2a 2f 0a 20 20 63 20 3d 20 2a 28  d..  */.  c = *(
1e40: 7a 49 6e 2b 2b 29 3b 0a 20 20 69 66 28 20 63 3e  zIn++);.  if( c>
1e50: 3d 30 78 63 30 20 29 7b 0a 20 20 20 20 63 20 3d  =0xc0 ){.    c =
1e60: 20 73 71 6c 69 74 65 33 55 74 66 38 54 72 61 6e   sqlite3Utf8Tran
1e70: 73 31 5b 63 2d 30 78 63 30 5d 3b 0a 20 20 20 20  s1[c-0xc0];.    
1e80: 77 68 69 6c 65 28 20 28 2a 7a 49 6e 20 26 20 30  while( (*zIn & 0
1e90: 78 63 30 29 3d 3d 30 78 38 30 20 29 7b 0a 20 20  xc0)==0x80 ){.  
1ea0: 20 20 20 20 63 20 3d 20 28 63 3c 3c 36 29 20 2b      c = (c<<6) +
1eb0: 20 28 30 78 33 66 20 26 20 2a 28 7a 49 6e 2b 2b   (0x3f & *(zIn++
1ec0: 29 29 3b 0a 20 20 20 20 7d 0a 20 20 20 20 69 66  ));.    }.    if
1ed0: 28 20 63 3c 30 78 38 30 0a 20 20 20 20 20 20 20  ( c<0x80.       
1ee0: 20 7c 7c 20 28 63 26 30 78 46 46 46 46 46 38 30   || (c&0xFFFFF80
1ef0: 30 29 3d 3d 30 78 44 38 30 30 0a 20 20 20 20 20  0)==0xD800.     
1f00: 20 20 20 7c 7c 20 28 63 26 30 78 46 46 46 46 46     || (c&0xFFFFF
1f10: 46 46 45 29 3d 3d 30 78 46 46 46 45 20 29 7b 20  FFE)==0xFFFE ){ 
1f20: 20 63 20 3d 20 30 78 46 46 46 44 3b 20 7d 0a 20   c = 0xFFFD; }. 
1f30: 20 7d 0a 20 20 2a 70 7a 4e 65 78 74 20 3d 20 7a   }.  *pzNext = z
1f40: 49 6e 3b 0a 20 20 72 65 74 75 72 6e 20 63 3b 0a  In;.  return c;.
1f50: 7d 0a 0a 0a 0a 0a 2f 2a 0a 2a 2a 20 49 66 20 74  }...../*.** If t
1f60: 68 65 20 54 52 41 4e 53 4c 41 54 45 5f 54 52 41  he TRANSLATE_TRA
1f70: 43 45 20 6d 61 63 72 6f 20 69 73 20 64 65 66 69  CE macro is defi
1f80: 6e 65 64 2c 20 74 68 65 20 76 61 6c 75 65 20 6f  ned, the value o
1f90: 66 20 65 61 63 68 20 4d 65 6d 20 69 73 0a 2a 2a  f each Mem is.**
1fa0: 20 70 72 69 6e 74 65 64 20 6f 6e 20 73 74 64 65   printed on stde
1fb0: 72 72 20 6f 6e 20 74 68 65 20 77 61 79 20 69 6e  rr on the way in
1fc0: 74 6f 20 61 6e 64 20 6f 75 74 20 6f 66 20 73 71  to and out of sq
1fd0: 6c 69 74 65 33 56 64 62 65 4d 65 6d 54 72 61 6e  lite3VdbeMemTran
1fe0: 73 6c 61 74 65 28 29 2e 0a 2a 2f 20 0a 2f 2a 20  slate()..*/ ./* 
1ff0: 23 64 65 66 69 6e 65 20 54 52 41 4e 53 4c 41 54  #define TRANSLAT
2000: 45 5f 54 52 41 43 45 20 31 20 2a 2f 0a 0a 23 69  E_TRACE 1 */..#i
2010: 66 6e 64 65 66 20 53 51 4c 49 54 45 5f 4f 4d 49  fndef SQLITE_OMI
2020: 54 5f 55 54 46 31 36 0a 2f 2a 0a 2a 2a 20 54 68  T_UTF16./*.** Th
2030: 69 73 20 72 6f 75 74 69 6e 65 20 74 72 61 6e 73  is routine trans
2040: 66 6f 72 6d 73 20 74 68 65 20 69 6e 74 65 72 6e  forms the intern
2050: 61 6c 20 74 65 78 74 20 65 6e 63 6f 64 69 6e 67  al text encoding
2060: 20 75 73 65 64 20 62 79 20 70 4d 65 6d 20 74 6f   used by pMem to
2070: 0a 2a 2a 20 64 65 73 69 72 65 64 45 6e 63 2e 20  .** desiredEnc. 
2080: 49 74 20 69 73 20 61 6e 20 65 72 72 6f 72 20 69  It is an error i
2090: 66 20 74 68 65 20 73 74 72 69 6e 67 20 69 73 20  f the string is 
20a0: 61 6c 72 65 61 64 79 20 6f 66 20 74 68 65 20 64  already of the d
20b0: 65 73 69 72 65 64 0a 2a 2a 20 65 6e 63 6f 64 69  esired.** encodi
20c0: 6e 67 2c 20 6f 72 20 69 66 20 2a 70 4d 65 6d 20  ng, or if *pMem 
20d0: 64 6f 65 73 20 6e 6f 74 20 63 6f 6e 74 61 69 6e  does not contain
20e0: 20 61 20 73 74 72 69 6e 67 20 76 61 6c 75 65 2e   a string value.
20f0: 0a 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 56  .*/.int sqlite3V
2100: 64 62 65 4d 65 6d 54 72 61 6e 73 6c 61 74 65 28  dbeMemTranslate(
2110: 4d 65 6d 20 2a 70 4d 65 6d 2c 20 75 38 20 64 65  Mem *pMem, u8 de
2120: 73 69 72 65 64 45 6e 63 29 7b 0a 20 20 69 6e 74  siredEnc){.  int
2130: 20 6c 65 6e 3b 20 20 20 20 20 20 20 20 20 20 20   len;           
2140: 20 20 20 20 20 20 20 20 20 2f 2a 20 4d 61 78 69           /* Maxi
2150: 6d 75 6d 20 6c 65 6e 67 74 68 20 6f 66 20 6f 75  mum length of ou
2160: 74 70 75 74 20 73 74 72 69 6e 67 20 69 6e 20 62  tput string in b
2170: 79 74 65 73 20 2a 2f 0a 20 20 75 6e 73 69 67 6e  ytes */.  unsign
2180: 65 64 20 63 68 61 72 20 2a 7a 4f 75 74 3b 20 20  ed char *zOut;  
2190: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
21a0: 2f 2a 20 4f 75 74 70 75 74 20 62 75 66 66 65 72  /* Output buffer
21b0: 20 2a 2f 0a 20 20 75 6e 73 69 67 6e 65 64 20 63   */.  unsigned c
21c0: 68 61 72 20 2a 7a 49 6e 3b 20 20 20 20 20 20 20  har *zIn;       
21d0: 20 20 20 20 20 20 20 20 20 20 20 20 2f 2a 20 49              /* I
21e0: 6e 70 75 74 20 69 74 65 72 61 74 6f 72 20 2a 2f  nput iterator */
21f0: 0a 20 20 75 6e 73 69 67 6e 65 64 20 63 68 61 72  .  unsigned char
2200: 20 2a 7a 54 65 72 6d 3b 20 20 20 20 20 20 20 20   *zTerm;        
2210: 20 20 20 20 20 20 20 20 20 2f 2a 20 45 6e 64 20           /* End 
2220: 6f 66 20 69 6e 70 75 74 20 2a 2f 0a 20 20 75 6e  of input */.  un
2230: 73 69 67 6e 65 64 20 63 68 61 72 20 2a 7a 3b 20  signed char *z; 
2240: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20                  
2250: 20 20 20 20 2f 2a 20 4f 75 74 70 75 74 20 69 74      /* Output it
2260: 65 72 61 74 6f 72 20 2a 2f 0a 20 20 75 6e 73 69  erator */.  unsi
2270: 67 6e 65 64 20 69 6e 74 20 63 3b 0a 0a 20 20 61  gned int c;..  a
2280: 73 73 65 72 74 28 20 70 4d 65 6d 2d 3e 64 62 3d  ssert( pMem->db=
2290: 3d 30 20 7c 7c 20 73 71 6c 69 74 65 33 5f 6d 75  =0 || sqlite3_mu
22a0: 74 65 78 5f 68 65 6c 64 28 70 4d 65 6d 2d 3e 64  tex_held(pMem->d
22b0: 62 2d 3e 6d 75 74 65 78 29 20 29 3b 0a 20 20 61  b->mutex) );.  a
22c0: 73 73 65 72 74 28 20 70 4d 65 6d 2d 3e 66 6c 61  ssert( pMem->fla
22d0: 67 73 26 4d 45 4d 5f 53 74 72 20 29 3b 0a 20 20  gs&MEM_Str );.  
22e0: 61 73 73 65 72 74 28 20 70 4d 65 6d 2d 3e 65 6e  assert( pMem->en
22f0: 63 21 3d 64 65 73 69 72 65 64 45 6e 63 20 29 3b  c!=desiredEnc );
2300: 0a 20 20 61 73 73 65 72 74 28 20 70 4d 65 6d 2d  .  assert( pMem-
2310: 3e 65 6e 63 21 3d 30 20 29 3b 0a 20 20 61 73 73  >enc!=0 );.  ass
2320: 65 72 74 28 20 70 4d 65 6d 2d 3e 6e 3e 3d 30 20  ert( pMem->n>=0 
2330: 29 3b 0a 0a 23 69 66 20 64 65 66 69 6e 65 64 28  );..#if defined(
2340: 54 52 41 4e 53 4c 41 54 45 5f 54 52 41 43 45 29  TRANSLATE_TRACE)
2350: 20 26 26 20 64 65 66 69 6e 65 64 28 53 51 4c 49   && defined(SQLI
2360: 54 45 5f 44 45 42 55 47 29 0a 20 20 7b 0a 20 20  TE_DEBUG).  {.  
2370: 20 20 63 68 61 72 20 7a 42 75 66 5b 31 30 30 5d    char zBuf[100]
2380: 3b 0a 20 20 20 20 73 71 6c 69 74 65 33 56 64 62  ;.    sqlite3Vdb
2390: 65 4d 65 6d 50 72 65 74 74 79 50 72 69 6e 74 28  eMemPrettyPrint(
23a0: 70 4d 65 6d 2c 20 7a 42 75 66 29 3b 0a 20 20 20  pMem, zBuf);.   
23b0: 20 66 70 72 69 6e 74 66 28 73 74 64 65 72 72 2c   fprintf(stderr,
23c0: 20 22 49 4e 50 55 54 3a 20 20 25 73 5c 6e 22 2c   "INPUT:  %s\n",
23d0: 20 7a 42 75 66 29 3b 0a 20 20 7d 0a 23 65 6e 64   zBuf);.  }.#end
23e0: 69 66 0a 0a 20 20 2f 2a 20 49 66 20 74 68 65 20  if..  /* If the 
23f0: 74 72 61 6e 73 6c 61 74 69 6f 6e 20 69 73 20 62  translation is b
2400: 65 74 77 65 65 6e 20 55 54 46 2d 31 36 20 6c 69  etween UTF-16 li
2410: 74 74 6c 65 20 61 6e 64 20 62 69 67 20 65 6e 64  ttle and big end
2420: 69 61 6e 2c 20 74 68 65 6e 20 0a 20 20 2a 2a 20  ian, then .  ** 
2430: 61 6c 6c 20 74 68 61 74 20 69 73 20 72 65 71 75  all that is requ
2440: 69 72 65 64 20 69 73 20 74 6f 20 73 77 61 70 20  ired is to swap 
2450: 74 68 65 20 62 79 74 65 20 6f 72 64 65 72 2e 20  the byte order. 
2460: 54 68 69 73 20 63 61 73 65 20 69 73 20 68 61 6e  This case is han
2470: 64 6c 65 64 0a 20 20 2a 2a 20 64 69 66 66 65 72  dled.  ** differ
2480: 65 6e 74 6c 79 20 66 72 6f 6d 20 74 68 65 20 6f  ently from the o
2490: 74 68 65 72 73 2e 0a 20 20 2a 2f 0a 20 20 69 66  thers..  */.  if
24a0: 28 20 70 4d 65 6d 2d 3e 65 6e 63 21 3d 53 51 4c  ( pMem->enc!=SQL
24b0: 49 54 45 5f 55 54 46 38 20 26 26 20 64 65 73 69  ITE_UTF8 && desi
24c0: 72 65 64 45 6e 63 21 3d 53 51 4c 49 54 45 5f 55  redEnc!=SQLITE_U
24d0: 54 46 38 20 29 7b 0a 20 20 20 20 75 38 20 74 65  TF8 ){.    u8 te
24e0: 6d 70 3b 0a 20 20 20 20 69 6e 74 20 72 63 3b 0a  mp;.    int rc;.
24f0: 20 20 20 20 72 63 20 3d 20 73 71 6c 69 74 65 33      rc = sqlite3
2500: 56 64 62 65 4d 65 6d 4d 61 6b 65 57 72 69 74 65  VdbeMemMakeWrite
2510: 61 62 6c 65 28 70 4d 65 6d 29 3b 0a 20 20 20 20  able(pMem);.    
2520: 69 66 28 20 72 63 21 3d 53 51 4c 49 54 45 5f 4f  if( rc!=SQLITE_O
2530: 4b 20 29 7b 0a 20 20 20 20 20 20 61 73 73 65 72  K ){.      asser
2540: 74 28 20 72 63 3d 3d 53 51 4c 49 54 45 5f 4e 4f  t( rc==SQLITE_NO
2550: 4d 45 4d 20 29 3b 0a 20 20 20 20 20 20 72 65 74  MEM );.      ret
2560: 75 72 6e 20 53 51 4c 49 54 45 5f 4e 4f 4d 45 4d  urn SQLITE_NOMEM
2570: 3b 0a 20 20 20 20 7d 0a 20 20 20 20 7a 49 6e 20  ;.    }.    zIn 
2580: 3d 20 28 75 38 2a 29 70 4d 65 6d 2d 3e 7a 3b 0a  = (u8*)pMem->z;.
2590: 20 20 20 20 7a 54 65 72 6d 20 3d 20 26 7a 49 6e      zTerm = &zIn
25a0: 5b 70 4d 65 6d 2d 3e 6e 26 7e 31 5d 3b 0a 20 20  [pMem->n&~1];.  
25b0: 20 20 77 68 69 6c 65 28 20 7a 49 6e 3c 7a 54 65    while( zIn<zTe
25c0: 72 6d 20 29 7b 0a 20 20 20 20 20 20 74 65 6d 70  rm ){.      temp
25d0: 20 3d 20 2a 7a 49 6e 3b 0a 20 20 20 20 20 20 2a   = *zIn;.      *
25e0: 7a 49 6e 20 3d 20 2a 28 7a 49 6e 2b 31 29 3b 0a  zIn = *(zIn+1);.
25f0: 20 20 20 20 20 20 7a 49 6e 2b 2b 3b 0a 20 20 20        zIn++;.   
2600: 20 20 20 2a 7a 49 6e 2b 2b 20 3d 20 74 65 6d 70     *zIn++ = temp
2610: 3b 0a 20 20 20 20 7d 0a 20 20 20 20 70 4d 65 6d  ;.    }.    pMem
2620: 2d 3e 65 6e 63 20 3d 20 64 65 73 69 72 65 64 45  ->enc = desiredE
2630: 6e 63 3b 0a 20 20 20 20 67 6f 74 6f 20 74 72 61  nc;.    goto tra
2640: 6e 73 6c 61 74 65 5f 6f 75 74 3b 0a 20 20 7d 0a  nslate_out;.  }.
2650: 0a 20 20 2f 2a 20 53 65 74 20 6c 65 6e 20 74 6f  .  /* Set len to
2660: 20 74 68 65 20 6d 61 78 69 6d 75 6d 20 6e 75 6d   the maximum num
2670: 62 65 72 20 6f 66 20 62 79 74 65 73 20 72 65 71  ber of bytes req
2680: 75 69 72 65 64 20 69 6e 20 74 68 65 20 6f 75 74  uired in the out
2690: 70 75 74 20 62 75 66 66 65 72 2e 20 2a 2f 0a 20  put buffer. */. 
26a0: 20 69 66 28 20 64 65 73 69 72 65 64 45 6e 63 3d   if( desiredEnc=
26b0: 3d 53 51 4c 49 54 45 5f 55 54 46 38 20 29 7b 0a  =SQLITE_UTF8 ){.
26c0: 20 20 20 20 2f 2a 20 57 68 65 6e 20 63 6f 6e 76      /* When conv
26d0: 65 72 74 69 6e 67 20 66 72 6f 6d 20 55 54 46 2d  erting from UTF-
26e0: 31 36 2c 20 74 68 65 20 6d 61 78 69 6d 75 6d 20  16, the maximum 
26f0: 67 72 6f 77 74 68 20 72 65 73 75 6c 74 73 20 66  growth results f
2700: 72 6f 6d 0a 20 20 20 20 2a 2a 20 74 72 61 6e 73  rom.    ** trans
2710: 6c 61 74 69 6e 67 20 61 20 32 2d 62 79 74 65 20  lating a 2-byte 
2720: 63 68 61 72 61 63 74 65 72 20 74 6f 20 61 20 34  character to a 4
2730: 2d 62 79 74 65 20 55 54 46 2d 38 20 63 68 61 72  -byte UTF-8 char
2740: 61 63 74 65 72 2e 0a 20 20 20 20 2a 2a 20 41 20  acter..    ** A 
2750: 73 69 6e 67 6c 65 20 62 79 74 65 20 69 73 20 72  single byte is r
2760: 65 71 75 69 72 65 64 20 66 6f 72 20 74 68 65 20  equired for the 
2770: 6f 75 74 70 75 74 20 73 74 72 69 6e 67 0a 20 20  output string.  
2780: 20 20 2a 2a 20 6e 75 6c 2d 74 65 72 6d 69 6e 61    ** nul-termina
2790: 74 6f 72 2e 0a 20 20 20 20 2a 2f 0a 20 20 20 20  tor..    */.    
27a0: 70 4d 65 6d 2d 3e 6e 20 26 3d 20 7e 31 3b 0a 20  pMem->n &= ~1;. 
27b0: 20 20 20 6c 65 6e 20 3d 20 70 4d 65 6d 2d 3e 6e     len = pMem->n
27c0: 20 2a 20 32 20 2b 20 31 3b 0a 20 20 7d 65 6c 73   * 2 + 1;.  }els
27d0: 65 7b 0a 20 20 20 20 2f 2a 20 57 68 65 6e 20 63  e{.    /* When c
27e0: 6f 6e 76 65 72 74 69 6e 67 20 66 72 6f 6d 20 55  onverting from U
27f0: 54 46 2d 38 20 74 6f 20 55 54 46 2d 31 36 20 74  TF-8 to UTF-16 t
2800: 68 65 20 6d 61 78 69 6d 75 6d 20 67 72 6f 77 74  he maximum growt
2810: 68 20 69 73 20 63 61 75 73 65 64 0a 20 20 20 20  h is caused.    
2820: 2a 2a 20 77 68 65 6e 20 61 20 31 2d 62 79 74 65  ** when a 1-byte
2830: 20 55 54 46 2d 38 20 63 68 61 72 61 63 74 65 72   UTF-8 character
2840: 20 69 73 20 74 72 61 6e 73 6c 61 74 65 64 20 69   is translated i
2850: 6e 74 6f 20 61 20 32 2d 62 79 74 65 20 55 54 46  nto a 2-byte UTF
2860: 2d 31 36 0a 20 20 20 20 2a 2a 20 63 68 61 72 61  -16.    ** chara
2870: 63 74 65 72 2e 20 54 77 6f 20 62 79 74 65 73 20  cter. Two bytes 
2880: 61 72 65 20 72 65 71 75 69 72 65 64 20 69 6e 20  are required in 
2890: 74 68 65 20 6f 75 74 70 75 74 20 62 75 66 66 65  the output buffe
28a0: 72 20 66 6f 72 20 74 68 65 0a 20 20 20 20 2a 2a  r for the.    **
28b0: 20 6e 75 6c 2d 74 65 72 6d 69 6e 61 74 6f 72 2e   nul-terminator.
28c0: 0a 20 20 20 20 2a 2f 0a 20 20 20 20 6c 65 6e 20  .    */.    len 
28d0: 3d 20 70 4d 65 6d 2d 3e 6e 20 2a 20 32 20 2b 20  = pMem->n * 2 + 
28e0: 32 3b 0a 20 20 7d 0a 0a 20 20 2f 2a 20 53 65 74  2;.  }..  /* Set
28f0: 20 7a 49 6e 20 74 6f 20 70 6f 69 6e 74 20 61 74   zIn to point at
2900: 20 74 68 65 20 73 74 61 72 74 20 6f 66 20 74 68   the start of th
2910: 65 20 69 6e 70 75 74 20 62 75 66 66 65 72 20 61  e input buffer a
2920: 6e 64 20 7a 54 65 72 6d 20 74 6f 20 70 6f 69 6e  nd zTerm to poin
2930: 74 20 31 0a 20 20 2a 2a 20 62 79 74 65 20 70 61  t 1.  ** byte pa
2940: 73 74 20 74 68 65 20 65 6e 64 2e 0a 20 20 2a 2a  st the end..  **
2950: 0a 20 20 2a 2a 20 56 61 72 69 61 62 6c 65 20 7a  .  ** Variable z
2960: 4f 75 74 20 69 73 20 73 65 74 20 74 6f 20 70 6f  Out is set to po
2970: 69 6e 74 20 61 74 20 74 68 65 20 6f 75 74 70 75  int at the outpu
2980: 74 20 62 75 66 66 65 72 2c 20 73 70 61 63 65 20  t buffer, space 
2990: 6f 62 74 61 69 6e 65 64 0a 20 20 2a 2a 20 66 72  obtained.  ** fr
29a0: 6f 6d 20 73 71 6c 69 74 65 33 5f 6d 61 6c 6c 6f  om sqlite3_mallo
29b0: 63 28 29 2e 0a 20 20 2a 2f 0a 20 20 7a 49 6e 20  c()..  */.  zIn 
29c0: 3d 20 28 75 38 2a 29 70 4d 65 6d 2d 3e 7a 3b 0a  = (u8*)pMem->z;.
29d0: 20 20 7a 54 65 72 6d 20 3d 20 26 7a 49 6e 5b 70    zTerm = &zIn[p
29e0: 4d 65 6d 2d 3e 6e 5d 3b 0a 20 20 7a 4f 75 74 20  Mem->n];.  zOut 
29f0: 3d 20 73 71 6c 69 74 65 33 44 62 4d 61 6c 6c 6f  = sqlite3DbMallo
2a00: 63 52 61 77 28 70 4d 65 6d 2d 3e 64 62 2c 20 6c  cRaw(pMem->db, l
2a10: 65 6e 29 3b 0a 20 20 69 66 28 20 21 7a 4f 75 74  en);.  if( !zOut
2a20: 20 29 7b 0a 20 20 20 20 72 65 74 75 72 6e 20 53   ){.    return S
2a30: 51 4c 49 54 45 5f 4e 4f 4d 45 4d 3b 0a 20 20 7d  QLITE_NOMEM;.  }
2a40: 0a 20 20 7a 20 3d 20 7a 4f 75 74 3b 0a 0a 20 20  .  z = zOut;..  
2a50: 69 66 28 20 70 4d 65 6d 2d 3e 65 6e 63 3d 3d 53  if( pMem->enc==S
2a60: 51 4c 49 54 45 5f 55 54 46 38 20 29 7b 0a 20 20  QLITE_UTF8 ){.  
2a70: 20 20 69 66 28 20 64 65 73 69 72 65 64 45 6e 63    if( desiredEnc
2a80: 3d 3d 53 51 4c 49 54 45 5f 55 54 46 31 36 4c 45  ==SQLITE_UTF16LE
2a90: 20 29 7b 0a 20 20 20 20 20 20 2f 2a 20 55 54 46   ){.      /* UTF
2aa0: 2d 38 20 2d 3e 20 55 54 46 2d 31 36 20 4c 69 74  -8 -> UTF-16 Lit
2ab0: 74 6c 65 2d 65 6e 64 69 61 6e 20 2a 2f 0a 20 20  tle-endian */.  
2ac0: 20 20 20 20 77 68 69 6c 65 28 20 7a 49 6e 3c 7a      while( zIn<z
2ad0: 54 65 72 6d 20 29 7b 0a 20 20 20 20 20 20 20 20  Term ){.        
2ae0: 2f 2a 20 63 20 3d 20 73 71 6c 69 74 65 33 55 74  /* c = sqlite3Ut
2af0: 66 38 52 65 61 64 28 7a 49 6e 2c 20 7a 54 65 72  f8Read(zIn, zTer
2b00: 6d 2c 20 28 63 6f 6e 73 74 20 75 38 2a 2a 29 26  m, (const u8**)&
2b10: 7a 49 6e 29 3b 20 2a 2f 0a 20 20 20 20 20 20 20  zIn); */.       
2b20: 20 52 45 41 44 5f 55 54 46 38 28 7a 49 6e 2c 20   READ_UTF8(zIn, 
2b30: 7a 54 65 72 6d 2c 20 63 29 3b 0a 20 20 20 20 20  zTerm, c);.     
2b40: 20 20 20 57 52 49 54 45 5f 55 54 46 31 36 4c 45     WRITE_UTF16LE
2b50: 28 7a 2c 20 63 29 3b 0a 20 20 20 20 20 20 7d 0a  (z, c);.      }.
2b60: 20 20 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 20      }else{.     
2b70: 20 61 73 73 65 72 74 28 20 64 65 73 69 72 65 64   assert( desired
2b80: 45 6e 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46 31  Enc==SQLITE_UTF1
2b90: 36 42 45 20 29 3b 0a 20 20 20 20 20 20 2f 2a 20  6BE );.      /* 
2ba0: 55 54 46 2d 38 20 2d 3e 20 55 54 46 2d 31 36 20  UTF-8 -> UTF-16 
2bb0: 42 69 67 2d 65 6e 64 69 61 6e 20 2a 2f 0a 20 20  Big-endian */.  
2bc0: 20 20 20 20 77 68 69 6c 65 28 20 7a 49 6e 3c 7a      while( zIn<z
2bd0: 54 65 72 6d 20 29 7b 0a 20 20 20 20 20 20 20 20  Term ){.        
2be0: 2f 2a 20 63 20 3d 20 73 71 6c 69 74 65 33 55 74  /* c = sqlite3Ut
2bf0: 66 38 52 65 61 64 28 7a 49 6e 2c 20 7a 54 65 72  f8Read(zIn, zTer
2c00: 6d 2c 20 28 63 6f 6e 73 74 20 75 38 2a 2a 29 26  m, (const u8**)&
2c10: 7a 49 6e 29 3b 20 2a 2f 0a 20 20 20 20 20 20 20  zIn); */.       
2c20: 20 52 45 41 44 5f 55 54 46 38 28 7a 49 6e 2c 20   READ_UTF8(zIn, 
2c30: 7a 54 65 72 6d 2c 20 63 29 3b 0a 20 20 20 20 20  zTerm, c);.     
2c40: 20 20 20 57 52 49 54 45 5f 55 54 46 31 36 42 45     WRITE_UTF16BE
2c50: 28 7a 2c 20 63 29 3b 0a 20 20 20 20 20 20 7d 0a  (z, c);.      }.
2c60: 20 20 20 20 7d 0a 20 20 20 20 70 4d 65 6d 2d 3e      }.    pMem->
2c70: 6e 20 3d 20 28 69 6e 74 29 28 7a 20 2d 20 7a 4f  n = (int)(z - zO
2c80: 75 74 29 3b 0a 20 20 20 20 2a 7a 2b 2b 20 3d 20  ut);.    *z++ = 
2c90: 30 3b 0a 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20  0;.  }else{.    
2ca0: 61 73 73 65 72 74 28 20 64 65 73 69 72 65 64 45  assert( desiredE
2cb0: 6e 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46 38 20  nc==SQLITE_UTF8 
2cc0: 29 3b 0a 20 20 20 20 69 66 28 20 70 4d 65 6d 2d  );.    if( pMem-
2cd0: 3e 65 6e 63 3d 3d 53 51 4c 49 54 45 5f 55 54 46  >enc==SQLITE_UTF
2ce0: 31 36 4c 45 20 29 7b 0a 20 20 20 20 20 20 2f 2a  16LE ){.      /*
2cf0: 20 55 54 46 2d 31 36 20 4c 69 74 74 6c 65 2d 65   UTF-16 Little-e
2d00: 6e 64 69 61 6e 20 2d 3e 20 55 54 46 2d 38 20 2a  ndian -> UTF-8 *
2d10: 2f 0a 20 20 20 20 20 20 77 68 69 6c 65 28 20 7a  /.      while( z
2d20: 49 6e 3c 7a 54 65 72 6d 20 29 7b 0a 20 20 20 20  In<zTerm ){.    
2d30: 20 20 20 20 52 45 41 44 5f 55 54 46 31 36 4c 45      READ_UTF16LE
2d40: 28 7a 49 6e 2c 20 7a 54 65 72 6d 2c 20 63 29 3b  (zIn, zTerm, c);
2d50: 20 0a 20 20 20 20 20 20 20 20 57 52 49 54 45 5f   .        WRITE_
2d60: 55 54 46 38 28 7a 2c 20 63 29 3b 0a 20 20 20 20  UTF8(z, c);.    
2d70: 20 20 7d 0a 20 20 20 20 7d 65 6c 73 65 7b 0a 20    }.    }else{. 
2d80: 20 20 20 20 20 2f 2a 20 55 54 46 2d 31 36 20 42       /* UTF-16 B
2d90: 69 67 2d 65 6e 64 69 61 6e 20 2d 3e 20 55 54 46  ig-endian -> UTF
2da0: 2d 38 20 2a 2f 0a 20 20 20 20 20 20 77 68 69 6c  -8 */.      whil
2db0: 65 28 20 7a 49 6e 3c 7a 54 65 72 6d 20 29 7b 0a  e( zIn<zTerm ){.
2dc0: 20 20 20 20 20 20 20 20 52 45 41 44 5f 55 54 46          READ_UTF
2dd0: 31 36 42 45 28 7a 49 6e 2c 20 7a 54 65 72 6d 2c  16BE(zIn, zTerm,
2de0: 20 63 29 3b 20 0a 20 20 20 20 20 20 20 20 57 52   c); .        WR
2df0: 49 54 45 5f 55 54 46 38 28 7a 2c 20 63 29 3b 0a  ITE_UTF8(z, c);.
2e00: 20 20 20 20 20 20 7d 0a 20 20 20 20 7d 0a 20 20        }.    }.  
2e10: 20 20 70 4d 65 6d 2d 3e 6e 20 3d 20 28 69 6e 74    pMem->n = (int
2e20: 29 28 7a 20 2d 20 7a 4f 75 74 29 3b 0a 20 20 7d  )(z - zOut);.  }
2e30: 0a 20 20 2a 7a 20 3d 20 30 3b 0a 20 20 61 73 73  .  *z = 0;.  ass
2e40: 65 72 74 28 20 28 70 4d 65 6d 2d 3e 6e 2b 28 64  ert( (pMem->n+(d
2e50: 65 73 69 72 65 64 45 6e 63 3d 3d 53 51 4c 49 54  esiredEnc==SQLIT
2e60: 45 5f 55 54 46 38 3f 31 3a 32 29 29 3c 3d 6c 65  E_UTF8?1:2))<=le
2e70: 6e 20 29 3b 0a 0a 20 20 73 71 6c 69 74 65 33 56  n );..  sqlite3V
2e80: 64 62 65 4d 65 6d 52 65 6c 65 61 73 65 28 70 4d  dbeMemRelease(pM
2e90: 65 6d 29 3b 0a 20 20 70 4d 65 6d 2d 3e 66 6c 61  em);.  pMem->fla
2ea0: 67 73 20 26 3d 20 7e 28 4d 45 4d 5f 53 74 61 74  gs &= ~(MEM_Stat
2eb0: 69 63 7c 4d 45 4d 5f 44 79 6e 7c 4d 45 4d 5f 45  ic|MEM_Dyn|MEM_E
2ec0: 70 68 65 6d 29 3b 0a 20 20 70 4d 65 6d 2d 3e 65  phem);.  pMem->e
2ed0: 6e 63 20 3d 20 64 65 73 69 72 65 64 45 6e 63 3b  nc = desiredEnc;
2ee0: 0a 20 20 70 4d 65 6d 2d 3e 66 6c 61 67 73 20 7c  .  pMem->flags |
2ef0: 3d 20 28 4d 45 4d 5f 54 65 72 6d 7c 4d 45 4d 5f  = (MEM_Term|MEM_
2f00: 44 79 6e 29 3b 0a 20 20 70 4d 65 6d 2d 3e 7a 20  Dyn);.  pMem->z 
2f10: 3d 20 28 63 68 61 72 2a 29 7a 4f 75 74 3b 0a 20  = (char*)zOut;. 
2f20: 20 70 4d 65 6d 2d 3e 7a 4d 61 6c 6c 6f 63 20 3d   pMem->zMalloc =
2f30: 20 70 4d 65 6d 2d 3e 7a 3b 0a 0a 74 72 61 6e 73   pMem->z;..trans
2f40: 6c 61 74 65 5f 6f 75 74 3a 0a 23 69 66 20 64 65  late_out:.#if de
2f50: 66 69 6e 65 64 28 54 52 41 4e 53 4c 41 54 45 5f  fined(TRANSLATE_
2f60: 54 52 41 43 45 29 20 26 26 20 64 65 66 69 6e 65  TRACE) && define
2f70: 64 28 53 51 4c 49 54 45 5f 44 45 42 55 47 29 0a  d(SQLITE_DEBUG).
2f80: 20 20 7b 0a 20 20 20 20 63 68 61 72 20 7a 42 75    {.    char zBu
2f90: 66 5b 31 30 30 5d 3b 0a 20 20 20 20 73 71 6c 69  f[100];.    sqli
2fa0: 74 65 33 56 64 62 65 4d 65 6d 50 72 65 74 74 79  te3VdbeMemPretty
2fb0: 50 72 69 6e 74 28 70 4d 65 6d 2c 20 7a 42 75 66  Print(pMem, zBuf
2fc0: 29 3b 0a 20 20 20 20 66 70 72 69 6e 74 66 28 73  );.    fprintf(s
2fd0: 74 64 65 72 72 2c 20 22 4f 55 54 50 55 54 3a 20  tderr, "OUTPUT: 
2fe0: 25 73 5c 6e 22 2c 20 7a 42 75 66 29 3b 0a 20 20  %s\n", zBuf);.  
2ff0: 7d 0a 23 65 6e 64 69 66 0a 20 20 72 65 74 75 72  }.#endif.  retur
3000: 6e 20 53 51 4c 49 54 45 5f 4f 4b 3b 0a 7d 0a 0a  n SQLITE_OK;.}..
3010: 2f 2a 0a 2a 2a 20 54 68 69 73 20 72 6f 75 74 69  /*.** This routi
3020: 6e 65 20 63 68 65 63 6b 73 20 66 6f 72 20 61 20  ne checks for a 
3030: 62 79 74 65 2d 6f 72 64 65 72 20 6d 61 72 6b 20  byte-order mark 
3040: 61 74 20 74 68 65 20 62 65 67 69 6e 6e 69 6e 67  at the beginning
3050: 20 6f 66 20 74 68 65 20 0a 2a 2a 20 55 54 46 2d   of the .** UTF-
3060: 31 36 20 73 74 72 69 6e 67 20 73 74 6f 72 65 64  16 string stored
3070: 20 69 6e 20 2a 70 4d 65 6d 2e 20 49 66 20 6f 6e   in *pMem. If on
3080: 65 20 69 73 20 70 72 65 73 65 6e 74 2c 20 69 74  e is present, it
3090: 20 69 73 20 72 65 6d 6f 76 65 64 20 61 6e 64 0a   is removed and.
30a0: 2a 2a 20 74 68 65 20 65 6e 63 6f 64 69 6e 67 20  ** the encoding 
30b0: 6f 66 20 74 68 65 20 4d 65 6d 20 61 64 6a 75 73  of the Mem adjus
30c0: 74 65 64 2e 20 54 68 69 73 20 72 6f 75 74 69 6e  ted. This routin
30d0: 65 20 64 6f 65 73 20 6e 6f 74 20 64 6f 20 61 6e  e does not do an
30e0: 79 0a 2a 2a 20 62 79 74 65 2d 73 77 61 70 70 69  y.** byte-swappi
30f0: 6e 67 2c 20 69 74 20 6a 75 73 74 20 73 65 74 73  ng, it just sets
3100: 20 4d 65 6d 2e 65 6e 63 20 61 70 70 72 6f 70 72   Mem.enc appropr
3110: 69 61 74 65 6c 79 2e 0a 2a 2a 0a 2a 2a 20 54 68  iately..**.** Th
3120: 65 20 61 6c 6c 6f 63 61 74 69 6f 6e 20 28 73 74  e allocation (st
3130: 61 74 69 63 2c 20 64 79 6e 61 6d 69 63 20 65 74  atic, dynamic et
3140: 63 2e 29 20 61 6e 64 20 65 6e 63 6f 64 69 6e 67  c.) and encoding
3150: 20 6f 66 20 74 68 65 20 4d 65 6d 20 6d 61 79 20   of the Mem may 
3160: 62 65 0a 2a 2a 20 63 68 61 6e 67 65 64 20 62 79  be.** changed by
3170: 20 74 68 69 73 20 66 75 6e 63 74 69 6f 6e 2e 0a   this function..
3180: 2a 2f 0a 69 6e 74 20 73 71 6c 69 74 65 33 56 64  */.int sqlite3Vd
3190: 62 65 4d 65 6d 48 61 6e 64 6c 65 42 6f 6d 28 4d  beMemHandleBom(M
31a0: 65 6d 20 2a 70 4d 65 6d 29 7b 0a 20 20 69 6e 74  em *pMem){.  int
31b0: 20 72 63 20 3d 20 53 51 4c 49 54 45 5f 4f 4b 3b   rc = SQLITE_OK;
31c0: 0a 20 20 75 38 20 62 6f 6d 20 3d 20 30 3b 0a 0a  .  u8 bom = 0;..
31d0: 20 20 61 73 73 65 72 74 28 20 70 4d 65 6d 2d 3e    assert( pMem->
31e0: 6e 3e 3d 30 20 29 3b 0a 20 20 69 66 28 20 70 4d  n>=0 );.  if( pM
31f0: 65 6d 2d 3e 6e 3e 31 20 29 7b 0a 20 20 20 20 75  em->n>1 ){.    u
3200: 38 20 62 31 20 3d 20 2a 28 75 38 20 2a 29 70 4d  8 b1 = *(u8 *)pM
3210: 65 6d 2d 3e 7a 3b 0a 20 20 20 20 75 38 20 62 32  em->z;.    u8 b2
3220: 20 3d 20 2a 28 28 28 75 38 20 2a 29 70 4d 65 6d   = *(((u8 *)pMem
3230: 2d 3e 7a 29 20 2b 20 31 29 3b 0a 20 20 20 20 69  ->z) + 1);.    i
3240: 66 28 20 62 31 3d 3d 30 78 46 45 20 26 26 20 62  f( b1==0xFE && b
3250: 32 3d 3d 30 78 46 46 20 29 7b 0a 20 20 20 20 20  2==0xFF ){.     
3260: 20 62 6f 6d 20 3d 20 53 51 4c 49 54 45 5f 55 54   bom = SQLITE_UT
3270: 46 31 36 42 45 3b 0a 20 20 20 20 7d 0a 20 20 20  F16BE;.    }.   
3280: 20 69 66 28 20 62 31 3d 3d 30 78 46 46 20 26 26   if( b1==0xFF &&
3290: 20 62 32 3d 3d 30 78 46 45 20 29 7b 0a 20 20 20   b2==0xFE ){.   
32a0: 20 20 20 62 6f 6d 20 3d 20 53 51 4c 49 54 45 5f     bom = SQLITE_
32b0: 55 54 46 31 36 4c 45 3b 0a 20 20 20 20 7d 0a 20  UTF16LE;.    }. 
32c0: 20 7d 0a 20 20 0a 20 20 69 66 28 20 62 6f 6d 20   }.  .  if( bom 
32d0: 29 7b 0a 20 20 20 20 72 63 20 3d 20 73 71 6c 69  ){.    rc = sqli
32e0: 74 65 33 56 64 62 65 4d 65 6d 4d 61 6b 65 57 72  te3VdbeMemMakeWr
32f0: 69 74 65 61 62 6c 65 28 70 4d 65 6d 29 3b 0a 20  iteable(pMem);. 
3300: 20 20 20 69 66 28 20 72 63 3d 3d 53 51 4c 49 54     if( rc==SQLIT
3310: 45 5f 4f 4b 20 29 7b 0a 20 20 20 20 20 20 70 4d  E_OK ){.      pM
3320: 65 6d 2d 3e 6e 20 2d 3d 20 32 3b 0a 20 20 20 20  em->n -= 2;.    
3330: 20 20 6d 65 6d 6d 6f 76 65 28 70 4d 65 6d 2d 3e    memmove(pMem->
3340: 7a 2c 20 26 70 4d 65 6d 2d 3e 7a 5b 32 5d 2c 20  z, &pMem->z[2], 
3350: 70 4d 65 6d 2d 3e 6e 29 3b 0a 20 20 20 20 20 20  pMem->n);.      
3360: 70 4d 65 6d 2d 3e 7a 5b 70 4d 65 6d 2d 3e 6e 5d  pMem->z[pMem->n]
3370: 20 3d 20 27 5c 30 27 3b 0a 20 20 20 20 20 20 70   = '\0';.      p
3380: 4d 65 6d 2d 3e 7a 5b 70 4d 65 6d 2d 3e 6e 2b 31  Mem->z[pMem->n+1
3390: 5d 20 3d 20 27 5c 30 27 3b 0a 20 20 20 20 20 20  ] = '\0';.      
33a0: 70 4d 65 6d 2d 3e 66 6c 61 67 73 20 7c 3d 20 4d  pMem->flags |= M
33b0: 45 4d 5f 54 65 72 6d 3b 0a 20 20 20 20 20 20 70  EM_Term;.      p
33c0: 4d 65 6d 2d 3e 65 6e 63 20 3d 20 62 6f 6d 3b 0a  Mem->enc = bom;.
33d0: 20 20 20 20 7d 0a 20 20 7d 0a 20 20 72 65 74 75      }.  }.  retu
33e0: 72 6e 20 72 63 3b 0a 7d 0a 23 65 6e 64 69 66 20  rn rc;.}.#endif 
33f0: 2f 2a 20 53 51 4c 49 54 45 5f 4f 4d 49 54 5f 55  /* SQLITE_OMIT_U
3400: 54 46 31 36 20 2a 2f 0a 0a 2f 2a 0a 2a 2a 20 70  TF16 */../*.** p
3410: 5a 20 69 73 20 61 20 55 54 46 2d 38 20 65 6e 63  Z is a UTF-8 enc
3420: 6f 64 65 64 20 75 6e 69 63 6f 64 65 20 73 74 72  oded unicode str
3430: 69 6e 67 2e 20 49 66 20 6e 42 79 74 65 20 69 73  ing. If nByte is
3440: 20 6c 65 73 73 20 74 68 61 6e 20 7a 65 72 6f 2c   less than zero,
3450: 0a 2a 2a 20 72 65 74 75 72 6e 20 74 68 65 20 6e  .** return the n
3460: 75 6d 62 65 72 20 6f 66 20 75 6e 69 63 6f 64 65  umber of unicode
3470: 20 63 68 61 72 61 63 74 65 72 73 20 69 6e 20 70   characters in p
3480: 5a 20 75 70 20 74 6f 20 28 62 75 74 20 6e 6f 74  Z up to (but not
3490: 20 69 6e 63 6c 75 64 69 6e 67 29 0a 2a 2a 20 74   including).** t
34a0: 68 65 20 66 69 72 73 74 20 30 78 30 30 20 62 79  he first 0x00 by
34b0: 74 65 2e 20 49 66 20 6e 42 79 74 65 20 69 73 20  te. If nByte is 
34c0: 6e 6f 74 20 6c 65 73 73 20 74 68 61 6e 20 7a 65  not less than ze
34d0: 72 6f 2c 20 72 65 74 75 72 6e 20 74 68 65 0a 2a  ro, return the.*
34e0: 2a 20 6e 75 6d 62 65 72 20 6f 66 20 75 6e 69 63  * number of unic
34f0: 6f 64 65 20 63 68 61 72 61 63 74 65 72 73 20 69  ode characters i
3500: 6e 20 74 68 65 20 66 69 72 73 74 20 6e 42 79 74  n the first nByt
3510: 65 20 6f 66 20 70 5a 20 28 6f 72 20 75 70 20 74  e of pZ (or up t
3520: 6f 20 0a 2a 2a 20 74 68 65 20 66 69 72 73 74 20  o .** the first 
3530: 30 78 30 30 2c 20 77 68 69 63 68 65 76 65 72 20  0x00, whichever 
3540: 63 6f 6d 65 73 20 66 69 72 73 74 29 2e 0a 2a 2f  comes first)..*/
3550: 0a 69 6e 74 20 73 71 6c 69 74 65 33 55 74 66 38  .int sqlite3Utf8
3560: 43 68 61 72 4c 65 6e 28 63 6f 6e 73 74 20 63 68  CharLen(const ch
3570: 61 72 20 2a 7a 49 6e 2c 20 69 6e 74 20 6e 42 79  ar *zIn, int nBy
3580: 74 65 29 7b 0a 20 20 69 6e 74 20 72 20 3d 20 30  te){.  int r = 0
3590: 3b 0a 20 20 63 6f 6e 73 74 20 75 38 20 2a 7a 20  ;.  const u8 *z 
35a0: 3d 20 28 63 6f 6e 73 74 20 75 38 2a 29 7a 49 6e  = (const u8*)zIn
35b0: 3b 0a 20 20 63 6f 6e 73 74 20 75 38 20 2a 7a 54  ;.  const u8 *zT
35c0: 65 72 6d 3b 0a 20 20 69 66 28 20 6e 42 79 74 65  erm;.  if( nByte
35d0: 3e 3d 30 20 29 7b 0a 20 20 20 20 7a 54 65 72 6d  >=0 ){.    zTerm
35e0: 20 3d 20 26 7a 5b 6e 42 79 74 65 5d 3b 0a 20 20   = &z[nByte];.  
35f0: 7d 65 6c 73 65 7b 0a 20 20 20 20 7a 54 65 72 6d  }else{.    zTerm
3600: 20 3d 20 28 63 6f 6e 73 74 20 75 38 2a 29 28 2d   = (const u8*)(-
3610: 31 29 3b 0a 20 20 7d 0a 20 20 61 73 73 65 72 74  1);.  }.  assert
3620: 28 20 7a 3c 3d 7a 54 65 72 6d 20 29 3b 0a 20 20  ( z<=zTerm );.  
3630: 77 68 69 6c 65 28 20 2a 7a 21 3d 30 20 26 26 20  while( *z!=0 && 
3640: 7a 3c 7a 54 65 72 6d 20 29 7b 0a 20 20 20 20 53  z<zTerm ){.    S
3650: 51 4c 49 54 45 5f 53 4b 49 50 5f 55 54 46 38 28  QLITE_SKIP_UTF8(
3660: 7a 29 3b 0a 20 20 20 20 72 2b 2b 3b 0a 20 20 7d  z);.    r++;.  }
3670: 0a 20 20 72 65 74 75 72 6e 20 72 3b 0a 7d 0a 0a  .  return r;.}..
3680: 2f 2a 20 54 68 69 73 20 74 65 73 74 20 66 75 6e  /* This test fun
3690: 63 74 69 6f 6e 20 69 73 20 6e 6f 74 20 63 75 72  ction is not cur
36a0: 72 65 6e 74 6c 79 20 75 73 65 64 20 62 79 20 74  rently used by t
36b0: 68 65 20 61 75 74 6f 6d 61 74 65 64 20 74 65 73  he automated tes
36c0: 74 2d 73 75 69 74 65 2e 20 0a 2a 2a 20 48 65 6e  t-suite. .** Hen
36d0: 63 65 20 69 74 20 69 73 20 6f 6e 6c 79 20 61 76  ce it is only av
36e0: 61 69 6c 61 62 6c 65 20 69 6e 20 64 65 62 75 67  ailable in debug
36f0: 20 62 75 69 6c 64 73 2e 0a 2a 2f 0a 23 69 66 20   builds..*/.#if 
3700: 64 65 66 69 6e 65 64 28 53 51 4c 49 54 45 5f 54  defined(SQLITE_T
3710: 45 53 54 29 20 26 26 20 64 65 66 69 6e 65 64 28  EST) && defined(
3720: 53 51 4c 49 54 45 5f 44 45 42 55 47 29 0a 2f 2a  SQLITE_DEBUG)./*
3730: 0a 2a 2a 20 54 72 61 6e 73 6c 61 74 65 20 55 54  .** Translate UT
3740: 46 2d 38 20 74 6f 20 55 54 46 2d 38 2e 0a 2a 2a  F-8 to UTF-8..**
3750: 0a 2a 2a 20 54 68 69 73 20 68 61 73 20 74 68 65  .** This has the
3760: 20 65 66 66 65 63 74 20 6f 66 20 6d 61 6b 69 6e   effect of makin
3770: 67 20 73 75 72 65 20 74 68 61 74 20 74 68 65 20  g sure that the 
3780: 73 74 72 69 6e 67 20 69 73 20 77 65 6c 6c 2d 66  string is well-f
3790: 6f 72 6d 65 64 0a 2a 2a 20 55 54 46 2d 38 2e 20  ormed.** UTF-8. 
37a0: 20 4d 69 73 63 6f 64 65 64 20 63 68 61 72 61 63   Miscoded charac
37b0: 74 65 72 73 20 61 72 65 20 72 65 6d 6f 76 65 64  ters are removed
37c0: 2e 0a 2a 2a 0a 2a 2a 20 54 68 65 20 74 72 61 6e  ..**.** The tran
37d0: 73 6c 61 74 69 6f 6e 20 69 73 20 64 6f 6e 65 20  slation is done 
37e0: 69 6e 2d 70 6c 61 63 65 20 28 73 69 6e 63 65 20  in-place (since 
37f0: 69 74 20 69 73 20 69 6d 70 6f 73 73 69 62 6c 65  it is impossible
3800: 20 66 6f 72 20 74 68 65 0a 2a 2a 20 63 6f 72 72   for the.** corr
3810: 65 63 74 20 55 54 46 2d 38 20 65 6e 63 6f 64 69  ect UTF-8 encodi
3820: 6e 67 20 74 6f 20 62 65 20 6c 6f 6e 67 65 72 20  ng to be longer 
3830: 74 68 61 6e 20 61 20 6d 61 6c 66 6f 72 6d 65 64  than a malformed
3840: 20 65 6e 63 6f 64 69 6e 67 29 2e 0a 2a 2f 0a 69   encoding)..*/.i
3850: 6e 74 20 73 71 6c 69 74 65 33 55 74 66 38 54 6f  nt sqlite3Utf8To
3860: 38 28 75 6e 73 69 67 6e 65 64 20 63 68 61 72 20  8(unsigned char 
3870: 2a 7a 49 6e 29 7b 0a 20 20 75 6e 73 69 67 6e 65  *zIn){.  unsigne
3880: 64 20 63 68 61 72 20 2a 7a 4f 75 74 20 3d 20 7a  d char *zOut = z
3890: 49 6e 3b 0a 20 20 75 6e 73 69 67 6e 65 64 20 63  In;.  unsigned c
38a0: 68 61 72 20 2a 7a 53 74 61 72 74 20 3d 20 7a 49  har *zStart = zI
38b0: 6e 3b 0a 20 20 75 33 32 20 63 3b 0a 0a 20 20 77  n;.  u32 c;..  w
38c0: 68 69 6c 65 28 20 7a 49 6e 5b 30 5d 20 29 7b 0a  hile( zIn[0] ){.
38d0: 20 20 20 20 63 20 3d 20 73 71 6c 69 74 65 33 55      c = sqlite3U
38e0: 74 66 38 52 65 61 64 28 7a 49 6e 2c 20 28 63 6f  tf8Read(zIn, (co
38f0: 6e 73 74 20 75 38 2a 2a 29 26 7a 49 6e 29 3b 0a  nst u8**)&zIn);.
3900: 20 20 20 20 69 66 28 20 63 21 3d 30 78 66 66 66      if( c!=0xfff
3910: 64 20 29 7b 0a 20 20 20 20 20 20 57 52 49 54 45  d ){.      WRITE
3920: 5f 55 54 46 38 28 7a 4f 75 74 2c 20 63 29 3b 0a  _UTF8(zOut, c);.
3930: 20 20 20 20 7d 0a 20 20 7d 0a 20 20 2a 7a 4f 75      }.  }.  *zOu
3940: 74 20 3d 20 30 3b 0a 20 20 72 65 74 75 72 6e 20  t = 0;.  return 
3950: 28 69 6e 74 29 28 7a 4f 75 74 20 2d 20 7a 53 74  (int)(zOut - zSt
3960: 61 72 74 29 3b 0a 7d 0a 23 65 6e 64 69 66 0a 0a  art);.}.#endif..
3970: 23 69 66 6e 64 65 66 20 53 51 4c 49 54 45 5f 4f  #ifndef SQLITE_O
3980: 4d 49 54 5f 55 54 46 31 36 0a 2f 2a 0a 2a 2a 20  MIT_UTF16./*.** 
3990: 43 6f 6e 76 65 72 74 20 61 20 55 54 46 2d 31 36  Convert a UTF-16
39a0: 20 73 74 72 69 6e 67 20 69 6e 20 74 68 65 20 6e   string in the n
39b0: 61 74 69 76 65 20 65 6e 63 6f 64 69 6e 67 20 69  ative encoding i
39c0: 6e 74 6f 20 61 20 55 54 46 2d 38 20 73 74 72 69  nto a UTF-8 stri
39d0: 6e 67 2e 0a 2a 2a 20 4d 65 6d 6f 72 79 20 74 6f  ng..** Memory to
39e0: 20 68 6f 6c 64 20 74 68 65 20 55 54 46 2d 38 20   hold the UTF-8 
39f0: 73 74 72 69 6e 67 20 69 73 20 6f 62 74 61 69 6e  string is obtain
3a00: 65 64 20 66 72 6f 6d 20 73 71 6c 69 74 65 33 5f  ed from sqlite3_
3a10: 6d 61 6c 6c 6f 63 20 61 6e 64 20 6d 75 73 74 0a  malloc and must.
3a20: 2a 2a 20 62 65 20 66 72 65 65 64 20 62 79 20 74  ** be freed by t
3a30: 68 65 20 63 61 6c 6c 69 6e 67 20 66 75 6e 63 74  he calling funct
3a40: 69 6f 6e 2e 0a 2a 2a 0a 2a 2a 20 4e 55 4c 4c 20  ion..**.** NULL 
3a50: 69 73 20 72 65 74 75 72 6e 65 64 20 69 66 20 74  is returned if t
3a60: 68 65 72 65 20 69 73 20 61 6e 20 61 6c 6c 6f 63  here is an alloc
3a70: 61 74 69 6f 6e 20 65 72 72 6f 72 2e 0a 2a 2f 0a  ation error..*/.
3a80: 63 68 61 72 20 2a 73 71 6c 69 74 65 33 55 74 66  char *sqlite3Utf
3a90: 31 36 74 6f 38 28 73 71 6c 69 74 65 33 20 2a 64  16to8(sqlite3 *d
3aa0: 62 2c 20 63 6f 6e 73 74 20 76 6f 69 64 20 2a 7a  b, const void *z
3ab0: 2c 20 69 6e 74 20 6e 42 79 74 65 29 7b 0a 20 20  , int nByte){.  
3ac0: 4d 65 6d 20 6d 3b 0a 20 20 6d 65 6d 73 65 74 28  Mem m;.  memset(
3ad0: 26 6d 2c 20 30 2c 20 73 69 7a 65 6f 66 28 6d 29  &m, 0, sizeof(m)
3ae0: 29 3b 0a 20 20 6d 2e 64 62 20 3d 20 64 62 3b 0a  );.  m.db = db;.
3af0: 20 20 73 71 6c 69 74 65 33 56 64 62 65 4d 65 6d    sqlite3VdbeMem
3b00: 53 65 74 53 74 72 28 26 6d 2c 20 7a 2c 20 6e 42  SetStr(&m, z, nB
3b10: 79 74 65 2c 20 53 51 4c 49 54 45 5f 55 54 46 31  yte, SQLITE_UTF1
3b20: 36 4e 41 54 49 56 45 2c 20 53 51 4c 49 54 45 5f  6NATIVE, SQLITE_
3b30: 53 54 41 54 49 43 29 3b 0a 20 20 73 71 6c 69 74  STATIC);.  sqlit
3b40: 65 33 56 64 62 65 43 68 61 6e 67 65 45 6e 63 6f  e3VdbeChangeEnco
3b50: 64 69 6e 67 28 26 6d 2c 20 53 51 4c 49 54 45 5f  ding(&m, SQLITE_
3b60: 55 54 46 38 29 3b 0a 20 20 69 66 28 20 64 62 2d  UTF8);.  if( db-
3b70: 3e 6d 61 6c 6c 6f 63 46 61 69 6c 65 64 20 29 7b  >mallocFailed ){
3b80: 0a 20 20 20 20 73 71 6c 69 74 65 33 56 64 62 65  .    sqlite3Vdbe
3b90: 4d 65 6d 52 65 6c 65 61 73 65 28 26 6d 29 3b 0a  MemRelease(&m);.
3ba0: 20 20 20 20 6d 2e 7a 20 3d 20 30 3b 0a 20 20 7d      m.z = 0;.  }
3bb0: 0a 20 20 61 73 73 65 72 74 28 20 28 6d 2e 66 6c  .  assert( (m.fl
3bc0: 61 67 73 20 26 20 4d 45 4d 5f 54 65 72 6d 29 21  ags & MEM_Term)!
3bd0: 3d 30 20 7c 7c 20 64 62 2d 3e 6d 61 6c 6c 6f 63  =0 || db->malloc
3be0: 46 61 69 6c 65 64 20 29 3b 0a 20 20 61 73 73 65  Failed );.  asse
3bf0: 72 74 28 20 28 6d 2e 66 6c 61 67 73 20 26 20 4d  rt( (m.flags & M
3c00: 45 4d 5f 53 74 72 29 21 3d 30 20 7c 7c 20 64 62  EM_Str)!=0 || db
3c10: 2d 3e 6d 61 6c 6c 6f 63 46 61 69 6c 65 64 20 29  ->mallocFailed )
3c20: 3b 0a 20 20 72 65 74 75 72 6e 20 28 6d 2e 66 6c  ;.  return (m.fl
3c30: 61 67 73 20 26 20 4d 45 4d 5f 44 79 6e 29 21 3d  ags & MEM_Dyn)!=
3c40: 30 20 3f 20 6d 2e 7a 20 3a 20 73 71 6c 69 74 65  0 ? m.z : sqlite
3c50: 33 44 62 53 74 72 44 75 70 28 64 62 2c 20 6d 2e  3DbStrDup(db, m.
3c60: 7a 29 3b 0a 7d 0a 0a 2f 2a 0a 2a 2a 20 43 6f 6e  z);.}../*.** Con
3c70: 76 65 72 74 20 61 20 55 54 46 2d 38 20 73 74 72  vert a UTF-8 str
3c80: 69 6e 67 20 74 6f 20 74 68 65 20 55 54 46 2d 31  ing to the UTF-1
3c90: 36 20 65 6e 63 6f 64 69 6e 67 20 73 70 65 63 69  6 encoding speci
3ca0: 66 69 65 64 20 62 79 20 70 61 72 61 6d 65 74 65  fied by paramete
3cb0: 72 0a 2a 2a 20 65 6e 63 2e 20 41 20 70 6f 69 6e  r.** enc. A poin
3cc0: 74 65 72 20 74 6f 20 74 68 65 20 6e 65 77 20 73  ter to the new s
3cd0: 74 72 69 6e 67 20 69 73 20 72 65 74 75 72 6e 65  tring is returne
3ce0: 64 2c 20 61 6e 64 20 74 68 65 20 76 61 6c 75 65  d, and the value
3cf0: 20 6f 66 20 2a 70 6e 4f 75 74 0a 2a 2a 20 69 73   of *pnOut.** is
3d00: 20 73 65 74 20 74 6f 20 74 68 65 20 6c 65 6e 67   set to the leng
3d10: 74 68 20 6f 66 20 74 68 65 20 72 65 74 75 72 6e  th of the return
3d20: 65 64 20 73 74 72 69 6e 67 20 69 6e 20 62 79 74  ed string in byt
3d30: 65 73 2e 20 54 68 65 20 63 61 6c 6c 20 73 68 6f  es. The call sho
3d40: 75 6c 64 0a 2a 2a 20 61 72 72 61 6e 67 65 20 74  uld.** arrange t
3d50: 6f 20 63 61 6c 6c 20 73 71 6c 69 74 65 33 44 62  o call sqlite3Db
3d60: 46 72 65 65 28 29 20 6f 6e 20 74 68 65 20 72 65  Free() on the re
3d70: 74 75 72 6e 65 64 20 70 6f 69 6e 74 65 72 20 77  turned pointer w
3d80: 68 65 6e 20 69 74 20 69 73 0a 2a 2a 20 6e 6f 20  hen it is.** no 
3d90: 6c 6f 6e 67 65 72 20 72 65 71 75 69 72 65 64 2e  longer required.
3da0: 0a 2a 2a 20 0a 2a 2a 20 49 66 20 61 20 6d 61 6c  .** .** If a mal
3db0: 6c 6f 63 20 66 61 69 6c 75 72 65 20 6f 63 63 75  loc failure occu
3dc0: 72 73 2c 20 4e 55 4c 4c 20 69 73 20 72 65 74 75  rs, NULL is retu
3dd0: 72 6e 65 64 20 61 6e 64 20 74 68 65 20 64 62 2e  rned and the db.
3de0: 6d 61 6c 6c 6f 63 46 61 69 6c 65 64 0a 2a 2a 20  mallocFailed.** 
3df0: 66 6c 61 67 20 73 65 74 2e 0a 2a 2f 0a 23 69 66  flag set..*/.#if
3e00: 64 65 66 20 53 51 4c 49 54 45 5f 45 4e 41 42 4c  def SQLITE_ENABL
3e10: 45 5f 53 54 41 54 32 0a 63 68 61 72 20 2a 73 71  E_STAT2.char *sq
3e20: 6c 69 74 65 33 55 74 66 38 74 6f 31 36 28 73 71  lite3Utf8to16(sq
3e30: 6c 69 74 65 33 20 2a 64 62 2c 20 75 38 20 65 6e  lite3 *db, u8 en
3e40: 63 2c 20 63 68 61 72 20 2a 7a 2c 20 69 6e 74 20  c, char *z, int 
3e50: 6e 2c 20 69 6e 74 20 2a 70 6e 4f 75 74 29 7b 0a  n, int *pnOut){.
3e60: 20 20 4d 65 6d 20 6d 3b 0a 20 20 6d 65 6d 73 65    Mem m;.  memse
3e70: 74 28 26 6d 2c 20 30 2c 20 73 69 7a 65 6f 66 28  t(&m, 0, sizeof(
3e80: 6d 29 29 3b 0a 20 20 6d 2e 64 62 20 3d 20 64 62  m));.  m.db = db
3e90: 3b 0a 20 20 73 71 6c 69 74 65 33 56 64 62 65 4d  ;.  sqlite3VdbeM
3ea0: 65 6d 53 65 74 53 74 72 28 26 6d 2c 20 7a 2c 20  emSetStr(&m, z, 
3eb0: 6e 2c 20 53 51 4c 49 54 45 5f 55 54 46 38 2c 20  n, SQLITE_UTF8, 
3ec0: 53 51 4c 49 54 45 5f 53 54 41 54 49 43 29 3b 0a  SQLITE_STATIC);.
3ed0: 20 20 69 66 28 20 73 71 6c 69 74 65 33 56 64 62    if( sqlite3Vdb
3ee0: 65 4d 65 6d 54 72 61 6e 73 6c 61 74 65 28 26 6d  eMemTranslate(&m
3ef0: 2c 20 65 6e 63 29 20 29 7b 0a 20 20 20 20 61 73  , enc) ){.    as
3f00: 73 65 72 74 28 20 64 62 2d 3e 6d 61 6c 6c 6f 63  sert( db->malloc
3f10: 46 61 69 6c 65 64 20 29 3b 0a 20 20 20 20 72 65  Failed );.    re
3f20: 74 75 72 6e 20 30 3b 0a 20 20 7d 0a 20 20 61 73  turn 0;.  }.  as
3f30: 73 65 72 74 28 20 6d 2e 7a 3d 3d 6d 2e 7a 4d 61  sert( m.z==m.zMa
3f40: 6c 6c 6f 63 20 29 3b 0a 20 20 2a 70 6e 4f 75 74  lloc );.  *pnOut
3f50: 20 3d 20 6d 2e 6e 3b 0a 20 20 72 65 74 75 72 6e   = m.n;.  return
3f60: 20 6d 2e 7a 3b 0a 7d 0a 23 65 6e 64 69 66 0a 0a   m.z;.}.#endif..
3f70: 2f 2a 0a 2a 2a 20 70 5a 20 69 73 20 61 20 55 54  /*.** pZ is a UT
3f80: 46 2d 31 36 20 65 6e 63 6f 64 65 64 20 75 6e 69  F-16 encoded uni
3f90: 63 6f 64 65 20 73 74 72 69 6e 67 20 61 74 20 6c  code string at l
3fa0: 65 61 73 74 20 6e 43 68 61 72 20 63 68 61 72 61  east nChar chara
3fb0: 63 74 65 72 73 20 6c 6f 6e 67 2e 0a 2a 2a 20 52  cters long..** R
3fc0: 65 74 75 72 6e 20 74 68 65 20 6e 75 6d 62 65 72  eturn the number
3fd0: 20 6f 66 20 62 79 74 65 73 20 69 6e 20 74 68 65   of bytes in the
3fe0: 20 66 69 72 73 74 20 6e 43 68 61 72 20 75 6e 69   first nChar uni
3ff0: 63 6f 64 65 20 63 68 61 72 61 63 74 65 72 73 0a  code characters.
4000: 2a 2a 20 69 6e 20 70 5a 2e 20 20 6e 43 68 61 72  ** in pZ.  nChar
4010: 20 6d 75 73 74 20 62 65 20 6e 6f 6e 2d 6e 65 67   must be non-neg
4020: 61 74 69 76 65 2e 0a 2a 2f 0a 69 6e 74 20 73 71  ative..*/.int sq
4030: 6c 69 74 65 33 55 74 66 31 36 42 79 74 65 4c 65  lite3Utf16ByteLe
4040: 6e 28 63 6f 6e 73 74 20 76 6f 69 64 20 2a 7a 49  n(const void *zI
4050: 6e 2c 20 69 6e 74 20 6e 43 68 61 72 29 7b 0a 20  n, int nChar){. 
4060: 20 69 6e 74 20 63 3b 0a 20 20 75 6e 73 69 67 6e   int c;.  unsign
4070: 65 64 20 63 68 61 72 20 63 6f 6e 73 74 20 2a 7a  ed char const *z
4080: 20 3d 20 7a 49 6e 3b 0a 20 20 75 6e 73 69 67 6e   = zIn;.  unsign
4090: 65 64 20 63 68 61 72 20 63 6f 6e 73 74 20 2a 7a  ed char const *z
40a0: 54 65 72 6d 3b 0a 20 20 69 6e 74 20 6e 20 3d 20  Term;.  int n = 
40b0: 30 3b 0a 0a 20 20 2f 2a 20 53 6f 6d 65 20 6f 66  0;..  /* Some of
40c0: 20 74 68 65 20 63 68 61 72 61 63 74 65 72 73 20   the characters 
40d0: 6d 69 67 68 74 20 62 65 20 73 75 72 72 6f 67 61  might be surroga
40e0: 74 65 73 2e 20 20 42 65 20 63 61 72 65 66 75 6c  tes.  Be careful
40f0: 20 6e 6f 74 20 74 6f 20 74 65 72 6d 69 6e 61 74   not to terminat
4100: 65 0a 20 20 2a 2a 20 74 68 65 20 73 74 72 69 6e  e.  ** the strin
4110: 67 20 74 6f 6f 20 65 61 72 6c 79 20 62 65 63 61  g too early beca
4120: 75 73 65 20 6f 66 20 74 68 65 6d 2e 20 20 20 49  use of them.   I
4130: 6e 20 74 68 65 20 77 6f 72 73 74 20 63 61 73 65  n the worst case
4140: 2c 20 61 6c 6c 20 63 68 61 72 61 63 74 65 72 73  , all characters
4150: 0a 20 20 2a 2a 20 6f 72 20 73 75 72 72 6f 67 61  .  ** or surroga
4160: 74 65 73 20 73 6f 20 6d 61 6b 65 20 74 68 65 20  tes so make the 
4170: 74 65 72 6d 69 6e 61 74 6f 72 20 32 2a 6e 43 68  terminator 2*nCh
4180: 61 72 20 66 72 6f 6d 20 74 68 65 20 62 65 67 69  ar from the begi
4190: 6e 6e 69 6e 67 2e 20 2a 2f 0a 20 20 7a 54 65 72  nning. */.  zTer
41a0: 6d 20 3d 20 26 7a 5b 6e 43 68 61 72 2a 32 5d 3b  m = &z[nChar*2];
41b0: 0a 20 20 0a 20 20 69 66 28 20 53 51 4c 49 54 45  .  .  if( SQLITE
41c0: 5f 55 54 46 31 36 4e 41 54 49 56 45 3d 3d 53 51  _UTF16NATIVE==SQ
41d0: 4c 49 54 45 5f 55 54 46 31 36 42 45 20 29 7b 0a  LITE_UTF16BE ){.
41e0: 20 20 20 20 2f 2a 20 55 73 69 6e 67 20 61 6e 20      /* Using an 
41f0: 22 69 66 20 28 53 51 4c 49 54 45 5f 55 54 46 31  "if (SQLITE_UTF1
4200: 36 4e 41 54 49 56 45 3d 3d 53 51 4c 49 54 45 5f  6NATIVE==SQLITE_
4210: 55 54 46 31 36 42 45 29 22 20 63 6f 6e 73 74 72  UTF16BE)" constr
4220: 75 63 74 20 68 65 72 65 0a 20 20 20 20 2a 2a 20  uct here.    ** 
4230: 61 6e 64 20 69 6e 20 6f 74 68 65 72 20 70 61 72  and in other par
4240: 74 73 20 6f 66 20 74 68 69 73 20 66 69 6c 65 20  ts of this file 
4250: 6d 65 61 6e 73 20 74 68 61 74 20 61 74 20 6f 6e  means that at on
4260: 65 20 62 72 61 6e 63 68 20 77 69 6c 6c 0a 20 20  e branch will.  
4270: 20 20 2a 2a 20 6e 6f 74 20 62 65 20 63 6f 76 65    ** not be cove
4280: 72 65 64 20 62 79 20 63 6f 76 65 72 61 67 65 20  red by coverage 
4290: 74 65 73 74 69 6e 67 20 6f 6e 20 61 6e 79 20 73  testing on any s
42a0: 69 6e 67 6c 65 20 68 6f 73 74 2e 20 42 75 74 20  ingle host. But 
42b0: 63 6f 76 65 72 61 67 65 0a 20 20 20 20 2a 2a 20  coverage.    ** 
42c0: 77 69 6c 6c 20 62 65 20 63 6f 6d 70 6c 65 74 65  will be complete
42d0: 20 69 66 20 74 68 65 20 74 65 73 74 73 20 61 72   if the tests ar
42e0: 65 20 72 75 6e 20 6f 6e 20 62 6f 74 68 20 61 20  e run on both a 
42f0: 6c 69 74 74 6c 65 2d 65 6e 64 69 61 6e 20 61 6e  little-endian an
4300: 64 20 0a 20 20 20 20 2a 2a 20 62 69 67 2d 65 6e  d .    ** big-en
4310: 64 69 61 6e 20 68 6f 73 74 2e 20 42 65 63 61 75  dian host. Becau
4320: 73 65 20 62 6f 74 68 20 74 68 65 20 55 54 46 31  se both the UTF1
4330: 36 4e 41 54 49 56 45 20 61 6e 64 20 53 51 4c 49  6NATIVE and SQLI
4340: 54 45 5f 55 54 46 31 36 42 45 0a 20 20 20 20 2a  TE_UTF16BE.    *
4350: 2a 20 6d 61 63 72 6f 73 20 61 72 65 20 63 6f 6e  * macros are con
4360: 73 74 61 6e 74 20 61 74 20 63 6f 6d 70 69 6c 65  stant at compile
4370: 20 74 69 6d 65 20 74 68 65 20 63 6f 6d 70 69 6c   time the compil
4380: 65 72 20 63 61 6e 20 64 65 74 65 72 6d 69 6e 65  er can determine
4390: 0a 20 20 20 20 2a 2a 20 77 68 69 63 68 20 62 72  .    ** which br
43a0: 61 6e 63 68 20 77 69 6c 6c 20 62 65 20 66 6f 6c  anch will be fol
43b0: 6c 6f 77 65 64 2e 20 49 74 20 69 73 20 74 68 65  lowed. It is the
43c0: 72 65 66 6f 72 65 20 61 73 73 75 6d 65 64 20 74  refore assumed t
43d0: 68 61 74 20 6e 6f 20 72 75 6e 74 69 6d 65 0a 20  hat no runtime. 
43e0: 20 20 20 2a 2a 20 70 65 6e 61 6c 74 79 20 69 73     ** penalty is
43f0: 20 70 61 69 64 20 66 6f 72 20 74 68 69 73 20 22   paid for this "
4400: 69 66 22 20 73 74 61 74 65 6d 65 6e 74 2e 0a 20  if" statement.. 
4410: 20 20 20 2a 2f 0a 20 20 20 20 77 68 69 6c 65 28     */.    while(
4420: 20 6e 3c 6e 43 68 61 72 20 29 7b 0a 20 20 20 20   n<nChar ){.    
4430: 20 20 52 45 41 44 5f 55 54 46 31 36 42 45 28 7a    READ_UTF16BE(z
4440: 2c 20 7a 54 65 72 6d 2c 20 63 29 3b 0a 20 20 20  , zTerm, c);.   
4450: 20 20 20 6e 2b 2b 3b 0a 20 20 20 20 7d 0a 20 20     n++;.    }.  
4460: 7d 65 6c 73 65 7b 0a 20 20 20 20 77 68 69 6c 65  }else{.    while
4470: 28 20 6e 3c 6e 43 68 61 72 20 29 7b 0a 20 20 20  ( n<nChar ){.   
4480: 20 20 20 52 45 41 44 5f 55 54 46 31 36 4c 45 28     READ_UTF16LE(
4490: 7a 2c 20 7a 54 65 72 6d 2c 20 63 29 3b 0a 20 20  z, zTerm, c);.  
44a0: 20 20 20 20 6e 2b 2b 3b 0a 20 20 20 20 7d 0a 20      n++;.    }. 
44b0: 20 7d 0a 20 20 72 65 74 75 72 6e 20 28 69 6e 74   }.  return (int
44c0: 29 28 7a 2d 28 75 6e 73 69 67 6e 65 64 20 63 68  )(z-(unsigned ch
44d0: 61 72 20 63 6f 6e 73 74 20 2a 29 7a 49 6e 29 3b  ar const *)zIn);
44e0: 0a 7d 0a 0a 23 69 66 20 64 65 66 69 6e 65 64 28  .}..#if defined(
44f0: 53 51 4c 49 54 45 5f 54 45 53 54 29 0a 2f 2a 0a  SQLITE_TEST)./*.
4500: 2a 2a 20 54 68 69 73 20 72 6f 75 74 69 6e 65 20  ** This routine 
4510: 69 73 20 63 61 6c 6c 65 64 20 66 72 6f 6d 20 74  is called from t
4520: 68 65 20 54 43 4c 20 74 65 73 74 20 66 75 6e 63  he TCL test func
4530: 74 69 6f 6e 20 22 74 72 61 6e 73 6c 61 74 65 5f  tion "translate_
4540: 73 65 6c 66 74 65 73 74 22 2e 0a 2a 2a 20 49 74  selftest"..** It
4550: 20 63 68 65 63 6b 73 20 74 68 61 74 20 74 68 65   checks that the
4560: 20 70 72 69 6d 69 74 69 76 65 73 20 66 6f 72 20   primitives for 
4570: 73 65 72 69 61 6c 69 7a 69 6e 67 20 61 6e 64 20  serializing and 
4580: 64 65 73 65 72 69 61 6c 69 7a 69 6e 67 0a 2a 2a  deserializing.**
4590: 20 63 68 61 72 61 63 74 65 72 73 20 69 6e 20 65   characters in e
45a0: 61 63 68 20 65 6e 63 6f 64 69 6e 67 20 61 72 65  ach encoding are
45b0: 20 69 6e 76 65 72 73 65 73 20 6f 66 20 65 61 63   inverses of eac
45c0: 68 20 6f 74 68 65 72 2e 0a 2a 2f 0a 76 6f 69 64  h other..*/.void
45d0: 20 73 71 6c 69 74 65 33 55 74 66 53 65 6c 66 54   sqlite3UtfSelfT
45e0: 65 73 74 28 76 6f 69 64 29 7b 0a 20 20 75 6e 73  est(void){.  uns
45f0: 69 67 6e 65 64 20 69 6e 74 20 69 2c 20 74 3b 0a  igned int i, t;.
4600: 20 20 75 6e 73 69 67 6e 65 64 20 63 68 61 72 20    unsigned char 
4610: 7a 42 75 66 5b 32 30 5d 3b 0a 20 20 75 6e 73 69  zBuf[20];.  unsi
4620: 67 6e 65 64 20 63 68 61 72 20 2a 7a 3b 0a 20 20  gned char *z;.  
4630: 69 6e 74 20 6e 3b 0a 20 20 75 6e 73 69 67 6e 65  int n;.  unsigne
4640: 64 20 69 6e 74 20 63 3b 0a 0a 20 20 66 6f 72 28  d int c;..  for(
4650: 69 3d 30 3b 20 69 3c 30 78 30 30 31 31 30 30 30  i=0; i<0x0011000
4660: 30 3b 20 69 2b 2b 29 7b 0a 20 20 20 20 7a 20 3d  0; i++){.    z =
4670: 20 7a 42 75 66 3b 0a 20 20 20 20 57 52 49 54 45   zBuf;.    WRITE
4680: 5f 55 54 46 38 28 7a 2c 20 69 29 3b 0a 20 20 20  _UTF8(z, i);.   
4690: 20 6e 20 3d 20 28 69 6e 74 29 28 7a 2d 7a 42 75   n = (int)(z-zBu
46a0: 66 29 3b 0a 20 20 20 20 61 73 73 65 72 74 28 20  f);.    assert( 
46b0: 6e 3e 30 20 26 26 20 6e 3c 3d 34 20 29 3b 0a 20  n>0 && n<=4 );. 
46c0: 20 20 20 7a 5b 30 5d 20 3d 20 30 3b 0a 20 20 20     z[0] = 0;.   
46d0: 20 7a 20 3d 20 7a 42 75 66 3b 0a 20 20 20 20 63   z = zBuf;.    c
46e0: 20 3d 20 73 71 6c 69 74 65 33 55 74 66 38 52 65   = sqlite3Utf8Re
46f0: 61 64 28 7a 2c 20 28 63 6f 6e 73 74 20 75 38 2a  ad(z, (const u8*
4700: 2a 29 26 7a 29 3b 0a 20 20 20 20 74 20 3d 20 69  *)&z);.    t = i
4710: 3b 0a 20 20 20 20 69 66 28 20 69 3e 3d 30 78 44  ;.    if( i>=0xD
4720: 38 30 30 20 26 26 20 69 3c 3d 30 78 44 46 46 46  800 && i<=0xDFFF
4730: 20 29 20 74 20 3d 20 30 78 46 46 46 44 3b 0a 20   ) t = 0xFFFD;. 
4740: 20 20 20 69 66 28 20 28 69 26 30 78 46 46 46 46     if( (i&0xFFFF
4750: 46 46 46 45 29 3d 3d 30 78 46 46 46 45 20 29 20  FFFE)==0xFFFE ) 
4760: 74 20 3d 20 30 78 46 46 46 44 3b 0a 20 20 20 20  t = 0xFFFD;.    
4770: 61 73 73 65 72 74 28 20 63 3d 3d 74 20 29 3b 0a  assert( c==t );.
4780: 20 20 20 20 61 73 73 65 72 74 28 20 28 7a 2d 7a      assert( (z-z
4790: 42 75 66 29 3d 3d 6e 20 29 3b 0a 20 20 7d 0a 20  Buf)==n );.  }. 
47a0: 20 66 6f 72 28 69 3d 30 3b 20 69 3c 30 78 30 30   for(i=0; i<0x00
47b0: 31 31 30 30 30 30 3b 20 69 2b 2b 29 7b 0a 20 20  110000; i++){.  
47c0: 20 20 69 66 28 20 69 3e 3d 30 78 44 38 30 30 20    if( i>=0xD800 
47d0: 26 26 20 69 3c 30 78 45 30 30 30 20 29 20 63 6f  && i<0xE000 ) co
47e0: 6e 74 69 6e 75 65 3b 0a 20 20 20 20 7a 20 3d 20  ntinue;.    z = 
47f0: 7a 42 75 66 3b 0a 20 20 20 20 57 52 49 54 45 5f  zBuf;.    WRITE_
4800: 55 54 46 31 36 4c 45 28 7a 2c 20 69 29 3b 0a 20  UTF16LE(z, i);. 
4810: 20 20 20 6e 20 3d 20 28 69 6e 74 29 28 7a 2d 7a     n = (int)(z-z
4820: 42 75 66 29 3b 0a 20 20 20 20 61 73 73 65 72 74  Buf);.    assert
4830: 28 20 6e 3e 30 20 26 26 20 6e 3c 3d 34 20 29 3b  ( n>0 && n<=4 );
4840: 0a 20 20 20 20 7a 5b 30 5d 20 3d 20 30 3b 0a 20  .    z[0] = 0;. 
4850: 20 20 20 7a 20 3d 20 7a 42 75 66 3b 0a 20 20 20     z = zBuf;.   
4860: 20 52 45 41 44 5f 55 54 46 31 36 4c 45 28 7a 2c   READ_UTF16LE(z,
4870: 20 26 7a 42 75 66 5b 6e 5d 2c 20 63 29 3b 0a 20   &zBuf[n], c);. 
4880: 20 20 20 61 73 73 65 72 74 28 20 63 3d 3d 69 20     assert( c==i 
4890: 29 3b 0a 20 20 20 20 61 73 73 65 72 74 28 20 28  );.    assert( (
48a0: 7a 2d 7a 42 75 66 29 3d 3d 6e 20 29 3b 0a 20 20  z-zBuf)==n );.  
48b0: 7d 0a 20 20 66 6f 72 28 69 3d 30 3b 20 69 3c 30  }.  for(i=0; i<0
48c0: 78 30 30 31 31 30 30 30 30 3b 20 69 2b 2b 29 7b  x00110000; i++){
48d0: 0a 20 20 20 20 69 66 28 20 69 3e 3d 30 78 44 38  .    if( i>=0xD8
48e0: 30 30 20 26 26 20 69 3c 30 78 45 30 30 30 20 29  00 && i<0xE000 )
48f0: 20 63 6f 6e 74 69 6e 75 65 3b 0a 20 20 20 20 7a   continue;.    z
4900: 20 3d 20 7a 42 75 66 3b 0a 20 20 20 20 57 52 49   = zBuf;.    WRI
4910: 54 45 5f 55 54 46 31 36 42 45 28 7a 2c 20 69 29  TE_UTF16BE(z, i)
4920: 3b 0a 20 20 20 20 6e 20 3d 20 28 69 6e 74 29 28  ;.    n = (int)(
4930: 7a 2d 7a 42 75 66 29 3b 0a 20 20 20 20 61 73 73  z-zBuf);.    ass
4940: 65 72 74 28 20 6e 3e 30 20 26 26 20 6e 3c 3d 34  ert( n>0 && n<=4
4950: 20 29 3b 0a 20 20 20 20 7a 5b 30 5d 20 3d 20 30   );.    z[0] = 0
4960: 3b 0a 20 20 20 20 7a 20 3d 20 7a 42 75 66 3b 0a  ;.    z = zBuf;.
4970: 20 20 20 20 52 45 41 44 5f 55 54 46 31 36 42 45      READ_UTF16BE
4980: 28 7a 2c 20 26 7a 42 75 66 5b 6e 5d 2c 20 63 29  (z, &zBuf[n], c)
4990: 3b 0a 20 20 20 20 61 73 73 65 72 74 28 20 63 3d  ;.    assert( c=
49a0: 3d 69 20 29 3b 0a 20 20 20 20 61 73 73 65 72 74  =i );.    assert
49b0: 28 20 28 7a 2d 7a 42 75 66 29 3d 3d 6e 20 29 3b  ( (z-zBuf)==n );
49c0: 0a 20 20 7d 0a 7d 0a 23 65 6e 64 69 66 20 2f 2a  .  }.}.#endif /*
49d0: 20 53 51 4c 49 54 45 5f 54 45 53 54 20 2a 2f 0a   SQLITE_TEST */.
49e0: 23 65 6e 64 69 66 20 2f 2a 20 53 51 4c 49 54 45  #endif /* SQLITE
49f0: 5f 4f 4d 49 54 5f 55 54 46 31 36 20 2a 2f 0a     _OMIT_UTF16 */.