/ Hex Artifact Content
Login

Artifact 2ea30d8122ccf1e33142c9cc8913d8cad9eb6668db359a228f10aeb37e2ab863:


0000: 0a 73 6f 75 72 63 65 20 5b 66 69 6c 65 20 6a 6f  .source [file jo
0010: 69 6e 20 5b 66 69 6c 65 20 64 69 72 6e 61 6d 65  in [file dirname
0020: 20 5b 69 6e 66 6f 20 73 63 72 69 70 74 5d 5d 20   [info script]] 
0030: 70 61 72 73 65 75 6e 69 63 6f 64 65 2e 74 63 6c  parseunicode.tcl
0040: 5d 0a 0a 70 72 6f 63 20 70 72 69 6e 74 5f 72 64  ]..proc print_rd
0050: 20 7b 6d 61 70 7d 20 7b 0a 20 20 67 6c 6f 62 61   {map} {.  globa
0060: 6c 20 74 6c 5f 6c 6f 6f 6b 75 70 5f 74 61 62 6c  l tl_lookup_tabl
0070: 65 0a 20 20 73 65 74 20 61 43 68 61 72 20 5b 6c  e.  set aChar [l
0080: 69 73 74 5d 0a 20 20 73 65 74 20 6c 52 61 6e 67  ist].  set lRang
0090: 65 20 5b 6c 69 73 74 5d 0a 0a 20 20 73 65 74 20  e [list]..  set 
00a0: 6e 52 61 6e 67 65 20 31 0a 20 20 73 65 74 20 69  nRange 1.  set i
00b0: 46 69 72 73 74 20 20 5b 6c 69 6e 64 65 78 20 24  First  [lindex $
00c0: 6d 61 70 20 30 20 30 5d 0a 20 20 73 65 74 20 63  map 0 0].  set c
00d0: 50 72 65 76 20 20 20 5b 6c 69 6e 64 65 78 20 24  Prev   [lindex $
00e0: 6d 61 70 20 30 20 31 5d 0a 20 20 73 65 74 20 66  map 0 1].  set f
00f0: 50 72 65 76 20 20 20 5b 6c 69 6e 64 65 78 20 24  Prev   [lindex $
0100: 6d 61 70 20 30 20 32 5d 0a 0a 20 20 66 6f 72 65  map 0 2]..  fore
0110: 61 63 68 20 6d 20 5b 6c 72 61 6e 67 65 20 24 6d  ach m [lrange $m
0120: 61 70 20 31 20 65 6e 64 5d 20 7b 0a 20 20 20 20  ap 1 end] {.    
0130: 66 6f 72 65 61 63 68 20 7b 69 20 63 20 66 7d 20  foreach {i c f} 
0140: 24 6d 20 7b 7d 0a 0a 20 20 20 20 69 66 20 7b 24  $m {}..    if {$
0150: 63 50 72 65 76 20 3d 3d 20 24 63 20 26 26 20 24  cPrev == $c && $
0160: 66 50 72 65 76 3d 3d 24 66 7d 20 7b 0a 20 20 20  fPrev==$f} {.   
0170: 20 20 20 66 6f 72 20 7b 73 65 74 20 6a 20 5b 65     for {set j [e
0180: 78 70 72 20 24 69 46 69 72 73 74 2b 24 6e 52 61  xpr $iFirst+$nRa
0190: 6e 67 65 5d 7d 20 7b 24 6a 3c 24 69 7d 20 7b 69  nge]} {$j<$i} {i
01a0: 6e 63 72 20 6a 7d 20 7b 0a 20 20 20 20 20 20 20  ncr j} {.       
01b0: 20 69 66 20 7b 5b 69 6e 66 6f 20 65 78 69 73 74   if {[info exist
01c0: 73 20 74 6c 5f 6c 6f 6f 6b 75 70 5f 74 61 62 6c  s tl_lookup_tabl
01d0: 65 28 24 6a 29 5d 3d 3d 30 7d 20 62 72 65 61 6b  e($j)]==0} break
01e0: 0a 20 20 20 20 20 20 7d 0a 0a 20 20 20 20 20 20  .      }..      
01f0: 69 66 20 7b 24 6a 3d 3d 24 69 7d 20 7b 0a 20 20  if {$j==$i} {.  
0200: 20 20 20 20 20 20 73 65 74 20 6e 4e 65 77 20 5b        set nNew [
0210: 65 78 70 72 20 7b 28 31 20 2b 20 24 69 20 2d 20  expr {(1 + $i - 
0220: 24 69 46 69 72 73 74 29 7d 5d 0a 20 20 20 20 20  $iFirst)}].     
0230: 20 20 20 69 66 20 7b 24 6e 4e 65 77 3c 3d 38 7d     if {$nNew<=8}
0240: 20 7b 0a 20 20 20 20 20 20 20 20 20 20 73 65 74   {.          set
0250: 20 6e 52 61 6e 67 65 20 24 6e 4e 65 77 0a 20 20   nRange $nNew.  
0260: 20 20 20 20 20 20 20 20 63 6f 6e 74 69 6e 75 65          continue
0270: 0a 20 20 20 20 20 20 20 20 7d 0a 20 20 20 20 20  .        }.     
0280: 20 7d 0a 20 20 20 20 7d 0a 0a 20 20 20 20 6c 61   }.    }..    la
0290: 70 70 65 6e 64 20 6c 52 61 6e 67 65 20 5b 6c 69  ppend lRange [li
02a0: 73 74 20 24 69 46 69 72 73 74 20 24 6e 52 61 6e  st $iFirst $nRan
02b0: 67 65 5d 0a 20 20 20 20 6c 61 70 70 65 6e 64 20  ge].    lappend 
02c0: 61 43 68 61 72 20 20 24 63 50 72 65 76 0a 20 20  aChar  $cPrev.  
02d0: 20 20 6c 61 70 70 65 6e 64 20 61 46 6c 61 67 20    lappend aFlag 
02e0: 20 24 66 50 72 65 76 0a 0a 20 20 20 20 73 65 74   $fPrev..    set
02f0: 20 69 46 69 72 73 74 20 24 69 0a 20 20 20 20 73   iFirst $i.    s
0300: 65 74 20 63 50 72 65 76 20 20 24 63 0a 20 20 20  et cPrev  $c.   
0310: 20 73 65 74 20 66 50 72 65 76 20 20 24 66 0a 20   set fPrev  $f. 
0320: 20 20 20 73 65 74 20 6e 52 61 6e 67 65 20 31 0a     set nRange 1.
0330: 20 20 7d 0a 20 20 6c 61 70 70 65 6e 64 20 6c 52    }.  lappend lR
0340: 61 6e 67 65 20 5b 6c 69 73 74 20 24 69 46 69 72  ange [list $iFir
0350: 73 74 20 24 6e 52 61 6e 67 65 5d 0a 20 20 6c 61  st $nRange].  la
0360: 70 70 65 6e 64 20 61 43 68 61 72 20 24 63 50 72  ppend aChar $cPr
0370: 65 76 0a 20 20 6c 61 70 70 65 6e 64 20 61 46 6c  ev.  lappend aFl
0380: 61 67 20 24 66 50 72 65 76 0a 0a 20 20 70 75 74  ag $fPrev..  put
0390: 73 20 22 2f 2a 22 0a 20 20 70 75 74 73 20 22 2a  s "/*".  puts "*
03a0: 2a 20 49 66 20 74 68 65 20 61 72 67 75 6d 65 6e  * If the argumen
03b0: 74 20 69 73 20 61 20 63 6f 64 65 70 6f 69 6e 74  t is a codepoint
03c0: 20 63 6f 72 72 65 73 70 6f 6e 64 69 6e 67 20 74   corresponding t
03d0: 6f 20 61 20 6c 6f 77 65 72 63 61 73 65 20 6c 65  o a lowercase le
03e0: 74 74 65 72 22 0a 20 20 70 75 74 73 20 22 2a 2a  tter".  puts "**
03f0: 20 69 6e 20 74 68 65 20 41 53 43 49 49 20 72 61   in the ASCII ra
0400: 6e 67 65 20 77 69 74 68 20 61 20 64 69 61 63 72  nge with a diacr
0410: 69 74 69 63 20 61 64 64 65 64 2c 20 72 65 74 75  itic added, retu
0420: 72 6e 20 74 68 65 20 63 6f 64 65 70 6f 69 6e 74  rn the codepoint
0430: 22 0a 20 20 70 75 74 73 20 22 2a 2a 20 6f 66 20  ".  puts "** of 
0440: 74 68 65 20 41 53 43 49 49 20 6c 65 74 74 65 72  the ASCII letter
0450: 20 6f 6e 6c 79 2e 20 46 6f 72 20 65 78 61 6d 70   only. For examp
0460: 6c 65 2c 20 69 66 20 70 61 73 73 65 64 20 32 33  le, if passed 23
0470: 35 20 2d 20 5c 22 4c 41 54 49 4e 22 0a 20 20 70  5 - \"LATIN".  p
0480: 75 74 73 20 22 2a 2a 20 53 4d 41 4c 4c 20 4c 45  uts "** SMALL LE
0490: 54 54 45 52 20 45 20 57 49 54 48 20 44 49 41 45  TTER E WITH DIAE
04a0: 52 45 53 49 53 5c 22 20 2d 20 72 65 74 75 72 6e  RESIS\" - return
04b0: 20 36 35 20 28 5c 22 4c 41 54 49 4e 20 53 4d 41   65 (\"LATIN SMA
04c0: 4c 4c 20 4c 45 54 54 45 52 22 0a 20 20 70 75 74  LL LETTER".  put
04d0: 73 20 22 2a 2a 20 45 5c 22 29 2e 20 54 68 65 20  s "** E\"). The 
04e0: 72 65 73 75 6c 73 20 6f 66 20 70 61 73 73 69 6e  resuls of passin
04f0: 67 20 61 20 63 6f 64 65 70 6f 69 6e 74 20 74 68  g a codepoint th
0500: 61 74 20 63 6f 72 72 65 73 70 6f 6e 64 73 20 74  at corresponds t
0510: 6f 20 61 6e 22 0a 20 20 70 75 74 73 20 22 2a 2a  o an".  puts "**
0520: 20 75 70 70 65 72 63 61 73 65 20 6c 65 74 74 65   uppercase lette
0530: 72 20 61 72 65 20 75 6e 64 65 66 69 6e 65 64 2e  r are undefined.
0540: 22 0a 20 20 70 75 74 73 20 22 2a 2f 22 0a 20 20  ".  puts "*/".  
0550: 70 75 74 73 20 22 73 74 61 74 69 63 20 69 6e 74  puts "static int
0560: 20 24 7b 3a 3a 72 65 6d 6f 76 65 5f 64 69 61 63   ${::remove_diac
0570: 72 69 74 69 63 7d 28 69 6e 74 20 63 2c 20 69 6e  ritic}(int c, in
0580: 74 20 62 43 6f 6d 70 6c 65 78 29 5c 7b 22 0a 20  t bComplex)\{". 
0590: 20 70 75 74 73 20 22 20 20 75 6e 73 69 67 6e 65   puts "  unsigne
05a0: 64 20 73 68 6f 72 74 20 61 44 69 61 5c 5b 5c 5d  d short aDia\[\]
05b0: 20 3d 20 5c 7b 22 0a 20 20 70 75 74 73 20 2d 6e   = \{".  puts -n
05c0: 6f 6e 65 77 6c 69 6e 65 20 22 20 20 20 20 20 20  onewline "      
05d0: 20 20 30 2c 20 22 0a 20 20 73 65 74 20 69 20 31    0, ".  set i 1
05e0: 0a 20 20 66 6f 72 65 61 63 68 20 72 20 24 6c 52  .  foreach r $lR
05f0: 61 6e 67 65 20 7b 0a 20 20 20 20 66 6f 72 65 61  ange {.    forea
0600: 63 68 20 7b 69 43 6f 64 65 20 6e 52 61 6e 67 65  ch {iCode nRange
0610: 7d 20 24 72 20 7b 7d 0a 20 20 20 20 69 66 20 7b  } $r {}.    if {
0620: 28 24 69 20 25 20 38 29 3d 3d 30 7d 20 7b 70 75  ($i % 8)==0} {pu
0630: 74 73 20 22 22 20 3b 20 70 75 74 73 20 2d 6e 6f  ts "" ; puts -no
0640: 6e 65 77 6c 69 6e 65 20 22 20 20 20 20 22 20 7d  newline "    " }
0650: 0a 20 20 20 20 69 6e 63 72 20 69 0a 0a 20 20 20  .    incr i..   
0660: 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65   puts -nonewline
0670: 20 5b 66 6f 72 6d 61 74 20 22 25 35 64 22 20 5b   [format "%5d" [
0680: 65 78 70 72 20 28 24 69 43 6f 64 65 3c 3c 33 29  expr ($iCode<<3)
0690: 20 2b 20 24 6e 52 61 6e 67 65 2d 31 5d 5d 0a 20   + $nRange-1]]. 
06a0: 20 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69     puts -nonewli
06b0: 6e 65 20 22 2c 20 22 0a 20 20 7d 0a 20 20 70 75  ne ", ".  }.  pu
06c0: 74 73 20 22 22 0a 20 20 70 75 74 73 20 22 20 20  ts "".  puts "  
06d0: 5c 7d 3b 22 0a 20 20 70 75 74 73 20 22 20 20 63  \};".  puts "  c
06e0: 68 61 72 20 61 43 68 61 72 5c 5b 5c 5d 20 3d 20  har aChar\[\] = 
06f0: 5c 7b 22 0a 20 20 70 75 74 73 20 2d 6e 6f 6e 65  \{".  puts -none
0700: 77 6c 69 6e 65 20 22 20 20 20 20 27 5c 5c 30 27  wline "    '\\0'
0710: 2c 20 20 20 20 20 20 22 0a 20 20 73 65 74 20 69  ,      ".  set i
0720: 20 31 0a 20 20 66 6f 72 65 61 63 68 20 63 20 24   1.  foreach c $
0730: 61 43 68 61 72 20 66 20 24 61 46 6c 61 67 20 7b  aChar f $aFlag {
0740: 0a 20 20 20 20 69 66 20 7b 20 24 66 20 7d 20 7b  .    if { $f } {
0750: 0a 20 20 20 20 20 20 73 65 74 20 73 74 72 20 22  .      set str "
0760: 27 24 63 27 7c 30 78 38 30 2c 20 20 22 0a 20 20  '$c'|0x80,  ".  
0770: 20 20 7d 20 65 6c 73 65 20 7b 0a 20 20 20 20 20    } else {.     
0780: 20 73 65 74 20 73 74 72 20 22 27 24 63 27 7c 30   set str "'$c'|0
0790: 78 30 30 2c 20 20 22 0a 20 20 20 20 7d 0a 20 20  x00,  ".    }.  
07a0: 20 20 69 66 20 7b 24 63 20 3d 3d 20 22 22 7d 20    if {$c == ""} 
07b0: 7b 20 73 65 74 20 73 74 72 20 22 27 5c 5c 30 27  { set str "'\\0'
07c0: 2c 20 20 20 20 20 20 22 20 7d 0a 0a 20 20 20 20  ,      " }..    
07d0: 69 66 20 7b 28 24 69 20 25 20 36 29 3d 3d 30 7d  if {($i % 6)==0}
07e0: 20 7b 70 75 74 73 20 22 22 20 3b 20 70 75 74 73   {puts "" ; puts
07f0: 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22 20 20 20   -nonewline "   
0800: 20 22 20 7d 0a 20 20 20 20 69 6e 63 72 20 69 0a   " }.    incr i.
0810: 20 20 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c      puts -nonewl
0820: 69 6e 65 20 22 24 73 74 72 22 0a 20 20 7d 0a 20  ine "$str".  }. 
0830: 20 70 75 74 73 20 22 22 0a 20 20 70 75 74 73 20   puts "".  puts 
0840: 22 20 20 5c 7d 3b 22 0a 20 20 70 75 74 73 20 7b  "  \};".  puts {
0850: 0a 20 20 75 6e 73 69 67 6e 65 64 20 69 6e 74 20  .  unsigned int 
0860: 6b 65 79 20 3d 20 28 28 28 75 6e 73 69 67 6e 65  key = (((unsigne
0870: 64 20 69 6e 74 29 63 29 3c 3c 33 29 20 7c 20 30  d int)c)<<3) | 0
0880: 78 30 30 30 30 30 30 30 37 3b 0a 20 20 69 6e 74  x00000007;.  int
0890: 20 69 52 65 73 20 3d 20 30 3b 0a 20 20 69 6e 74   iRes = 0;.  int
08a0: 20 69 48 69 20 3d 20 73 69 7a 65 6f 66 28 61 44   iHi = sizeof(aD
08b0: 69 61 29 2f 73 69 7a 65 6f 66 28 61 44 69 61 5b  ia)/sizeof(aDia[
08c0: 30 5d 29 20 2d 20 31 3b 0a 20 20 69 6e 74 20 69  0]) - 1;.  int i
08d0: 4c 6f 20 3d 20 30 3b 0a 20 20 77 68 69 6c 65 28  Lo = 0;.  while(
08e0: 20 69 48 69 3e 3d 69 4c 6f 20 29 7b 0a 20 20 20   iHi>=iLo ){.   
08f0: 20 69 6e 74 20 69 54 65 73 74 20 3d 20 28 69 48   int iTest = (iH
0900: 69 20 2b 20 69 4c 6f 29 20 2f 20 32 3b 0a 20 20  i + iLo) / 2;.  
0910: 20 20 69 66 28 20 6b 65 79 20 3e 3d 20 61 44 69    if( key >= aDi
0920: 61 5b 69 54 65 73 74 5d 20 29 7b 0a 20 20 20 20  a[iTest] ){.    
0930: 20 20 69 52 65 73 20 3d 20 69 54 65 73 74 3b 0a    iRes = iTest;.
0940: 20 20 20 20 20 20 69 4c 6f 20 3d 20 69 54 65 73        iLo = iTes
0950: 74 2b 31 3b 0a 20 20 20 20 7d 65 6c 73 65 7b 0a  t+1;.    }else{.
0960: 20 20 20 20 20 20 69 48 69 20 3d 20 69 54 65 73        iHi = iTes
0970: 74 2d 31 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20  t-1;.    }.  }. 
0980: 20 61 73 73 65 72 74 28 20 6b 65 79 3e 3d 61 44   assert( key>=aD
0990: 69 61 5b 69 52 65 73 5d 20 29 3b 0a 20 20 69 66  ia[iRes] );.  if
09a0: 28 20 62 43 6f 6d 70 6c 65 78 3d 3d 30 20 26 26  ( bComplex==0 &&
09b0: 20 28 61 43 68 61 72 5b 69 52 65 73 5d 20 26 20   (aChar[iRes] & 
09c0: 30 78 38 30 29 20 29 20 72 65 74 75 72 6e 20 63  0x80) ) return c
09d0: 3b 0a 20 20 72 65 74 75 72 6e 20 28 63 20 3e 20  ;.  return (c > 
09e0: 28 61 44 69 61 5b 69 52 65 73 5d 3e 3e 33 29 20  (aDia[iRes]>>3) 
09f0: 2b 20 28 61 44 69 61 5b 69 52 65 73 5d 26 30 78  + (aDia[iRes]&0x
0a00: 30 37 29 29 20 3f 20 63 20 3a 20 28 28 69 6e 74  07)) ? c : ((int
0a10: 29 61 43 68 61 72 5b 69 52 65 73 5d 20 26 20 30  )aChar[iRes] & 0
0a20: 78 37 46 29 3b 7d 0a 20 20 70 75 74 73 20 22 5c  x7F);}.  puts "\
0a30: 7d 22 0a 7d 0a 0a 70 72 6f 63 20 70 72 69 6e 74  }".}..proc print
0a40: 5f 69 73 64 69 61 63 72 69 74 69 63 20 7b 7a 46  _isdiacritic {zF
0a50: 75 6e 63 20 6d 61 70 7d 20 7b 0a 0a 20 20 73 65  unc map} {..  se
0a60: 74 20 6c 43 6f 64 65 20 5b 6c 69 73 74 5d 0a 20  t lCode [list]. 
0a70: 20 66 6f 72 65 61 63 68 20 6d 20 24 6d 61 70 20   foreach m $map 
0a80: 7b 0a 20 20 20 20 66 6f 72 65 61 63 68 20 7b 63  {.    foreach {c
0a90: 6f 64 65 20 63 68 61 72 20 66 6c 61 67 7d 20 24  ode char flag} $
0aa0: 6d 20 7b 7d 0a 20 20 20 20 69 66 20 7b 24 66 6c  m {}.    if {$fl
0ab0: 61 67 7d 20 63 6f 6e 74 69 6e 75 65 0a 20 20 20  ag} continue.   
0ac0: 20 69 66 20 7b 24 63 6f 64 65 20 26 26 20 24 63   if {$code && $c
0ad0: 68 61 72 20 3d 3d 20 22 22 7d 20 7b 20 6c 61 70  har == ""} { lap
0ae0: 70 65 6e 64 20 6c 43 6f 64 65 20 24 63 6f 64 65  pend lCode $code
0af0: 20 7d 0a 20 20 7d 0a 20 20 73 65 74 20 6c 43 6f   }.  }.  set lCo
0b00: 64 65 20 5b 6c 73 6f 72 74 20 2d 69 6e 74 65 67  de [lsort -integ
0b10: 65 72 20 24 6c 43 6f 64 65 5d 0a 20 20 73 65 74  er $lCode].  set
0b20: 20 69 46 69 72 73 74 20 5b 6c 69 6e 64 65 78 20   iFirst [lindex 
0b30: 24 6c 43 6f 64 65 20 30 5d 0a 20 20 73 65 74 20  $lCode 0].  set 
0b40: 69 4c 61 73 74 20 5b 6c 69 6e 64 65 78 20 24 6c  iLast [lindex $l
0b50: 43 6f 64 65 20 65 6e 64 5d 0a 0a 20 20 73 65 74  Code end]..  set
0b60: 20 69 31 20 30 0a 20 20 73 65 74 20 69 32 20 30   i1 0.  set i2 0
0b70: 0a 0a 20 20 66 6f 72 65 61 63 68 20 63 20 24 6c  ..  foreach c $l
0b80: 43 6f 64 65 20 7b 0a 20 20 20 20 73 65 74 20 69  Code {.    set i
0b90: 20 5b 65 78 70 72 20 24 63 20 2d 20 24 69 46 69   [expr $c - $iFi
0ba0: 72 73 74 5d 0a 20 20 20 20 69 66 20 7b 24 69 20  rst].    if {$i 
0bb0: 3c 20 33 32 7d 20 7b 0a 20 20 20 20 20 20 73 65  < 32} {.      se
0bc0: 74 20 69 31 20 5b 65 78 70 72 20 7b 24 69 31 20  t i1 [expr {$i1 
0bd0: 7c 20 28 31 3c 3c 24 69 29 7d 5d 0a 20 20 20 20  | (1<<$i)}].    
0be0: 7d 20 65 6c 73 65 20 7b 0a 20 20 20 20 20 20 73  } else {.      s
0bf0: 65 74 20 69 32 20 5b 65 78 70 72 20 7b 24 69 32  et i2 [expr {$i2
0c00: 20 7c 20 28 31 3c 3c 28 24 69 2d 33 32 29 29 7d   | (1<<($i-32))}
0c10: 5d 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a 20 20 70  ].    }.  }..  p
0c20: 75 74 73 20 22 2f 2a 22 0a 20 20 70 75 74 73 20  uts "/*".  puts 
0c30: 22 2a 2a 20 52 65 74 75 72 6e 20 74 72 75 65 20  "** Return true 
0c40: 69 66 20 74 68 65 20 61 72 67 75 6d 65 6e 74 20  if the argument 
0c50: 69 6e 74 65 72 70 72 65 74 65 64 20 61 73 20 61  interpreted as a
0c60: 20 75 6e 69 63 6f 64 65 20 63 6f 64 65 70 6f 69   unicode codepoi
0c70: 6e 74 22 20 0a 20 20 70 75 74 73 20 22 2a 2a 20  nt" .  puts "** 
0c80: 69 73 20 61 20 64 69 61 63 72 69 74 69 63 61 6c  is a diacritical
0c90: 20 6d 6f 64 69 66 69 65 72 20 63 68 61 72 61 63   modifier charac
0ca0: 74 65 72 2e 22 0a 20 20 70 75 74 73 20 22 2a 2f  ter.".  puts "*/
0cb0: 22 0a 20 20 70 75 74 73 20 22 69 6e 74 20 24 7b  ".  puts "int ${
0cc0: 7a 46 75 6e 63 7d 5c 28 69 6e 74 20 63 29 5c 7b  zFunc}\(int c)\{
0cd0: 22 0a 20 20 70 75 74 73 20 22 20 20 75 6e 73 69  ".  puts "  unsi
0ce0: 67 6e 65 64 20 69 6e 74 20 6d 61 73 6b 30 20 3d  gned int mask0 =
0cf0: 20 5b 66 6f 72 6d 61 74 20 22 30 78 25 30 38 58   [format "0x%08X
0d00: 22 20 24 69 31 5d 3b 22 0a 20 20 70 75 74 73 20  " $i1];".  puts 
0d10: 22 20 20 75 6e 73 69 67 6e 65 64 20 69 6e 74 20  "  unsigned int 
0d20: 6d 61 73 6b 31 20 3d 20 5b 66 6f 72 6d 61 74 20  mask1 = [format 
0d30: 22 30 78 25 30 38 58 22 20 24 69 32 5d 3b 22 0a  "0x%08X" $i2];".
0d40: 0a 20 20 70 75 74 73 20 22 20 20 69 66 28 20 63  .  puts "  if( c
0d50: 3c 24 69 46 69 72 73 74 20 7c 7c 20 63 3e 24 69  <$iFirst || c>$i
0d60: 4c 61 73 74 20 29 20 72 65 74 75 72 6e 20 30 3b  Last ) return 0;
0d70: 22 0a 20 20 70 75 74 73 20 22 20 20 72 65 74 75  ".  puts "  retu
0d80: 72 6e 20 28 63 20 3c 20 24 69 46 69 72 73 74 2b  rn (c < $iFirst+
0d90: 33 32 29 20 3f 22 0a 20 20 70 75 74 73 20 22 20  32) ?".  puts " 
0da0: 20 20 20 20 20 28 6d 61 73 6b 30 20 26 20 28 31       (mask0 & (1
0db0: 20 3c 3c 20 28 63 2d 24 69 46 69 72 73 74 29 29   << (c-$iFirst))
0dc0: 29 20 3a 22 0a 20 20 70 75 74 73 20 22 20 20 20  ) :".  puts "   
0dd0: 20 20 20 28 6d 61 73 6b 31 20 26 20 28 31 20 3c     (mask1 & (1 <
0de0: 3c 20 28 63 2d 24 69 46 69 72 73 74 2d 33 32 29  < (c-$iFirst-32)
0df0: 29 29 3b 22 0a 20 20 70 75 74 73 20 22 5c 7d 22  ));".  puts "\}"
0e00: 0a 7d 0a 0a 0a 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  .}...#----------
0e10: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0e20: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0e30: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
0e40: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a  ---------------.
0e50: 0a 70 72 6f 63 20 61 6e 5f 6c 6f 61 64 5f 73 65  .proc an_load_se
0e60: 70 61 72 61 74 6f 72 5f 72 61 6e 67 65 73 20 7b  parator_ranges {
0e70: 7d 20 7b 0a 20 20 67 6c 6f 62 61 6c 20 75 6e 69  } {.  global uni
0e80: 63 6f 64 65 64 61 74 61 2e 74 78 74 0a 20 20 73  codedata.txt.  s
0e90: 65 74 20 6c 53 65 70 20 5b 61 6e 5f 6c 6f 61 64  et lSep [an_load
0ea0: 5f 75 6e 69 63 6f 64 65 64 61 74 61 5f 74 65 78  _unicodedata_tex
0eb0: 74 20 24 7b 75 6e 69 63 6f 64 65 64 61 74 61 2e  t ${unicodedata.
0ec0: 74 78 74 7d 5d 0a 20 20 75 6e 73 65 74 20 2d 6e  txt}].  unset -n
0ed0: 6f 63 6f 6d 70 6c 61 69 6e 20 69 46 69 72 73 74  ocomplain iFirst
0ee0: 20 0a 20 20 75 6e 73 65 74 20 2d 6e 6f 63 6f 6d   .  unset -nocom
0ef0: 70 6c 61 69 6e 20 6e 52 61 6e 67 65 20 0a 20 20  plain nRange .  
0f00: 73 65 74 20 6c 52 61 6e 67 65 20 5b 6c 69 73 74  set lRange [list
0f10: 5d 0a 20 20 66 6f 72 65 61 63 68 20 73 65 70 20  ].  foreach sep 
0f20: 24 6c 53 65 70 20 7b 0a 20 20 20 20 69 66 20 7b  $lSep {.    if {
0f30: 30 3d 3d 5b 69 6e 66 6f 20 65 78 69 73 74 73 20  0==[info exists 
0f40: 69 46 69 72 73 74 5d 7d 20 7b 0a 20 20 20 20 20  iFirst]} {.     
0f50: 20 73 65 74 20 69 46 69 72 73 74 20 24 73 65 70   set iFirst $sep
0f60: 0a 20 20 20 20 20 20 73 65 74 20 6e 52 61 6e 67  .      set nRang
0f70: 65 20 31 0a 20 20 20 20 7d 20 65 6c 73 65 69 66  e 1.    } elseif
0f80: 20 7b 20 24 73 65 70 20 3d 3d 20 28 24 69 46 69   { $sep == ($iFi
0f90: 72 73 74 2b 24 6e 52 61 6e 67 65 29 20 7d 20 7b  rst+$nRange) } {
0fa0: 0a 20 20 20 20 20 20 69 6e 63 72 20 6e 52 61 6e  .      incr nRan
0fb0: 67 65 0a 20 20 20 20 7d 20 65 6c 73 65 20 7b 0a  ge.    } else {.
0fc0: 20 20 20 20 20 20 6c 61 70 70 65 6e 64 20 6c 52        lappend lR
0fd0: 61 6e 67 65 20 5b 6c 69 73 74 20 24 69 46 69 72  ange [list $iFir
0fe0: 73 74 20 24 6e 52 61 6e 67 65 5d 0a 20 20 20 20  st $nRange].    
0ff0: 20 20 73 65 74 20 69 46 69 72 73 74 20 24 73 65    set iFirst $se
1000: 70 0a 20 20 20 20 20 20 73 65 74 20 6e 52 61 6e  p.      set nRan
1010: 67 65 20 31 0a 20 20 20 20 7d 0a 20 20 7d 20 0a  ge 1.    }.  } .
1020: 20 20 6c 61 70 70 65 6e 64 20 6c 52 61 6e 67 65    lappend lRange
1030: 20 5b 6c 69 73 74 20 24 69 46 69 72 73 74 20 24   [list $iFirst $
1040: 6e 52 61 6e 67 65 5d 0a 20 20 73 65 74 20 6c 52  nRange].  set lR
1050: 61 6e 67 65 0a 7d 0a 0a 70 72 6f 63 20 61 6e 5f  ange.}..proc an_
1060: 70 72 69 6e 74 5f 72 61 6e 67 65 5f 61 72 72 61  print_range_arra
1070: 79 20 7b 6c 52 61 6e 67 65 7d 20 7b 0a 20 20 73  y {lRange} {.  s
1080: 65 74 20 69 46 69 72 73 74 4d 61 78 20 30 0a 20  et iFirstMax 0. 
1090: 20 73 65 74 20 6e 52 61 6e 67 65 4d 61 78 20 30   set nRangeMax 0
10a0: 0a 20 20 66 6f 72 65 61 63 68 20 72 61 6e 67 65  .  foreach range
10b0: 20 24 6c 52 61 6e 67 65 20 7b 0a 20 20 20 20 66   $lRange {.    f
10c0: 6f 72 65 61 63 68 20 7b 69 46 69 72 73 74 20 6e  oreach {iFirst n
10d0: 52 61 6e 67 65 7d 20 24 72 61 6e 67 65 20 7b 7d  Range} $range {}
10e0: 0a 20 20 20 20 69 66 20 7b 24 69 46 69 72 73 74  .    if {$iFirst
10f0: 20 3e 20 24 69 46 69 72 73 74 4d 61 78 7d 20 7b   > $iFirstMax} {
1100: 73 65 74 20 69 46 69 72 73 74 4d 61 78 20 24 69  set iFirstMax $i
1110: 46 69 72 73 74 7d 0a 20 20 20 20 69 66 20 7b 24  First}.    if {$
1120: 6e 52 61 6e 67 65 20 3e 20 24 6e 52 61 6e 67 65  nRange > $nRange
1130: 4d 61 78 7d 20 7b 73 65 74 20 6e 52 61 6e 67 65  Max} {set nRange
1140: 4d 61 78 20 24 6e 52 61 6e 67 65 7d 0a 20 20 7d  Max $nRange}.  }
1150: 0a 20 20 69 66 20 7b 24 69 46 69 72 73 74 4d 61  .  if {$iFirstMa
1160: 78 20 3e 3d 20 28 31 3c 3c 32 32 29 7d 20 7b 65  x >= (1<<22)} {e
1170: 72 72 6f 72 20 22 66 69 72 73 74 2d 6d 61 78 20  rror "first-max 
1180: 69 73 20 74 6f 6f 20 6c 61 72 67 65 20 66 6f 72  is too large for
1190: 20 66 6f 72 6d 61 74 22 7d 0a 20 20 69 66 20 7b   format"}.  if {
11a0: 24 6e 52 61 6e 67 65 4d 61 78 20 3e 3d 20 28 31  $nRangeMax >= (1
11b0: 3c 3c 31 30 29 7d 20 7b 65 72 72 6f 72 20 22 72  <<10)} {error "r
11c0: 61 6e 67 65 2d 6d 61 78 20 69 73 20 74 6f 6f 20  ange-max is too 
11d0: 6c 61 72 67 65 20 66 6f 72 20 66 6f 72 6d 61 74  large for format
11e0: 22 7d 0a 0a 20 20 70 75 74 73 20 2d 6e 6f 6e 65  "}..  puts -none
11f0: 77 6c 69 6e 65 20 22 20 20 22 0a 20 20 70 75 74  wline "  ".  put
1200: 73 20 5b 73 74 72 69 6e 67 20 74 72 69 6d 20 7b  s [string trim {
1210: 0a 20 20 2f 2a 20 45 61 63 68 20 75 6e 73 69 67  .  /* Each unsig
1220: 6e 65 64 20 69 6e 74 65 67 65 72 20 69 6e 20 74  ned integer in t
1230: 68 65 20 66 6f 6c 6c 6f 77 69 6e 67 20 61 72 72  he following arr
1240: 61 79 20 63 6f 72 72 65 73 70 6f 6e 64 73 20 74  ay corresponds t
1250: 6f 20 61 20 63 6f 6e 74 69 67 75 6f 75 73 0a 20  o a contiguous. 
1260: 20 2a 2a 20 72 61 6e 67 65 20 6f 66 20 75 6e 69   ** range of uni
1270: 63 6f 64 65 20 63 6f 64 65 70 6f 69 6e 74 73 20  code codepoints 
1280: 74 68 61 74 20 61 72 65 20 6e 6f 74 20 65 69 74  that are not eit
1290: 68 65 72 20 6c 65 74 74 65 72 73 20 6f 72 20 6e  her letters or n
12a0: 75 6d 62 65 72 73 20 28 69 2e 65 2e 0a 20 20 2a  umbers (i.e..  *
12b0: 2a 20 63 6f 64 65 70 6f 69 6e 74 73 20 66 6f 72  * codepoints for
12c0: 20 77 68 69 63 68 20 74 68 69 73 20 66 75 6e 63   which this func
12d0: 74 69 6f 6e 20 73 68 6f 75 6c 64 20 72 65 74 75  tion should retu
12e0: 72 6e 20 30 29 2e 0a 20 20 2a 2a 0a 20 20 2a 2a  rn 0)..  **.  **
12f0: 20 54 68 65 20 6d 6f 73 74 20 73 69 67 6e 69 66   The most signif
1300: 69 63 61 6e 74 20 32 32 20 62 69 74 73 20 69 6e  icant 22 bits in
1310: 20 65 61 63 68 20 33 32 2d 62 69 74 20 76 61 6c   each 32-bit val
1320: 75 65 20 63 6f 6e 74 61 69 6e 20 74 68 65 20 66  ue contain the f
1330: 69 72 73 74 20 0a 20 20 2a 2a 20 63 6f 64 65 70  irst .  ** codep
1340: 6f 69 6e 74 20 69 6e 20 74 68 65 20 72 61 6e 67  oint in the rang
1350: 65 2e 20 54 68 65 20 6c 65 61 73 74 20 73 69 67  e. The least sig
1360: 6e 69 66 69 63 61 6e 74 20 31 30 20 62 69 74 73  nificant 10 bits
1370: 20 61 72 65 20 75 73 65 64 20 74 6f 20 73 74 6f   are used to sto
1380: 72 65 0a 20 20 2a 2a 20 74 68 65 20 73 69 7a 65  re.  ** the size
1390: 20 6f 66 20 74 68 65 20 72 61 6e 67 65 20 28 61   of the range (a
13a0: 6c 77 61 79 73 20 61 74 20 6c 65 61 73 74 20 31  lways at least 1
13b0: 29 2e 20 49 6e 20 6f 74 68 65 72 20 77 6f 72 64  ). In other word
13c0: 73 2c 20 74 68 65 20 76 61 6c 75 65 20 0a 20 20  s, the value .  
13d0: 2a 2a 20 28 28 43 3c 3c 32 32 29 20 2b 20 4e 29  ** ((C<<22) + N)
13e0: 20 72 65 70 72 65 73 65 6e 74 73 20 61 20 72 61   represents a ra
13f0: 6e 67 65 20 6f 66 20 4e 20 63 6f 64 65 70 6f 69  nge of N codepoi
1400: 6e 74 73 20 73 74 61 72 74 69 6e 67 20 77 69 74  nts starting wit
1410: 68 20 63 6f 64 65 70 6f 69 6e 74 20 0a 20 20 2a  h codepoint .  *
1420: 2a 20 43 2e 20 49 74 20 69 73 20 6e 6f 74 20 70  * C. It is not p
1430: 6f 73 73 69 62 6c 65 20 74 6f 20 72 65 70 72 65  ossible to repre
1440: 73 65 6e 74 20 61 20 72 61 6e 67 65 20 6c 61 72  sent a range lar
1450: 67 65 72 20 74 68 61 6e 20 31 30 32 33 20 63 6f  ger than 1023 co
1460: 64 65 70 6f 69 6e 74 73 20 0a 20 20 2a 2a 20 75  depoints .  ** u
1470: 73 69 6e 67 20 74 68 69 73 20 66 6f 72 6d 61 74  sing this format
1480: 2e 0a 20 20 2a 2f 0a 20 20 7d 5d 0a 20 20 70 75  ..  */.  }].  pu
1490: 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22 20  ts -nonewline " 
14a0: 20 73 74 61 74 69 63 20 63 6f 6e 73 74 20 75 6e   static const un
14b0: 73 69 67 6e 65 64 20 69 6e 74 20 61 45 6e 74 72  signed int aEntr
14c0: 79 5c 5b 5c 5d 20 3d 20 5c 7b 22 0a 20 20 73 65  y\[\] = \{".  se
14d0: 74 20 69 20 30 0a 20 20 66 6f 72 65 61 63 68 20  t i 0.  foreach 
14e0: 72 61 6e 67 65 20 24 6c 52 61 6e 67 65 20 7b 0a  range $lRange {.
14f0: 20 20 20 20 66 6f 72 65 61 63 68 20 7b 69 46 69      foreach {iFi
1500: 72 73 74 20 6e 52 61 6e 67 65 7d 20 24 72 61 6e  rst nRange} $ran
1510: 67 65 20 7b 7d 0a 20 20 20 20 73 65 74 20 75 33  ge {}.    set u3
1520: 32 20 5b 66 6f 72 6d 61 74 20 22 30 78 25 30 38  2 [format "0x%08
1530: 58 22 20 5b 65 78 70 72 20 28 24 69 46 69 72 73  X" [expr ($iFirs
1540: 74 3c 3c 31 30 29 20 2b 20 24 6e 52 61 6e 67 65  t<<10) + $nRange
1550: 5d 5d 0a 0a 20 20 20 20 69 66 20 7b 28 24 69 20  ]]..    if {($i 
1560: 25 20 35 29 3d 3d 30 7d 20 7b 70 75 74 73 20 22  % 5)==0} {puts "
1570: 22 20 3b 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c  " ; puts -nonewl
1580: 69 6e 65 20 22 20 20 20 22 7d 0a 20 20 20 20 70  ine "   "}.    p
1590: 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22  uts -nonewline "
15a0: 20 24 75 33 32 2c 22 0a 20 20 20 20 69 6e 63 72   $u32,".    incr
15b0: 20 69 0a 20 20 7d 0a 20 20 70 75 74 73 20 22 22   i.  }.  puts ""
15c0: 0a 20 20 70 75 74 73 20 22 20 20 5c 7d 3b 22 0a  .  puts "  \};".
15d0: 7d 0a 0a 70 72 6f 63 20 61 6e 5f 70 72 69 6e 74  }..proc an_print
15e0: 5f 61 73 63 69 69 5f 62 69 74 6d 61 70 20 7b 6c  _ascii_bitmap {l
15f0: 52 61 6e 67 65 7d 20 7b 0a 20 20 66 6f 72 65 61  Range} {.  forea
1600: 63 68 20 72 61 6e 67 65 20 24 6c 52 61 6e 67 65  ch range $lRange
1610: 20 7b 0a 20 20 20 20 66 6f 72 65 61 63 68 20 7b   {.    foreach {
1620: 69 46 69 72 73 74 20 6e 52 61 6e 67 65 7d 20 24  iFirst nRange} $
1630: 72 61 6e 67 65 20 7b 7d 0a 20 20 20 20 66 6f 72  range {}.    for
1640: 20 7b 73 65 74 20 69 20 24 69 46 69 72 73 74 7d   {set i $iFirst}
1650: 20 7b 24 69 20 3c 20 28 24 69 46 69 72 73 74 2b   {$i < ($iFirst+
1660: 24 6e 52 61 6e 67 65 29 7d 20 7b 69 6e 63 72 20  $nRange)} {incr 
1670: 69 7d 20 7b 0a 20 20 20 20 20 20 69 66 20 7b 24  i} {.      if {$
1680: 69 3c 3d 31 32 37 7d 20 7b 20 73 65 74 20 61 28  i<=127} { set a(
1690: 24 69 29 20 31 20 7d 0a 20 20 20 20 7d 0a 20 20  $i) 1 }.    }.  
16a0: 7d 0a 0a 20 20 73 65 74 20 61 41 73 63 69 69 20  }..  set aAscii 
16b0: 5b 6c 69 73 74 20 30 20 30 20 30 20 30 5d 0a 20  [list 0 0 0 0]. 
16c0: 20 66 6f 72 65 61 63 68 20 6b 65 79 20 5b 61 72   foreach key [ar
16d0: 72 61 79 20 6e 61 6d 65 73 20 61 5d 20 7b 0a 20  ray names a] {. 
16e0: 20 20 20 73 65 74 20 69 64 78 20 5b 65 78 70 72     set idx [expr
16f0: 20 24 6b 65 79 20 3e 3e 20 35 5d 0a 20 20 20 20   $key >> 5].    
1700: 6c 73 65 74 20 61 41 73 63 69 69 20 24 69 64 78  lset aAscii $idx
1710: 20 5b 65 78 70 72 20 5b 6c 69 6e 64 65 78 20 24   [expr [lindex $
1720: 61 41 73 63 69 69 20 24 69 64 78 5d 20 7c 20 28  aAscii $idx] | (
1730: 31 20 3c 3c 20 28 24 6b 65 79 26 30 78 30 30 31  1 << ($key&0x001
1740: 46 29 29 5d 0a 20 20 7d 0a 0a 20 20 70 75 74 73  F))].  }..  puts
1750: 20 22 20 20 73 74 61 74 69 63 20 63 6f 6e 73 74   "  static const
1760: 20 75 6e 73 69 67 6e 65 64 20 69 6e 74 20 61 41   unsigned int aA
1770: 73 63 69 69 5c 5b 34 5c 5d 20 3d 20 5c 7b 22 0a  scii\[4\] = \{".
1780: 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e    puts -nonewlin
1790: 65 20 22 20 20 20 22 0a 20 20 66 6f 72 65 61 63  e "   ".  foreac
17a0: 68 20 76 20 24 61 41 73 63 69 69 20 7b 20 70 75  h v $aAscii { pu
17b0: 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 5b 66  ts -nonewline [f
17c0: 6f 72 6d 61 74 20 22 20 30 78 25 30 38 58 2c 22  ormat " 0x%08X,"
17d0: 20 24 76 5d 20 7d 0a 20 20 70 75 74 73 20 22 22   $v] }.  puts ""
17e0: 0a 20 20 70 75 74 73 20 22 20 20 5c 7d 3b 22 0a  .  puts "  \};".
17f0: 7d 0a 0a 70 72 6f 63 20 70 72 69 6e 74 5f 69 73  }..proc print_is
1800: 61 6c 6e 75 6d 20 7b 7a 46 75 6e 63 20 6c 52 61  alnum {zFunc lRa
1810: 6e 67 65 7d 20 7b 0a 20 20 70 75 74 73 20 22 2f  nge} {.  puts "/
1820: 2a 22 0a 20 20 70 75 74 73 20 22 2a 2a 20 52 65  *".  puts "** Re
1830: 74 75 72 6e 20 74 72 75 65 20 69 66 20 74 68 65  turn true if the
1840: 20 61 72 67 75 6d 65 6e 74 20 63 6f 72 72 65 73   argument corres
1850: 70 6f 6e 64 73 20 74 6f 20 61 20 75 6e 69 63 6f  ponds to a unico
1860: 64 65 20 63 6f 64 65 70 6f 69 6e 74 22 0a 20 20  de codepoint".  
1870: 70 75 74 73 20 22 2a 2a 20 63 6c 61 73 73 69 66  puts "** classif
1880: 69 65 64 20 61 73 20 65 69 74 68 65 72 20 61 20  ied as either a 
1890: 6c 65 74 74 65 72 20 6f 72 20 61 20 6e 75 6d 62  letter or a numb
18a0: 65 72 2e 20 4f 74 68 65 72 77 69 73 65 20 66 61  er. Otherwise fa
18b0: 6c 73 65 2e 22 0a 20 20 70 75 74 73 20 22 2a 2a  lse.".  puts "**
18c0: 22 0a 20 20 70 75 74 73 20 22 2a 2a 20 54 68 65  ".  puts "** The
18d0: 20 72 65 73 75 6c 74 73 20 61 72 65 20 75 6e 64   results are und
18e0: 65 66 69 6e 65 64 20 69 66 20 74 68 65 20 76 61  efined if the va
18f0: 6c 75 65 20 70 61 73 73 65 64 20 74 6f 20 74 68  lue passed to th
1900: 69 73 20 66 75 6e 63 74 69 6f 6e 22 0a 20 20 70  is function".  p
1910: 75 74 73 20 22 2a 2a 20 69 73 20 6c 65 73 73 20  uts "** is less 
1920: 74 68 61 6e 20 7a 65 72 6f 2e 22 0a 20 20 70 75  than zero.".  pu
1930: 74 73 20 22 2a 2f 22 0a 20 20 70 75 74 73 20 22  ts "*/".  puts "
1940: 69 6e 74 20 24 7b 7a 46 75 6e 63 7d 5c 28 69 6e  int ${zFunc}\(in
1950: 74 20 63 29 5c 7b 22 0a 20 20 61 6e 5f 70 72 69  t c)\{".  an_pri
1960: 6e 74 5f 72 61 6e 67 65 5f 61 72 72 61 79 20 24  nt_range_array $
1970: 6c 52 61 6e 67 65 0a 20 20 61 6e 5f 70 72 69 6e  lRange.  an_prin
1980: 74 5f 61 73 63 69 69 5f 62 69 74 6d 61 70 20 24  t_ascii_bitmap $
1990: 6c 52 61 6e 67 65 0a 20 20 70 75 74 73 20 7b 0a  lRange.  puts {.
19a0: 20 20 69 66 28 20 28 75 6e 73 69 67 6e 65 64 20    if( (unsigned 
19b0: 69 6e 74 29 63 3c 31 32 38 20 29 7b 0a 20 20 20  int)c<128 ){.   
19c0: 20 72 65 74 75 72 6e 20 28 20 28 61 41 73 63 69   return ( (aAsci
19d0: 69 5b 63 20 3e 3e 20 35 5d 20 26 20 28 28 75 6e  i[c >> 5] & ((un
19e0: 73 69 67 6e 65 64 20 69 6e 74 29 31 20 3c 3c 20  signed int)1 << 
19f0: 28 63 20 26 20 30 78 30 30 31 46 29 29 29 3d 3d  (c & 0x001F)))==
1a00: 30 20 29 3b 0a 20 20 7d 65 6c 73 65 20 69 66 28  0 );.  }else if(
1a10: 20 28 75 6e 73 69 67 6e 65 64 20 69 6e 74 29 63   (unsigned int)c
1a20: 3c 28 31 3c 3c 32 32 29 20 29 7b 0a 20 20 20 20  <(1<<22) ){.    
1a30: 75 6e 73 69 67 6e 65 64 20 69 6e 74 20 6b 65 79  unsigned int key
1a40: 20 3d 20 28 28 28 75 6e 73 69 67 6e 65 64 20 69   = (((unsigned i
1a50: 6e 74 29 63 29 3c 3c 31 30 29 20 7c 20 30 78 30  nt)c)<<10) | 0x0
1a60: 30 30 30 30 33 46 46 3b 0a 20 20 20 20 69 6e 74  00003FF;.    int
1a70: 20 69 52 65 73 20 3d 20 30 3b 0a 20 20 20 20 69   iRes = 0;.    i
1a80: 6e 74 20 69 48 69 20 3d 20 73 69 7a 65 6f 66 28  nt iHi = sizeof(
1a90: 61 45 6e 74 72 79 29 2f 73 69 7a 65 6f 66 28 61  aEntry)/sizeof(a
1aa0: 45 6e 74 72 79 5b 30 5d 29 20 2d 20 31 3b 0a 20  Entry[0]) - 1;. 
1ab0: 20 20 20 69 6e 74 20 69 4c 6f 20 3d 20 30 3b 0a     int iLo = 0;.
1ac0: 20 20 20 20 77 68 69 6c 65 28 20 69 48 69 3e 3d      while( iHi>=
1ad0: 69 4c 6f 20 29 7b 0a 20 20 20 20 20 20 69 6e 74  iLo ){.      int
1ae0: 20 69 54 65 73 74 20 3d 20 28 69 48 69 20 2b 20   iTest = (iHi + 
1af0: 69 4c 6f 29 20 2f 20 32 3b 0a 20 20 20 20 20 20  iLo) / 2;.      
1b00: 69 66 28 20 6b 65 79 20 3e 3d 20 61 45 6e 74 72  if( key >= aEntr
1b10: 79 5b 69 54 65 73 74 5d 20 29 7b 0a 20 20 20 20  y[iTest] ){.    
1b20: 20 20 20 20 69 52 65 73 20 3d 20 69 54 65 73 74      iRes = iTest
1b30: 3b 0a 20 20 20 20 20 20 20 20 69 4c 6f 20 3d 20  ;.        iLo = 
1b40: 69 54 65 73 74 2b 31 3b 0a 20 20 20 20 20 20 7d  iTest+1;.      }
1b50: 65 6c 73 65 7b 0a 20 20 20 20 20 20 20 20 69 48  else{.        iH
1b60: 69 20 3d 20 69 54 65 73 74 2d 31 3b 0a 20 20 20  i = iTest-1;.   
1b70: 20 20 20 7d 0a 20 20 20 20 7d 0a 20 20 20 20 61     }.    }.    a
1b80: 73 73 65 72 74 28 20 61 45 6e 74 72 79 5b 30 5d  ssert( aEntry[0]
1b90: 3c 6b 65 79 20 29 3b 0a 20 20 20 20 61 73 73 65  <key );.    asse
1ba0: 72 74 28 20 6b 65 79 3e 3d 61 45 6e 74 72 79 5b  rt( key>=aEntry[
1bb0: 69 52 65 73 5d 20 29 3b 0a 20 20 20 20 72 65 74  iRes] );.    ret
1bc0: 75 72 6e 20 28 28 28 75 6e 73 69 67 6e 65 64 20  urn (((unsigned 
1bd0: 69 6e 74 29 63 29 20 3e 3d 20 28 28 61 45 6e 74  int)c) >= ((aEnt
1be0: 72 79 5b 69 52 65 73 5d 3e 3e 31 30 29 20 2b 20  ry[iRes]>>10) + 
1bf0: 28 61 45 6e 74 72 79 5b 69 52 65 73 5d 26 30 78  (aEntry[iRes]&0x
1c00: 33 46 46 29 29 29 3b 0a 20 20 7d 0a 20 20 72 65  3FF)));.  }.  re
1c10: 74 75 72 6e 20 31 3b 7d 0a 20 20 70 75 74 73 20  turn 1;}.  puts 
1c20: 22 5c 7d 22 0a 7d 0a 0a 70 72 6f 63 20 70 72 69  "\}".}..proc pri
1c30: 6e 74 5f 74 65 73 74 5f 69 73 61 6c 6e 75 6d 20  nt_test_isalnum 
1c40: 7b 7a 46 75 6e 63 20 6c 52 61 6e 67 65 7d 20 7b  {zFunc lRange} {
1c50: 0a 20 20 66 6f 72 65 61 63 68 20 72 61 6e 67 65  .  foreach range
1c60: 20 24 6c 52 61 6e 67 65 20 7b 0a 20 20 20 20 66   $lRange {.    f
1c70: 6f 72 65 61 63 68 20 7b 69 46 69 72 73 74 20 6e  oreach {iFirst n
1c80: 52 61 6e 67 65 7d 20 24 72 61 6e 67 65 20 7b 7d  Range} $range {}
1c90: 0a 20 20 20 20 66 6f 72 20 7b 73 65 74 20 69 20  .    for {set i 
1ca0: 24 69 46 69 72 73 74 7d 20 7b 24 69 20 3c 20 28  $iFirst} {$i < (
1cb0: 24 69 46 69 72 73 74 2b 24 6e 52 61 6e 67 65 29  $iFirst+$nRange)
1cc0: 7d 20 7b 69 6e 63 72 20 69 7d 20 7b 20 73 65 74  } {incr i} { set
1cd0: 20 61 28 24 69 29 20 31 20 7d 0a 20 20 7d 0a 0a   a($i) 1 }.  }..
1ce0: 20 20 70 75 74 73 20 22 73 74 61 74 69 63 20 69    puts "static i
1cf0: 6e 74 20 69 73 61 6c 6e 75 6d 5f 74 65 73 74 28  nt isalnum_test(
1d00: 69 6e 74 20 2a 70 69 43 6f 64 65 29 5c 7b 22 0a  int *piCode)\{".
1d10: 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e    puts -nonewlin
1d20: 65 20 22 20 20 75 6e 73 69 67 6e 65 64 20 63 68  e "  unsigned ch
1d30: 61 72 20 61 41 6c 6e 75 6d 5c 5b 5c 5d 20 3d 20  ar aAlnum\[\] = 
1d40: 5c 7b 22 0a 20 20 66 6f 72 20 7b 73 65 74 20 69  \{".  for {set i
1d50: 20 30 7d 20 7b 24 69 20 3c 20 37 30 30 30 30 7d   0} {$i < 70000}
1d60: 20 7b 69 6e 63 72 20 69 7d 20 7b 0a 20 20 20 20   {incr i} {.    
1d70: 69 66 20 7b 28 24 69 20 25 20 33 32 29 3d 3d 30  if {($i % 32)==0
1d80: 7d 20 7b 20 70 75 74 73 20 22 22 20 3b 20 70 75  } { puts "" ; pu
1d90: 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22 20  ts -nonewline " 
1da0: 20 20 20 22 20 7d 0a 20 20 20 20 73 65 74 20 62     " }.    set b
1db0: 46 6c 61 67 20 5b 65 78 70 72 20 21 5b 69 6e 66  Flag [expr ![inf
1dc0: 6f 20 65 78 69 73 74 73 20 61 28 24 69 29 5d 5d  o exists a($i)]]
1dd0: 0a 20 20 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77  .    puts -nonew
1de0: 6c 69 6e 65 20 22 24 7b 62 46 6c 61 67 7d 2c 22  line "${bFlag},"
1df0: 0a 20 20 7d 0a 20 20 70 75 74 73 20 22 22 0a 20  .  }.  puts "". 
1e00: 20 70 75 74 73 20 22 20 20 5c 7d 3b 22 0a 0a 20   puts "  \};".. 
1e10: 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65   puts -nonewline
1e20: 20 22 20 20 69 6e 74 20 61 4c 61 72 67 65 53 65   "  int aLargeSe
1e30: 70 5c 5b 5c 5d 20 3d 20 5c 7b 22 0a 20 20 73 65  p\[\] = \{".  se
1e40: 74 20 69 20 30 0a 20 20 66 6f 72 65 61 63 68 20  t i 0.  foreach 
1e50: 69 53 65 70 20 5b 6c 73 6f 72 74 20 2d 69 6e 74  iSep [lsort -int
1e60: 65 67 65 72 20 5b 61 72 72 61 79 20 6e 61 6d 65  eger [array name
1e70: 73 20 61 5d 5d 20 7b 0a 20 20 20 20 69 66 20 7b  s a]] {.    if {
1e80: 24 69 53 65 70 3c 37 30 30 30 30 7d 20 63 6f 6e  $iSep<70000} con
1e90: 74 69 6e 75 65 0a 20 20 20 20 69 66 20 7b 28 24  tinue.    if {($
1ea0: 69 20 25 20 38 29 3d 3d 30 7d 20 7b 20 70 75 74  i % 8)==0} { put
1eb0: 73 20 22 22 20 3b 20 70 75 74 73 20 2d 6e 6f 6e  s "" ; puts -non
1ec0: 65 77 6c 69 6e 65 20 22 20 20 20 22 20 7d 0a 20  ewline "   " }. 
1ed0: 20 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69     puts -nonewli
1ee0: 6e 65 20 22 20 24 69 53 65 70 2c 22 0a 20 20 20  ne " $iSep,".   
1ef0: 20 69 6e 63 72 20 69 0a 20 20 7d 0a 20 20 70 75   incr i.  }.  pu
1f00: 74 73 20 22 22 0a 20 20 70 75 74 73 20 22 20 20  ts "".  puts "  
1f10: 5c 7d 3b 22 0a 20 20 70 75 74 73 20 2d 6e 6f 6e  \};".  puts -non
1f20: 65 77 6c 69 6e 65 20 22 20 20 69 6e 74 20 61 4c  ewline "  int aL
1f30: 61 72 67 65 4f 74 68 65 72 5c 5b 5c 5d 20 3d 20  argeOther\[\] = 
1f40: 5c 7b 22 0a 20 20 73 65 74 20 69 20 30 0a 20 20  \{".  set i 0.  
1f50: 66 6f 72 65 61 63 68 20 69 53 65 70 20 5b 6c 73  foreach iSep [ls
1f60: 6f 72 74 20 2d 69 6e 74 65 67 65 72 20 5b 61 72  ort -integer [ar
1f70: 72 61 79 20 6e 61 6d 65 73 20 61 5d 5d 20 7b 0a  ray names a]] {.
1f80: 20 20 20 20 69 66 20 7b 24 69 53 65 70 3c 37 30      if {$iSep<70
1f90: 30 30 30 7d 20 63 6f 6e 74 69 6e 75 65 0a 20 20  000} continue.  
1fa0: 20 20 69 66 20 7b 5b 69 6e 66 6f 20 65 78 69 73    if {[info exis
1fb0: 74 73 20 61 28 5b 65 78 70 72 20 24 69 53 65 70  ts a([expr $iSep
1fc0: 2d 31 5d 29 5d 3d 3d 30 7d 20 7b 0a 20 20 20 20  -1])]==0} {.    
1fd0: 20 20 69 66 20 7b 28 24 69 20 25 20 38 29 3d 3d    if {($i % 8)==
1fe0: 30 7d 20 7b 20 70 75 74 73 20 22 22 20 3b 20 70  0} { puts "" ; p
1ff0: 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22  uts -nonewline "
2000: 20 20 20 22 20 7d 0a 20 20 20 20 20 20 70 75 74     " }.      put
2010: 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22 20 5b  s -nonewline " [
2020: 65 78 70 72 20 24 69 53 65 70 2d 31 5d 2c 22 0a  expr $iSep-1],".
2030: 20 20 20 20 20 20 69 6e 63 72 20 69 0a 20 20 20        incr i.   
2040: 20 7d 0a 20 20 20 20 69 66 20 7b 5b 69 6e 66 6f   }.    if {[info
2050: 20 65 78 69 73 74 73 20 61 28 5b 65 78 70 72 20   exists a([expr 
2060: 24 69 53 65 70 2b 31 5d 29 5d 3d 3d 30 7d 20 7b  $iSep+1])]==0} {
2070: 0a 20 20 20 20 20 20 69 66 20 7b 28 24 69 20 25  .      if {($i %
2080: 20 38 29 3d 3d 30 7d 20 7b 20 70 75 74 73 20 22   8)==0} { puts "
2090: 22 20 3b 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c  " ; puts -nonewl
20a0: 69 6e 65 20 22 20 20 20 22 20 7d 0a 20 20 20 20  ine "   " }.    
20b0: 20 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e    puts -nonewlin
20c0: 65 20 22 20 5b 65 78 70 72 20 24 69 53 65 70 2b  e " [expr $iSep+
20d0: 31 5d 2c 22 0a 20 20 20 20 20 20 69 6e 63 72 20  1],".      incr 
20e0: 69 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 70 75  i.    }.  }.  pu
20f0: 74 73 20 22 22 0a 20 20 70 75 74 73 20 22 20 20  ts "".  puts "  
2100: 5c 7d 3b 22 0a 0a 20 20 70 75 74 73 20 5b 73 75  \};"..  puts [su
2110: 62 73 74 20 2d 6e 6f 63 6f 6d 6d 61 6e 64 73 20  bst -nocommands 
2120: 7b 0a 20 20 69 6e 74 20 69 3b 0a 20 20 66 6f 72  {.  int i;.  for
2130: 28 69 3d 30 3b 20 69 3c 73 69 7a 65 6f 66 28 61  (i=0; i<sizeof(a
2140: 41 6c 6e 75 6d 29 2f 73 69 7a 65 6f 66 28 61 41  Alnum)/sizeof(aA
2150: 6c 6e 75 6d 5b 30 5d 29 3b 20 69 2b 2b 29 7b 0a  lnum[0]); i++){.
2160: 20 20 20 20 69 66 28 20 24 7b 7a 46 75 6e 63 7d      if( ${zFunc}
2170: 28 69 29 21 3d 61 41 6c 6e 75 6d 5b 69 5d 20 29  (i)!=aAlnum[i] )
2180: 7b 0a 20 20 20 20 20 20 2a 70 69 43 6f 64 65 20  {.      *piCode 
2190: 3d 20 69 3b 0a 20 20 20 20 20 20 72 65 74 75 72  = i;.      retur
21a0: 6e 20 31 3b 0a 20 20 20 20 7d 0a 20 20 7d 0a 20  n 1;.    }.  }. 
21b0: 20 66 6f 72 28 69 3d 30 3b 20 69 3c 73 69 7a 65   for(i=0; i<size
21c0: 6f 66 28 61 4c 61 72 67 65 53 65 70 29 2f 73 69  of(aLargeSep)/si
21d0: 7a 65 6f 66 28 61 4c 61 72 67 65 53 65 70 5b 30  zeof(aLargeSep[0
21e0: 5d 29 3b 20 69 2b 2b 29 7b 0a 20 20 20 20 69 66  ]); i++){.    if
21f0: 28 20 24 7b 7a 46 75 6e 63 7d 28 61 4c 61 72 67  ( ${zFunc}(aLarg
2200: 65 53 65 70 5b 69 5d 29 21 3d 30 20 29 7b 0a 20  eSep[i])!=0 ){. 
2210: 20 20 20 20 20 2a 70 69 43 6f 64 65 20 3d 20 61       *piCode = a
2220: 4c 61 72 67 65 53 65 70 5b 69 5d 3b 0a 20 20 20  LargeSep[i];.   
2230: 20 20 20 72 65 74 75 72 6e 20 31 3b 0a 20 20 20     return 1;.   
2240: 20 7d 0a 20 20 7d 0a 20 20 66 6f 72 28 69 3d 30   }.  }.  for(i=0
2250: 3b 20 69 3c 73 69 7a 65 6f 66 28 61 4c 61 72 67  ; i<sizeof(aLarg
2260: 65 4f 74 68 65 72 29 2f 73 69 7a 65 6f 66 28 61  eOther)/sizeof(a
2270: 4c 61 72 67 65 4f 74 68 65 72 5b 30 5d 29 3b 20  LargeOther[0]); 
2280: 69 2b 2b 29 7b 0a 20 20 20 20 69 66 28 20 24 7b  i++){.    if( ${
2290: 7a 46 75 6e 63 7d 28 61 4c 61 72 67 65 4f 74 68  zFunc}(aLargeOth
22a0: 65 72 5b 69 5d 29 21 3d 31 20 29 7b 0a 20 20 20  er[i])!=1 ){.   
22b0: 20 20 20 2a 70 69 43 6f 64 65 20 3d 20 61 4c 61     *piCode = aLa
22c0: 72 67 65 4f 74 68 65 72 5b 69 5d 3b 0a 20 20 20  rgeOther[i];.   
22d0: 20 20 20 72 65 74 75 72 6e 20 31 3b 0a 20 20 20     return 1;.   
22e0: 20 7d 0a 20 20 7d 0a 20 20 7d 5d 0a 20 20 70 75   }.  }.  }].  pu
22f0: 74 73 20 22 20 20 72 65 74 75 72 6e 20 30 3b 22  ts "  return 0;"
2300: 0a 20 20 70 75 74 73 20 22 5c 7d 22 0a 7d 0a 0a  .  puts "\}".}..
2310: 23 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  #---------------
2320: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
2330: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
2340: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d  ----------------
2350: 2d 2d 2d 2d 2d 2d 2d 2d 2d 2d 0a 0a 70 72 6f 63  ----------..proc
2360: 20 74 6c 5f 63 72 65 61 74 65 5f 72 65 63 6f 72   tl_create_recor
2370: 64 73 20 7b 7d 20 7b 0a 20 20 67 6c 6f 62 61 6c  ds {} {.  global
2380: 20 74 6c 5f 6c 6f 6f 6b 75 70 5f 74 61 62 6c 65   tl_lookup_table
2390: 0a 0a 20 20 73 65 74 20 69 46 69 72 73 74 20 22  ..  set iFirst "
23a0: 22 0a 20 20 73 65 74 20 6e 4f 66 66 20 30 0a 20  ".  set nOff 0. 
23b0: 20 73 65 74 20 6e 52 61 6e 67 65 20 30 0a 20 20   set nRange 0.  
23c0: 73 65 74 20 6e 49 6e 63 72 20 30 0a 0a 20 20 73  set nIncr 0..  s
23d0: 65 74 20 6c 52 65 63 6f 72 64 20 5b 6c 69 73 74  et lRecord [list
23e0: 5d 0a 20 20 66 6f 72 65 61 63 68 20 63 6f 64 65  ].  foreach code
23f0: 20 5b 6c 73 6f 72 74 20 2d 69 6e 74 65 67 65 72   [lsort -integer
2400: 20 5b 61 72 72 61 79 20 6e 61 6d 65 73 20 74 6c   [array names tl
2410: 5f 6c 6f 6f 6b 75 70 5f 74 61 62 6c 65 5d 5d 20  _lookup_table]] 
2420: 7b 0a 20 20 20 20 73 65 74 20 6d 61 70 70 69 6e  {.    set mappin
2430: 67 20 24 74 6c 5f 6c 6f 6f 6b 75 70 5f 74 61 62  g $tl_lookup_tab
2440: 6c 65 28 24 63 6f 64 65 29 0a 20 20 20 20 69 66  le($code).    if
2450: 20 7b 24 69 46 69 72 73 74 20 3d 3d 20 22 22 7d   {$iFirst == ""}
2460: 20 7b 0a 20 20 20 20 20 20 73 65 74 20 69 46 69   {.      set iFi
2470: 72 73 74 20 24 63 6f 64 65 0a 20 20 20 20 20 20  rst $code.      
2480: 73 65 74 20 6e 4f 66 66 20 20 20 5b 65 78 70 72  set nOff   [expr
2490: 20 24 6d 61 70 70 69 6e 67 20 2d 20 24 63 6f 64   $mapping - $cod
24a0: 65 5d 0a 20 20 20 20 20 20 73 65 74 20 6e 52 61  e].      set nRa
24b0: 6e 67 65 20 31 0a 20 20 20 20 20 20 73 65 74 20  nge 1.      set 
24c0: 6e 49 6e 63 72 20 31 0a 20 20 20 20 7d 20 65 6c  nIncr 1.    } el
24d0: 73 65 20 7b 0a 20 20 20 20 20 20 73 65 74 20 64  se {.      set d
24e0: 69 66 66 20 5b 65 78 70 72 20 24 63 6f 64 65 20  iff [expr $code 
24f0: 2d 20 28 24 69 46 69 72 73 74 20 2b 20 28 24 6e  - ($iFirst + ($n
2500: 49 6e 63 72 20 2a 20 28 24 6e 52 61 6e 67 65 20  Incr * ($nRange 
2510: 2d 20 31 29 29 29 5d 0a 20 20 20 20 20 20 69 66  - 1)))].      if
2520: 20 7b 20 24 6e 52 61 6e 67 65 3d 3d 31 20 26 26   { $nRange==1 &&
2530: 20 28 24 64 69 66 66 3d 3d 31 20 7c 7c 20 24 64   ($diff==1 || $d
2540: 69 66 66 3d 3d 32 29 20 7d 20 7b 0a 20 20 20 20  iff==2) } {.    
2550: 20 20 20 20 73 65 74 20 6e 49 6e 63 72 20 24 64      set nIncr $d
2560: 69 66 66 0a 20 20 20 20 20 20 7d 0a 0a 20 20 20  iff.      }..   
2570: 20 20 20 69 66 20 7b 24 64 69 66 66 20 21 3d 20     if {$diff != 
2580: 24 6e 49 6e 63 72 20 7c 7c 20 28 24 6d 61 70 70  $nIncr || ($mapp
2590: 69 6e 67 20 2d 20 24 63 6f 64 65 29 21 3d 24 6e  ing - $code)!=$n
25a0: 4f 66 66 7d 20 7b 0a 20 20 20 20 20 20 20 20 69  Off} {.        i
25b0: 66 20 7b 20 24 6e 52 61 6e 67 65 3d 3d 31 20 7d  f { $nRange==1 }
25c0: 20 7b 73 65 74 20 6e 49 6e 63 72 20 31 7d 0a 20   {set nIncr 1}. 
25d0: 20 20 20 20 20 20 20 6c 61 70 70 65 6e 64 20 6c         lappend l
25e0: 52 65 63 6f 72 64 20 5b 6c 69 73 74 20 24 69 46  Record [list $iF
25f0: 69 72 73 74 20 24 6e 49 6e 63 72 20 24 6e 52 61  irst $nIncr $nRa
2600: 6e 67 65 20 24 6e 4f 66 66 5d 0a 20 20 20 20 20  nge $nOff].     
2610: 20 20 20 73 65 74 20 69 46 69 72 73 74 20 24 63     set iFirst $c
2620: 6f 64 65 0a 20 20 20 20 20 20 20 20 73 65 74 20  ode.        set 
2630: 6e 4f 66 66 20 20 20 5b 65 78 70 72 20 24 6d 61  nOff   [expr $ma
2640: 70 70 69 6e 67 20 2d 20 24 63 6f 64 65 5d 0a 20  pping - $code]. 
2650: 20 20 20 20 20 20 20 73 65 74 20 6e 52 61 6e 67         set nRang
2660: 65 20 31 0a 20 20 20 20 20 20 20 20 73 65 74 20  e 1.        set 
2670: 6e 49 6e 63 72 20 31 0a 20 20 20 20 20 20 7d 20  nIncr 1.      } 
2680: 65 6c 73 65 20 7b 0a 20 20 20 20 20 20 20 20 69  else {.        i
2690: 6e 63 72 20 6e 52 61 6e 67 65 0a 20 20 20 20 20  ncr nRange.     
26a0: 20 7d 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a 20 20   }.    }.  }..  
26b0: 6c 61 70 70 65 6e 64 20 6c 52 65 63 6f 72 64 20  lappend lRecord 
26c0: 5b 6c 69 73 74 20 24 69 46 69 72 73 74 20 24 6e  [list $iFirst $n
26d0: 49 6e 63 72 20 24 6e 52 61 6e 67 65 20 24 6e 4f  Incr $nRange $nO
26e0: 66 66 5d 0a 0a 20 20 73 65 74 20 6c 52 65 63 6f  ff]..  set lReco
26f0: 72 64 0a 7d 0a 0a 70 72 6f 63 20 74 6c 5f 70 72  rd.}..proc tl_pr
2700: 69 6e 74 5f 74 61 62 6c 65 5f 68 65 61 64 65 72  int_table_header
2710: 20 7b 7d 20 7b 0a 20 20 70 75 74 73 20 2d 6e 6f   {} {.  puts -no
2720: 6e 65 77 6c 69 6e 65 20 22 20 20 22 0a 20 20 70  newline "  ".  p
2730: 75 74 73 20 5b 73 74 72 69 6e 67 20 74 72 69 6d  uts [string trim
2740: 20 7b 0a 20 20 2f 2a 20 45 61 63 68 20 65 6e 74   {.  /* Each ent
2750: 72 79 20 69 6e 20 74 68 65 20 66 6f 6c 6c 6f 77  ry in the follow
2760: 69 6e 67 20 61 72 72 61 79 20 64 65 66 69 6e 65  ing array define
2770: 73 20 61 20 72 75 6c 65 20 66 6f 72 20 66 6f 6c  s a rule for fol
2780: 64 69 6e 67 20 61 20 72 61 6e 67 65 0a 20 20 2a  ding a range.  *
2790: 2a 20 6f 66 20 63 6f 64 65 70 6f 69 6e 74 73 20  * of codepoints 
27a0: 74 6f 20 6c 6f 77 65 72 20 63 61 73 65 2e 20 54  to lower case. T
27b0: 68 65 20 72 75 6c 65 20 61 70 70 6c 69 65 73 20  he rule applies 
27c0: 74 6f 20 61 20 72 61 6e 67 65 20 6f 66 20 6e 52  to a range of nR
27d0: 61 6e 67 65 0a 20 20 2a 2a 20 63 6f 64 65 70 6f  ange.  ** codepo
27e0: 69 6e 74 73 20 73 74 61 72 74 69 6e 67 20 61 74  ints starting at
27f0: 20 63 6f 64 65 70 6f 69 6e 74 20 69 43 6f 64 65   codepoint iCode
2800: 2e 0a 20 20 2a 2a 0a 20 20 2a 2a 20 49 66 20 74  ..  **.  ** If t
2810: 68 65 20 6c 65 61 73 74 20 73 69 67 6e 69 66 69  he least signifi
2820: 63 61 6e 74 20 62 69 74 20 69 6e 20 66 6c 61 67  cant bit in flag
2830: 73 20 69 73 20 63 6c 65 61 72 2c 20 74 68 65 6e  s is clear, then
2840: 20 74 68 65 20 72 75 6c 65 20 61 70 70 6c 69 65   the rule applie
2850: 73 0a 20 20 2a 2a 20 74 6f 20 61 6c 6c 20 6e 52  s.  ** to all nR
2860: 61 6e 67 65 20 63 6f 64 65 70 6f 69 6e 74 73 20  ange codepoints 
2870: 28 69 2e 65 2e 20 61 6c 6c 20 6e 52 61 6e 67 65  (i.e. all nRange
2880: 20 63 6f 64 65 70 6f 69 6e 74 73 20 61 72 65 20   codepoints are 
2890: 75 70 70 65 72 20 63 61 73 65 20 61 6e 64 0a 20  upper case and. 
28a0: 20 2a 2a 20 6e 65 65 64 20 74 6f 20 62 65 20 66   ** need to be f
28b0: 6f 6c 64 65 64 29 2e 20 4f 72 2c 20 69 66 20 69  olded). Or, if i
28c0: 74 20 69 73 20 73 65 74 2c 20 74 68 65 6e 20 74  t is set, then t
28d0: 68 65 20 72 75 6c 65 20 6f 6e 6c 79 20 61 70 70  he rule only app
28e0: 6c 69 65 73 20 74 6f 0a 20 20 2a 2a 20 65 76 65  lies to.  ** eve
28f0: 72 79 20 73 65 63 6f 6e 64 20 63 6f 64 65 70 6f  ry second codepo
2900: 69 6e 74 20 69 6e 20 74 68 65 20 72 61 6e 67 65  int in the range
2910: 2c 20 73 74 61 72 74 69 6e 67 20 77 69 74 68 20  , starting with 
2920: 63 6f 64 65 70 6f 69 6e 74 20 43 2e 0a 20 20 2a  codepoint C..  *
2930: 2a 0a 20 20 2a 2a 20 54 68 65 20 37 20 6d 6f 73  *.  ** The 7 mos
2940: 74 20 73 69 67 6e 69 66 69 63 61 6e 74 20 62 69  t significant bi
2950: 74 73 20 69 6e 20 66 6c 61 67 73 20 61 72 65 20  ts in flags are 
2960: 61 6e 20 69 6e 64 65 78 20 69 6e 74 6f 20 74 68  an index into th
2970: 65 20 61 69 4f 66 66 5b 5d 0a 20 20 2a 2a 20 61  e aiOff[].  ** a
2980: 72 72 61 79 2e 20 49 66 20 61 20 73 70 65 63 69  rray. If a speci
2990: 66 69 63 20 63 6f 64 65 70 6f 69 6e 74 20 43 20  fic codepoint C 
29a0: 64 6f 65 73 20 72 65 71 75 69 72 65 20 66 6f 6c  does require fol
29b0: 64 69 6e 67 2c 20 74 68 65 6e 20 69 74 73 20 6c  ding, then its l
29c0: 6f 77 65 72 0a 20 20 2a 2a 20 63 61 73 65 20 65  ower.  ** case e
29d0: 71 75 69 76 61 6c 65 6e 74 20 69 73 20 28 28 43  quivalent is ((C
29e0: 20 2b 20 61 69 4f 66 66 5b 66 6c 61 67 73 3e 3e   + aiOff[flags>>
29f0: 31 5d 29 20 26 20 30 78 46 46 46 46 29 2e 0a 20  1]) & 0xFFFF).. 
2a00: 20 2a 2a 0a 20 20 2a 2a 20 54 68 65 20 63 6f 6e   **.  ** The con
2a10: 74 65 6e 74 73 20 6f 66 20 74 68 69 73 20 61 72  tents of this ar
2a20: 72 61 79 20 61 72 65 20 67 65 6e 65 72 61 74 65  ray are generate
2a30: 64 20 62 79 20 70 61 72 73 69 6e 67 20 74 68 65  d by parsing the
2a40: 20 43 61 73 65 46 6f 6c 64 69 6e 67 2e 74 78 74   CaseFolding.txt
2a50: 0a 20 20 2a 2a 20 66 69 6c 65 20 64 69 73 74 72  .  ** file distr
2a60: 69 62 75 74 65 64 20 61 73 20 70 61 72 74 20 6f  ibuted as part o
2a70: 66 20 74 68 65 20 22 55 6e 69 63 6f 64 65 20 43  f the "Unicode C
2a80: 68 61 72 61 63 74 65 72 20 44 61 74 61 62 61 73  haracter Databas
2a90: 65 22 2e 20 53 65 65 0a 20 20 2a 2a 20 68 74 74  e". See.  ** htt
2aa0: 70 3a 2f 2f 77 77 77 2e 75 6e 69 63 6f 64 65 2e  p://www.unicode.
2ab0: 6f 72 67 20 66 6f 72 20 64 65 74 61 69 6c 73 2e  org for details.
2ac0: 0a 20 20 2a 2f 0a 20 20 7d 5d 0a 20 20 70 75 74  .  */.  }].  put
2ad0: 73 20 22 20 20 73 74 61 74 69 63 20 63 6f 6e 73  s "  static cons
2ae0: 74 20 73 74 72 75 63 74 20 54 61 62 6c 65 45 6e  t struct TableEn
2af0: 74 72 79 20 5c 7b 22 0a 20 20 70 75 74 73 20 22  try \{".  puts "
2b00: 20 20 20 20 75 6e 73 69 67 6e 65 64 20 73 68 6f      unsigned sho
2b10: 72 74 20 69 43 6f 64 65 3b 22 0a 20 20 70 75 74  rt iCode;".  put
2b20: 73 20 22 20 20 20 20 75 6e 73 69 67 6e 65 64 20  s "    unsigned 
2b30: 63 68 61 72 20 66 6c 61 67 73 3b 22 0a 20 20 70  char flags;".  p
2b40: 75 74 73 20 22 20 20 20 20 75 6e 73 69 67 6e 65  uts "    unsigne
2b50: 64 20 63 68 61 72 20 6e 52 61 6e 67 65 3b 22 0a  d char nRange;".
2b60: 20 20 70 75 74 73 20 22 20 20 5c 7d 20 61 45 6e    puts "  \} aEn
2b70: 74 72 79 5c 5b 5c 5d 20 3d 20 5c 7b 22 0a 7d 0a  try\[\] = \{".}.
2b80: 0a 70 72 6f 63 20 74 6c 5f 70 72 69 6e 74 5f 74  .proc tl_print_t
2b90: 61 62 6c 65 5f 65 6e 74 72 79 20 7b 74 6f 67 67  able_entry {togg
2ba0: 6c 65 76 61 72 20 65 6e 74 72 79 20 6c 69 4f 66  levar entry liOf
2bb0: 66 7d 20 7b 0a 20 20 75 70 76 61 72 20 24 74 6f  f} {.  upvar $to
2bc0: 67 67 6c 65 76 61 72 20 74 0a 20 20 66 6f 72 65  gglevar t.  fore
2bd0: 61 63 68 20 7b 69 46 69 72 73 74 20 6e 49 6e 63  ach {iFirst nInc
2be0: 72 20 6e 52 61 6e 67 65 20 6e 4f 66 66 7d 20 24  r nRange nOff} $
2bf0: 65 6e 74 72 79 20 7b 7d 0a 0a 20 20 69 66 20 7b  entry {}..  if {
2c00: 24 69 46 69 72 73 74 20 3e 20 28 31 3c 3c 31 36  $iFirst > (1<<16
2c10: 29 7d 20 7b 20 72 65 74 75 72 6e 20 31 20 7d 0a  )} { return 1 }.
2c20: 0a 20 20 69 66 20 7b 5b 69 6e 66 6f 20 65 78 69  .  if {[info exi
2c30: 73 74 73 20 74 5d 3d 3d 30 7d 20 7b 73 65 74 20  sts t]==0} {set 
2c40: 74 20 30 7d 0a 20 20 69 66 20 7b 24 74 3d 3d 30  t 0}.  if {$t==0
2c50: 7d 20 7b 20 70 75 74 73 20 2d 6e 6f 6e 65 77 6c  } { puts -nonewl
2c60: 69 6e 65 20 22 20 20 20 20 22 20 7d 0a 0a 20 20  ine "    " }..  
2c70: 73 65 74 20 66 6c 61 67 73 20 30 0a 20 20 69 66  set flags 0.  if
2c80: 20 7b 24 6e 49 6e 63 72 3d 3d 32 7d 20 7b 20 73   {$nIncr==2} { s
2c90: 65 74 20 66 6c 61 67 73 20 31 20 3b 20 73 65 74  et flags 1 ; set
2ca0: 20 6e 52 61 6e 67 65 20 5b 65 78 70 72 20 24 6e   nRange [expr $n
2cb0: 52 61 6e 67 65 20 2a 20 32 5d 7d 0a 20 20 69 66  Range * 2]}.  if
2cc0: 20 7b 24 6e 4f 66 66 3c 30 7d 20 20 20 7b 20 69   {$nOff<0}   { i
2cd0: 6e 63 72 20 6e 4f 66 66 20 5b 65 78 70 72 20 28  ncr nOff [expr (
2ce0: 31 3c 3c 31 36 29 5d 20 7d 0a 0a 20 20 73 65 74  1<<16)] }..  set
2cf0: 20 69 64 78 20 5b 6c 73 65 61 72 63 68 20 24 6c   idx [lsearch $l
2d00: 69 4f 66 66 20 24 6e 4f 66 66 5d 0a 20 20 69 66  iOff $nOff].  if
2d10: 20 7b 24 69 64 78 3c 30 7d 20 7b 65 72 72 6f 72   {$idx<0} {error
2d20: 20 22 6d 61 6c 66 75 6e 63 74 69 6f 6e 20 67 65   "malfunction ge
2d30: 6e 65 72 61 74 69 6e 67 20 61 69 4f 66 66 22 7d  nerating aiOff"}
2d40: 0a 20 20 73 65 74 20 66 6c 61 67 73 20 5b 65 78  .  set flags [ex
2d50: 70 72 20 24 66 6c 61 67 73 20 2b 20 24 69 64 78  pr $flags + $idx
2d60: 2a 32 5d 0a 0a 20 20 73 65 74 20 74 78 74 20 22  *2]..  set txt "
2d70: 7b 24 69 46 69 72 73 74 2c 20 24 66 6c 61 67 73  {$iFirst, $flags
2d80: 2c 20 24 6e 52 61 6e 67 65 7d 2c 22 0a 20 20 69  , $nRange},".  i
2d90: 66 20 7b 24 74 3d 3d 32 7d 20 7b 0a 20 20 20 20  f {$t==2} {.    
2da0: 70 75 74 73 20 24 74 78 74 0a 20 20 7d 20 65 6c  puts $txt.  } el
2db0: 73 65 20 7b 0a 20 20 20 20 70 75 74 73 20 2d 6e  se {.    puts -n
2dc0: 6f 6e 65 77 6c 69 6e 65 20 5b 66 6f 72 6d 61 74  onewline [format
2dd0: 20 22 25 20 2d 32 33 73 22 20 24 74 78 74 5d 0a   "% -23s" $txt].
2de0: 20 20 7d 0a 20 20 73 65 74 20 74 20 5b 65 78 70    }.  set t [exp
2df0: 72 20 28 24 74 2b 31 29 25 33 5d 0a 0a 20 20 72  r ($t+1)%3]..  r
2e00: 65 74 75 72 6e 20 30 0a 7d 0a 0a 70 72 6f 63 20  eturn 0.}..proc 
2e10: 74 6c 5f 70 72 69 6e 74 5f 74 61 62 6c 65 5f 66  tl_print_table_f
2e20: 6f 6f 74 65 72 20 7b 74 6f 67 67 6c 65 76 61 72  ooter {togglevar
2e30: 7d 20 7b 0a 20 20 75 70 76 61 72 20 24 74 6f 67  } {.  upvar $tog
2e40: 67 6c 65 76 61 72 20 74 0a 20 20 69 66 20 7b 24  glevar t.  if {$
2e50: 74 21 3d 30 7d 20 7b 70 75 74 73 20 22 22 7d 0a  t!=0} {puts ""}.
2e60: 20 20 70 75 74 73 20 22 20 20 5c 7d 3b 22 0a 7d    puts "  \};".}
2e70: 0a 0a 70 72 6f 63 20 74 6c 5f 70 72 69 6e 74 5f  ..proc tl_print_
2e80: 69 66 5f 65 6e 74 72 79 20 7b 65 6e 74 72 79 7d  if_entry {entry}
2e90: 20 7b 0a 20 20 66 6f 72 65 61 63 68 20 7b 69 46   {.  foreach {iF
2ea0: 69 72 73 74 20 6e 49 6e 63 72 20 6e 52 61 6e 67  irst nIncr nRang
2eb0: 65 20 6e 4f 66 66 7d 20 24 65 6e 74 72 79 20 7b  e nOff} $entry {
2ec0: 7d 0a 20 20 69 66 20 7b 24 6e 49 6e 63 72 3d 3d  }.  if {$nIncr==
2ed0: 32 7d 20 7b 65 72 72 6f 72 20 22 74 6c 5f 70 72  2} {error "tl_pr
2ee0: 69 6e 74 5f 69 66 5f 65 6e 74 72 79 20 6e 65 65  int_if_entry nee
2ef0: 64 73 20 69 6d 70 72 6f 76 65 6d 65 6e 74 21 22  ds improvement!"
2f00: 7d 0a 0a 20 20 70 75 74 73 20 22 20 20 65 6c 73  }..  puts "  els
2f10: 65 20 69 66 28 20 63 3e 3d 24 69 46 69 72 73 74  e if( c>=$iFirst
2f20: 20 26 26 20 63 3c 5b 65 78 70 72 20 24 69 46 69   && c<[expr $iFi
2f30: 72 73 74 2b 24 6e 52 61 6e 67 65 5d 20 29 5c 7b  rst+$nRange] )\{
2f40: 22 0a 20 20 70 75 74 73 20 22 20 20 20 20 72 65  ".  puts "    re
2f50: 74 20 3d 20 63 20 2b 20 24 6e 4f 66 66 3b 22 0a  t = c + $nOff;".
2f60: 20 20 70 75 74 73 20 22 20 20 5c 7d 22 0a 7d 0a    puts "  \}".}.
2f70: 0a 70 72 6f 63 20 74 6c 5f 67 65 6e 65 72 61 74  .proc tl_generat
2f80: 65 5f 69 6f 66 66 5f 74 61 62 6c 65 20 7b 6c 52  e_ioff_table {lR
2f90: 65 63 6f 72 64 7d 20 7b 0a 20 20 66 6f 72 65 61  ecord} {.  forea
2fa0: 63 68 20 65 6e 74 72 79 20 24 6c 52 65 63 6f 72  ch entry $lRecor
2fb0: 64 20 7b 0a 20 20 20 20 66 6f 72 65 61 63 68 20  d {.    foreach 
2fc0: 7b 69 46 69 72 73 74 20 6e 49 6e 63 72 20 6e 52  {iFirst nIncr nR
2fd0: 61 6e 67 65 20 69 4f 66 66 7d 20 24 65 6e 74 72  ange iOff} $entr
2fe0: 79 20 7b 7d 0a 20 20 20 20 69 66 20 7b 24 69 4f  y {}.    if {$iO
2ff0: 66 66 3c 30 7d 20 20 20 7b 20 69 6e 63 72 20 69  ff<0}   { incr i
3000: 4f 66 66 20 5b 65 78 70 72 20 28 31 3c 3c 31 36  Off [expr (1<<16
3010: 29 5d 20 7d 0a 20 20 20 20 69 66 20 7b 5b 69 6e  )] }.    if {[in
3020: 66 6f 20 65 78 69 73 74 73 20 61 28 24 69 4f 66  fo exists a($iOf
3030: 66 29 5d 7d 20 63 6f 6e 74 69 6e 75 65 0a 20 20  f)]} continue.  
3040: 20 20 73 65 74 20 61 28 24 69 4f 66 66 29 20 31    set a($iOff) 1
3050: 0a 20 20 7d 0a 0a 20 20 73 65 74 20 6c 69 4f 66  .  }..  set liOf
3060: 66 20 5b 6c 73 6f 72 74 20 2d 69 6e 74 65 67 65  f [lsort -intege
3070: 72 20 5b 61 72 72 61 79 20 6e 61 6d 65 73 20 61  r [array names a
3080: 5d 5d 0a 20 20 69 66 20 7b 5b 6c 6c 65 6e 67 74  ]].  if {[llengt
3090: 68 20 24 6c 69 4f 66 66 5d 3e 31 32 38 7d 20 7b  h $liOff]>128} {
30a0: 20 65 72 72 6f 72 20 22 54 6f 6f 20 6d 61 6e 79   error "Too many
30b0: 20 64 69 73 74 69 6e 63 74 20 69 6f 66 66 73 22   distinct ioffs"
30c0: 20 7d 0a 20 20 72 65 74 75 72 6e 20 24 6c 69 4f   }.  return $liO
30d0: 66 66 0a 7d 0a 0a 70 72 6f 63 20 74 6c 5f 70 72  ff.}..proc tl_pr
30e0: 69 6e 74 5f 69 6f 66 66 5f 74 61 62 6c 65 20 7b  int_ioff_table {
30f0: 6c 69 4f 66 66 7d 20 7b 0a 20 20 70 75 74 73 20  liOff} {.  puts 
3100: 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22 20 20 73 74  -nonewline "  st
3110: 61 74 69 63 20 63 6f 6e 73 74 20 75 6e 73 69 67  atic const unsig
3120: 6e 65 64 20 73 68 6f 72 74 20 61 69 4f 66 66 5c  ned short aiOff\
3130: 5b 5c 5d 20 3d 20 5c 7b 22 0a 20 20 73 65 74 20  [\] = \{".  set 
3140: 69 20 30 0a 20 20 66 6f 72 65 61 63 68 20 6f 66  i 0.  foreach of
3150: 66 20 24 6c 69 4f 66 66 20 7b 0a 20 20 20 20 69  f $liOff {.    i
3160: 66 20 7b 28 24 69 20 25 20 38 29 3d 3d 30 7d 20  f {($i % 8)==0} 
3170: 7b 70 75 74 73 20 22 22 20 3b 20 70 75 74 73 20  {puts "" ; puts 
3180: 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22 20 20 20 22  -nonewline "   "
3190: 7d 0a 20 20 20 20 70 75 74 73 20 2d 6e 6f 6e 65  }.    puts -none
31a0: 77 6c 69 6e 65 20 5b 66 6f 72 6d 61 74 20 22 25  wline [format "%
31b0: 20 2d 37 73 22 20 22 24 6f 66 66 2c 22 5d 0a 20   -7s" "$off,"]. 
31c0: 20 20 20 69 6e 63 72 20 69 0a 20 20 7d 0a 20 20     incr i.  }.  
31d0: 70 75 74 73 20 22 22 0a 20 20 70 75 74 73 20 22  puts "".  puts "
31e0: 20 20 5c 7d 3b 22 0a 0a 7d 0a 0a 70 72 6f 63 20    \};"..}..proc 
31f0: 70 72 69 6e 74 5f 66 6f 6c 64 20 7b 7a 46 75 6e  print_fold {zFun
3200: 63 7d 20 7b 0a 0a 20 20 73 65 74 20 6c 52 65 63  c} {..  set lRec
3210: 6f 72 64 20 5b 74 6c 5f 63 72 65 61 74 65 5f 72  ord [tl_create_r
3220: 65 63 6f 72 64 73 5d 0a 0a 20 20 73 65 74 20 6c  ecords]..  set l
3230: 48 69 67 68 20 5b 6c 69 73 74 5d 0a 20 20 70 75  High [list].  pu
3240: 74 73 20 22 2f 2a 22 0a 20 20 70 75 74 73 20 22  ts "/*".  puts "
3250: 2a 2a 20 49 6e 74 65 72 70 72 65 74 20 74 68 65  ** Interpret the
3260: 20 61 72 67 75 6d 65 6e 74 20 61 73 20 61 20 75   argument as a u
3270: 6e 69 63 6f 64 65 20 63 6f 64 65 70 6f 69 6e 74  nicode codepoint
3280: 2e 20 49 66 20 74 68 65 20 63 6f 64 65 70 6f 69  . If the codepoi
3290: 6e 74 22 0a 20 20 70 75 74 73 20 22 2a 2a 20 69  nt".  puts "** i
32a0: 73 20 61 6e 20 75 70 70 65 72 20 63 61 73 65 20  s an upper case 
32b0: 63 68 61 72 61 63 74 65 72 20 74 68 61 74 20 68  character that h
32c0: 61 73 20 61 20 6c 6f 77 65 72 20 63 61 73 65 20  as a lower case 
32d0: 65 71 75 69 76 61 6c 65 6e 74 2c 22 0a 20 20 70  equivalent,".  p
32e0: 75 74 73 20 22 2a 2a 20 72 65 74 75 72 6e 20 74  uts "** return t
32f0: 68 65 20 63 6f 64 65 70 6f 69 6e 74 20 63 6f 72  he codepoint cor
3300: 72 65 73 70 6f 6e 64 69 6e 67 20 74 6f 20 74 68  responding to th
3310: 65 20 6c 6f 77 65 72 20 63 61 73 65 20 76 65 72  e lower case ver
3320: 73 69 6f 6e 2e 22 0a 20 20 70 75 74 73 20 22 2a  sion.".  puts "*
3330: 2a 20 4f 74 68 65 72 77 69 73 65 2c 20 72 65 74  * Otherwise, ret
3340: 75 72 6e 20 61 20 63 6f 70 79 20 6f 66 20 74 68  urn a copy of th
3350: 65 20 61 72 67 75 6d 65 6e 74 2e 22 0a 20 20 70  e argument.".  p
3360: 75 74 73 20 22 2a 2a 22 0a 20 20 70 75 74 73 20  uts "**".  puts 
3370: 22 2a 2a 20 54 68 65 20 72 65 73 75 6c 74 73 20  "** The results 
3380: 61 72 65 20 75 6e 64 65 66 69 6e 65 64 20 69 66  are undefined if
3390: 20 74 68 65 20 76 61 6c 75 65 20 70 61 73 73 65   the value passe
33a0: 64 20 74 6f 20 74 68 69 73 20 66 75 6e 63 74 69  d to this functi
33b0: 6f 6e 22 0a 20 20 70 75 74 73 20 22 2a 2a 20 69  on".  puts "** i
33c0: 73 20 6c 65 73 73 20 74 68 61 6e 20 7a 65 72 6f  s less than zero
33d0: 2e 22 0a 20 20 70 75 74 73 20 22 2a 2f 22 0a 20  .".  puts "*/". 
33e0: 20 70 75 74 73 20 22 69 6e 74 20 24 7b 7a 46 75   puts "int ${zFu
33f0: 6e 63 7d 5c 28 69 6e 74 20 63 2c 20 69 6e 74 20  nc}\(int c, int 
3400: 65 52 65 6d 6f 76 65 44 69 61 63 72 69 74 69 63  eRemoveDiacritic
3410: 29 5c 7b 22 0a 0a 20 20 73 65 74 20 6c 69 4f 66  )\{"..  set liOf
3420: 66 20 5b 74 6c 5f 67 65 6e 65 72 61 74 65 5f 69  f [tl_generate_i
3430: 6f 66 66 5f 74 61 62 6c 65 20 24 6c 52 65 63 6f  off_table $lReco
3440: 72 64 5d 0a 20 20 74 6c 5f 70 72 69 6e 74 5f 74  rd].  tl_print_t
3450: 61 62 6c 65 5f 68 65 61 64 65 72 0a 20 20 66 6f  able_header.  fo
3460: 72 65 61 63 68 20 65 6e 74 72 79 20 24 6c 52 65  reach entry $lRe
3470: 63 6f 72 64 20 7b 20 0a 20 20 20 20 69 66 20 7b  cord { .    if {
3480: 5b 74 6c 5f 70 72 69 6e 74 5f 74 61 62 6c 65 5f  [tl_print_table_
3490: 65 6e 74 72 79 20 74 6f 67 67 6c 65 20 24 65 6e  entry toggle $en
34a0: 74 72 79 20 24 6c 69 4f 66 66 5d 7d 20 7b 20 0a  try $liOff]} { .
34b0: 20 20 20 20 20 20 6c 61 70 70 65 6e 64 20 6c 48        lappend lH
34c0: 69 67 68 20 24 65 6e 74 72 79 20 0a 20 20 20 20  igh $entry .    
34d0: 7d 20 0a 20 20 7d 0a 20 20 74 6c 5f 70 72 69 6e  } .  }.  tl_prin
34e0: 74 5f 74 61 62 6c 65 5f 66 6f 6f 74 65 72 20 74  t_table_footer t
34f0: 6f 67 67 6c 65 0a 20 20 74 6c 5f 70 72 69 6e 74  oggle.  tl_print
3500: 5f 69 6f 66 66 5f 74 61 62 6c 65 20 24 6c 69 4f  _ioff_table $liO
3510: 66 66 0a 0a 20 20 70 75 74 73 20 5b 73 75 62 73  ff..  puts [subs
3520: 74 20 2d 6e 6f 63 6f 6d 6d 61 6e 64 73 20 7b 0a  t -nocommands {.
3530: 20 20 69 6e 74 20 72 65 74 20 3d 20 63 3b 0a 0a    int ret = c;..
3540: 20 20 61 73 73 65 72 74 28 20 73 69 7a 65 6f 66    assert( sizeof
3550: 28 75 6e 73 69 67 6e 65 64 20 73 68 6f 72 74 29  (unsigned short)
3560: 3d 3d 32 20 26 26 20 73 69 7a 65 6f 66 28 75 6e  ==2 && sizeof(un
3570: 73 69 67 6e 65 64 20 63 68 61 72 29 3d 3d 31 20  signed char)==1 
3580: 29 3b 0a 0a 20 20 69 66 28 20 63 3c 31 32 38 20  );..  if( c<128 
3590: 29 7b 0a 20 20 20 20 69 66 28 20 63 3e 3d 27 41  ){.    if( c>='A
35a0: 27 20 26 26 20 63 3c 3d 27 5a 27 20 29 20 72 65  ' && c<='Z' ) re
35b0: 74 20 3d 20 63 20 2b 20 28 27 61 27 20 2d 20 27  t = c + ('a' - '
35c0: 41 27 29 3b 0a 20 20 7d 65 6c 73 65 20 69 66 28  A');.  }else if(
35d0: 20 63 3c 36 35 35 33 36 20 29 7b 0a 20 20 20 20   c<65536 ){.    
35e0: 63 6f 6e 73 74 20 73 74 72 75 63 74 20 54 61 62  const struct Tab
35f0: 6c 65 45 6e 74 72 79 20 2a 70 3b 0a 20 20 20 20  leEntry *p;.    
3600: 69 6e 74 20 69 48 69 20 3d 20 73 69 7a 65 6f 66  int iHi = sizeof
3610: 28 61 45 6e 74 72 79 29 2f 73 69 7a 65 6f 66 28  (aEntry)/sizeof(
3620: 61 45 6e 74 72 79 5b 30 5d 29 20 2d 20 31 3b 0a  aEntry[0]) - 1;.
3630: 20 20 20 20 69 6e 74 20 69 4c 6f 20 3d 20 30 3b      int iLo = 0;
3640: 0a 20 20 20 20 69 6e 74 20 69 52 65 73 20 3d 20  .    int iRes = 
3650: 2d 31 3b 0a 0a 20 20 20 20 61 73 73 65 72 74 28  -1;..    assert(
3660: 20 63 3e 61 45 6e 74 72 79 5b 30 5d 2e 69 43 6f   c>aEntry[0].iCo
3670: 64 65 20 29 3b 0a 20 20 20 20 77 68 69 6c 65 28  de );.    while(
3680: 20 69 48 69 3e 3d 69 4c 6f 20 29 7b 0a 20 20 20   iHi>=iLo ){.   
3690: 20 20 20 69 6e 74 20 69 54 65 73 74 20 3d 20 28     int iTest = (
36a0: 69 48 69 20 2b 20 69 4c 6f 29 20 2f 20 32 3b 0a  iHi + iLo) / 2;.
36b0: 20 20 20 20 20 20 69 6e 74 20 63 6d 70 20 3d 20        int cmp = 
36c0: 28 63 20 2d 20 61 45 6e 74 72 79 5b 69 54 65 73  (c - aEntry[iTes
36d0: 74 5d 2e 69 43 6f 64 65 29 3b 0a 20 20 20 20 20  t].iCode);.     
36e0: 20 69 66 28 20 63 6d 70 3e 3d 30 20 29 7b 0a 20   if( cmp>=0 ){. 
36f0: 20 20 20 20 20 20 20 69 52 65 73 20 3d 20 69 54         iRes = iT
3700: 65 73 74 3b 0a 20 20 20 20 20 20 20 20 69 4c 6f  est;.        iLo
3710: 20 3d 20 69 54 65 73 74 2b 31 3b 0a 20 20 20 20   = iTest+1;.    
3720: 20 20 7d 65 6c 73 65 7b 0a 20 20 20 20 20 20 20    }else{.       
3730: 20 69 48 69 20 3d 20 69 54 65 73 74 2d 31 3b 0a   iHi = iTest-1;.
3740: 20 20 20 20 20 20 7d 0a 20 20 20 20 7d 0a 0a 20        }.    }.. 
3750: 20 20 20 61 73 73 65 72 74 28 20 69 52 65 73 3e     assert( iRes>
3760: 3d 30 20 26 26 20 63 3e 3d 61 45 6e 74 72 79 5b  =0 && c>=aEntry[
3770: 69 52 65 73 5d 2e 69 43 6f 64 65 20 29 3b 0a 20  iRes].iCode );. 
3780: 20 20 20 70 20 3d 20 26 61 45 6e 74 72 79 5b 69     p = &aEntry[i
3790: 52 65 73 5d 3b 0a 20 20 20 20 69 66 28 20 63 3c  Res];.    if( c<
37a0: 28 70 2d 3e 69 43 6f 64 65 20 2b 20 70 2d 3e 6e  (p->iCode + p->n
37b0: 52 61 6e 67 65 29 20 26 26 20 30 3d 3d 28 30 78  Range) && 0==(0x
37c0: 30 31 20 26 20 70 2d 3e 66 6c 61 67 73 20 26 20  01 & p->flags & 
37d0: 28 70 2d 3e 69 43 6f 64 65 20 5e 20 63 29 29 20  (p->iCode ^ c)) 
37e0: 29 7b 0a 20 20 20 20 20 20 72 65 74 20 3d 20 28  ){.      ret = (
37f0: 63 20 2b 20 28 61 69 4f 66 66 5b 70 2d 3e 66 6c  c + (aiOff[p->fl
3800: 61 67 73 3e 3e 31 5d 29 29 20 26 20 30 78 30 30  ags>>1])) & 0x00
3810: 30 30 46 46 46 46 3b 0a 20 20 20 20 20 20 61 73  00FFFF;.      as
3820: 73 65 72 74 28 20 72 65 74 3e 30 20 29 3b 0a 20  sert( ret>0 );. 
3830: 20 20 20 7d 0a 0a 20 20 20 20 69 66 28 20 65 52     }..    if( eR
3840: 65 6d 6f 76 65 44 69 61 63 72 69 74 69 63 20 29  emoveDiacritic )
3850: 7b 0a 20 20 20 20 20 20 72 65 74 20 3d 20 24 7b  {.      ret = ${
3860: 3a 3a 72 65 6d 6f 76 65 5f 64 69 61 63 72 69 74  ::remove_diacrit
3870: 69 63 7d 28 72 65 74 2c 20 65 52 65 6d 6f 76 65  ic}(ret, eRemove
3880: 44 69 61 63 72 69 74 69 63 3d 3d 32 29 3b 0a 20  Diacritic==2);. 
3890: 20 20 20 7d 0a 20 20 7d 0a 20 20 7d 5d 0a 0a 20     }.  }.  }].. 
38a0: 20 66 6f 72 65 61 63 68 20 65 6e 74 72 79 20 24   foreach entry $
38b0: 6c 48 69 67 68 20 7b 0a 20 20 20 20 74 6c 5f 70  lHigh {.    tl_p
38c0: 72 69 6e 74 5f 69 66 5f 65 6e 74 72 79 20 24 65  rint_if_entry $e
38d0: 6e 74 72 79 0a 20 20 7d 0a 0a 20 20 70 75 74 73  ntry.  }..  puts
38e0: 20 22 22 0a 20 20 70 75 74 73 20 22 20 20 72 65   "".  puts "  re
38f0: 74 75 72 6e 20 72 65 74 3b 22 0a 20 20 70 75 74  turn ret;".  put
3900: 73 20 22 5c 7d 22 0a 7d 0a 0a 70 72 6f 63 20 63  s "\}".}..proc c
3910: 6f 64 65 20 7b 74 78 74 7d 20 7b 0a 20 20 73 65  ode {txt} {.  se
3920: 74 20 74 78 74 20 5b 73 74 72 69 6e 67 20 74 72  t txt [string tr
3930: 69 6d 72 69 67 68 74 20 24 74 78 74 5d 0a 20 20  imright $txt].  
3940: 73 65 74 20 74 78 74 20 5b 73 74 72 69 6e 67 20  set txt [string 
3950: 74 72 69 6d 6c 65 66 74 20 24 74 78 74 20 22 5c  trimleft $txt "\
3960: 6e 22 5d 0a 20 20 73 65 74 20 6e 20 5b 65 78 70  n"].  set n [exp
3970: 72 20 7b 5b 73 74 72 69 6e 67 20 6c 65 6e 67 74  r {[string lengt
3980: 68 20 24 74 78 74 5d 20 2d 20 5b 73 74 72 69 6e  h $txt] - [strin
3990: 67 20 6c 65 6e 67 74 68 20 5b 73 74 72 69 6e 67  g length [string
39a0: 20 74 72 69 6d 20 24 74 78 74 5d 5d 7d 5d 0a 20   trim $txt]]}]. 
39b0: 20 73 65 74 20 72 65 74 20 22 22 0a 20 20 66 6f   set ret "".  fo
39c0: 72 65 61 63 68 20 4c 20 5b 73 70 6c 69 74 20 24  reach L [split $
39d0: 74 78 74 20 22 5c 6e 22 5d 20 7b 0a 20 20 20 20  txt "\n"] {.    
39e0: 61 70 70 65 6e 64 20 72 65 74 20 22 5b 73 74 72  append ret "[str
39f0: 69 6e 67 20 72 61 6e 67 65 20 24 4c 20 24 6e 20  ing range $L $n 
3a00: 65 6e 64 5d 5c 6e 22 0a 20 20 7d 0a 20 20 72 65  end]\n".  }.  re
3a10: 74 75 72 6e 20 5b 75 70 6c 65 76 65 6c 20 22 73  turn [uplevel "s
3a20: 75 62 73 74 20 2d 6e 6f 63 6f 6d 6d 61 6e 64 73  ubst -nocommands
3a30: 20 7b 24 72 65 74 7d 22 5d 0a 7d 0a 0a 70 72 6f   {$ret}"].}..pro
3a40: 63 20 69 6e 74 61 72 72 61 79 20 7b 6c 49 6e 74  c intarray {lInt
3a50: 7d 20 7b 0a 20 20 73 65 74 20 72 65 74 20 22 22  } {.  set ret ""
3a60: 0a 20 20 73 65 74 20 6e 20 5b 6c 6c 65 6e 67 74  .  set n [llengt
3a70: 68 20 24 6c 49 6e 74 5d 0a 20 20 66 6f 72 20 7b  h $lInt].  for {
3a80: 73 65 74 20 69 20 30 7d 20 7b 24 69 20 3c 20 24  set i 0} {$i < $
3a90: 6e 7d 20 7b 69 6e 63 72 20 69 20 31 30 7d 20 7b  n} {incr i 10} {
3aa0: 0a 20 20 20 20 61 70 70 65 6e 64 20 72 65 74 20  .    append ret 
3ab0: 22 5c 6e 20 20 20 20 22 0a 20 20 20 20 66 6f 72  "\n    ".    for
3ac0: 65 61 63 68 20 69 6e 74 20 5b 6c 72 61 6e 67 65  each int [lrange
3ad0: 20 24 6c 49 6e 74 20 24 69 20 5b 65 78 70 72 20   $lInt $i [expr 
3ae0: 24 69 2b 39 5d 5d 20 7b 0a 20 20 20 20 20 20 61  $i+9]] {.      a
3af0: 70 70 65 6e 64 20 72 65 74 20 5b 66 6f 72 6d 61  ppend ret [forma
3b00: 74 20 22 25 2d 37 73 22 20 22 24 69 6e 74 2c 20  t "%-7s" "$int, 
3b10: 22 5d 0a 20 20 20 20 7d 0a 20 20 7d 0a 20 20 61  "].    }.  }.  a
3b20: 70 70 65 6e 64 20 72 65 74 20 22 5c 6e 20 20 22  ppend ret "\n  "
3b30: 0a 20 20 73 65 74 20 72 65 74 0a 7d 0a 0a 70 72  .  set ret.}..pr
3b40: 6f 63 20 63 61 74 65 67 6f 72 69 65 73 5f 73 77  oc categories_sw
3b50: 69 74 63 68 20 7b 43 76 61 72 20 66 69 72 73 74  itch {Cvar first
3b60: 20 6c 53 65 63 6f 6e 64 7d 20 7b 0a 20 20 75 70   lSecond} {.  up
3b70: 76 61 72 20 24 43 76 61 72 20 43 0a 20 20 73 65  var $Cvar C.  se
3b80: 74 20 72 65 74 20 22 22 0a 20 20 61 70 70 65 6e  t ret "".  appen
3b90: 64 20 72 65 74 20 22 63 61 73 65 20 27 24 66 69  d ret "case '$fi
3ba0: 72 73 74 27 3a 5c 6e 22 0a 20 20 61 70 70 65 6e  rst':\n".  appen
3bb0: 64 20 72 65 74 20 22 20 20 20 20 20 20 20 20 20  d ret "         
3bc0: 20 73 77 69 74 63 68 28 20 7a 43 61 74 5c 5b 31   switch( zCat\[1
3bd0: 5c 5d 20 29 7b 5c 6e 22 0a 20 20 66 6f 72 65 61  \] ){\n".  forea
3be0: 63 68 20 73 20 24 6c 53 65 63 6f 6e 64 20 7b 0a  ch s $lSecond {.
3bf0: 20 20 20 20 61 70 70 65 6e 64 20 72 65 74 20 22      append ret "
3c00: 20 20 20 20 20 20 20 20 20 20 20 20 63 61 73 65              case
3c10: 20 27 24 73 27 3a 20 61 41 72 72 61 79 5c 5b 24   '$s': aArray\[$
3c20: 43 28 24 66 69 72 73 74 24 73 29 5c 5d 20 3d 20  C($first$s)\] = 
3c30: 31 3b 20 62 72 65 61 6b 3b 5c 6e 22 0a 20 20 7d  1; break;\n".  }
3c40: 0a 20 20 61 70 70 65 6e 64 20 72 65 74 20 22 20  .  append ret " 
3c50: 20 20 20 20 20 20 20 20 20 20 20 63 61 73 65 20             case 
3c60: 27 2a 27 3a 20 5c 6e 22 0a 20 20 66 6f 72 65 61  '*': \n".  forea
3c70: 63 68 20 73 20 24 6c 53 65 63 6f 6e 64 20 7b 0a  ch s $lSecond {.
3c80: 20 20 20 20 61 70 70 65 6e 64 20 72 65 74 20 22      append ret "
3c90: 20 20 20 20 20 20 20 20 20 20 20 20 20 20 61 41                aA
3ca0: 72 72 61 79 5c 5b 24 43 28 24 66 69 72 73 74 24  rray\[$C($first$
3cb0: 73 29 5c 5d 20 3d 20 31 3b 5c 6e 22 0a 20 20 7d  s)\] = 1;\n".  }
3cc0: 0a 20 20 61 70 70 65 6e 64 20 72 65 74 20 22 20  .  append ret " 
3cd0: 20 20 20 20 20 20 20 20 20 20 20 20 20 62 72 65               bre
3ce0: 61 6b 3b 5c 6e 22 0a 20 20 61 70 70 65 6e 64 20  ak;\n".  append 
3cf0: 72 65 74 20 22 20 20 20 20 20 20 20 20 20 20 20  ret "           
3d00: 20 64 65 66 61 75 6c 74 3a 20 72 65 74 75 72 6e   default: return
3d10: 20 31 3b 22 0a 20 20 61 70 70 65 6e 64 20 72 65   1;".  append re
3d20: 74 20 22 20 20 20 20 20 20 20 20 20 20 7d 5c 6e  t "          }\n
3d30: 22 0a 20 20 61 70 70 65 6e 64 20 72 65 74 20 22  ".  append ret "
3d40: 20 20 20 20 20 20 20 20 20 20 62 72 65 61 6b 3b            break;
3d50: 5c 6e 22 0a 7d 0a 0a 23 20 41 72 67 75 6d 65 6e  \n".}..# Argumen
3d60: 74 20 69 73 20 61 20 6c 69 73 74 2e 20 45 61 63  t is a list. Eac
3d70: 68 20 65 6c 65 6d 65 6e 74 20 6f 66 20 77 68 69  h element of whi
3d80: 63 68 20 69 73 20 69 74 73 65 6c 66 20 61 20 6c  ch is itself a l
3d90: 69 73 74 20 6f 66 20 74 77 6f 20 65 6c 65 6d 65  ist of two eleme
3da0: 6e 74 73 3a 0a 23 0a 23 20 20 20 2a 20 74 68 65  nts:.#.#   * the
3db0: 20 63 6f 64 65 70 6f 69 6e 74 0a 23 20 20 20 2a   codepoint.#   *
3dc0: 20 74 68 65 20 63 61 74 65 67 6f 72 79 0a 23 0a   the category.#.
3dd0: 23 20 4c 69 73 74 20 65 6c 65 6d 65 6e 74 73 20  # List elements 
3de0: 61 72 65 20 73 6f 72 74 65 64 20 69 6e 20 6f 72  are sorted in or
3df0: 64 65 72 20 6f 66 20 63 6f 64 65 70 6f 69 6e 74  der of codepoint
3e00: 2e 0a 23 0a 70 72 6f 63 20 70 72 69 6e 74 5f 63  ..#.proc print_c
3e10: 61 74 65 67 6f 72 69 65 73 20 7b 6c 4d 61 70 7d  ategories {lMap}
3e20: 20 7b 0a 20 20 73 65 74 20 63 61 74 65 67 6f 72   {.  set categor
3e30: 69 65 73 20 7b 0a 20 20 20 20 43 63 20 43 66 20  ies {.    Cc Cf 
3e40: 43 6e 20 43 73 0a 20 20 20 20 4c 6c 20 4c 6d 20  Cn Cs.    Ll Lm 
3e50: 4c 6f 20 4c 74 20 4c 75 0a 20 20 20 20 4d 63 20  Lo Lt Lu.    Mc 
3e60: 4d 65 20 4d 6e 0a 20 20 20 20 4e 64 20 4e 6c 20  Me Mn.    Nd Nl 
3e70: 4e 6f 0a 20 20 20 20 50 63 20 50 64 20 50 65 20  No.    Pc Pd Pe 
3e80: 50 66 20 50 69 20 50 6f 20 50 73 0a 20 20 20 20  Pf Pi Po Ps.    
3e90: 53 63 20 53 6b 20 53 6d 20 53 6f 0a 20 20 20 20  Sc Sk Sm So.    
3ea0: 5a 6c 20 5a 70 20 5a 73 0a 0a 20 20 20 20 4c 43  Zl Zp Zs..    LC
3eb0: 20 43 6f 0a 20 20 7d 0a 0a 20 20 66 6f 72 20 7b   Co.  }..  for {
3ec0: 73 65 74 20 69 20 30 7d 20 7b 24 69 20 3c 20 5b  set i 0} {$i < [
3ed0: 6c 6c 65 6e 67 74 68 20 24 63 61 74 65 67 6f 72  llength $categor
3ee0: 69 65 73 5d 7d 20 7b 69 6e 63 72 20 69 7d 20 7b  ies]} {incr i} {
3ef0: 0a 20 20 20 20 73 65 74 20 43 28 5b 6c 69 6e 64  .    set C([lind
3f00: 65 78 20 24 63 61 74 65 67 6f 72 69 65 73 20 24  ex $categories $
3f10: 69 5d 29 20 5b 65 78 70 72 20 31 2b 24 69 5d 0a  i]) [expr 1+$i].
3f20: 20 20 7d 0a 0a 20 20 73 65 74 20 63 61 73 65 43    }..  set caseC
3f30: 20 5b 63 61 74 65 67 6f 72 69 65 73 5f 73 77 69   [categories_swi
3f40: 74 63 68 20 43 20 43 20 7b 63 20 66 20 6e 20 73  tch C C {c f n s
3f50: 20 6f 7d 5d 0a 20 20 73 65 74 20 63 61 73 65 4c   o}].  set caseL
3f60: 20 5b 63 61 74 65 67 6f 72 69 65 73 5f 73 77 69   [categories_swi
3f70: 74 63 68 20 43 20 4c 20 7b 6c 20 6d 20 6f 20 74  tch C L {l m o t
3f80: 20 75 20 43 7d 5d 0a 20 20 73 65 74 20 63 61 73   u C}].  set cas
3f90: 65 4d 20 5b 63 61 74 65 67 6f 72 69 65 73 5f 73  eM [categories_s
3fa0: 77 69 74 63 68 20 43 20 4d 20 7b 63 20 65 20 6e  witch C M {c e n
3fb0: 7d 5d 0a 20 20 73 65 74 20 63 61 73 65 4e 20 5b  }].  set caseN [
3fc0: 63 61 74 65 67 6f 72 69 65 73 5f 73 77 69 74 63  categories_switc
3fd0: 68 20 43 20 4e 20 7b 64 20 6c 20 6f 7d 5d 0a 20  h C N {d l o}]. 
3fe0: 20 73 65 74 20 63 61 73 65 50 20 5b 63 61 74 65   set caseP [cate
3ff0: 67 6f 72 69 65 73 5f 73 77 69 74 63 68 20 43 20  gories_switch C 
4000: 50 20 7b 63 20 64 20 65 20 66 20 69 20 6f 20 73  P {c d e f i o s
4010: 7d 5d 0a 20 20 73 65 74 20 63 61 73 65 53 20 5b  }].  set caseS [
4020: 63 61 74 65 67 6f 72 69 65 73 5f 73 77 69 74 63  categories_switc
4030: 68 20 43 20 53 20 7b 63 20 6b 20 6d 20 6f 7d 5d  h C S {c k m o}]
4040: 0a 20 20 73 65 74 20 63 61 73 65 5a 20 5b 63 61  .  set caseZ [ca
4050: 74 65 67 6f 72 69 65 73 5f 73 77 69 74 63 68 20  tegories_switch 
4060: 43 20 5a 20 7b 6c 20 70 20 73 7d 5d 0a 0a 20 20  C Z {l p s}]..  
4070: 73 65 74 20 6e 43 61 74 20 5b 65 78 70 72 20 5b  set nCat [expr [
4080: 6c 6c 65 6e 67 74 68 20 5b 61 72 72 61 79 20 6e  llength [array n
4090: 61 6d 65 73 20 43 5d 5d 20 2b 20 31 5d 0a 20 20  ames C]] + 1].  
40a0: 70 75 74 73 20 5b 63 6f 64 65 20 7b 0a 20 20 20  puts [code {.   
40b0: 20 69 6e 74 20 73 71 6c 69 74 65 33 46 74 73 35   int sqlite3Fts5
40c0: 55 6e 69 63 6f 64 65 43 61 74 50 61 72 73 65 28  UnicodeCatParse(
40d0: 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a 43 61 74  const char *zCat
40e0: 2c 20 75 38 20 2a 61 41 72 72 61 79 29 7b 20 0a  , u8 *aArray){ .
40f0: 20 20 20 20 20 20 61 41 72 72 61 79 5b 30 5d 20        aArray[0] 
4100: 3d 20 31 3b 0a 20 20 20 20 20 20 73 77 69 74 63  = 1;.      switc
4110: 68 28 20 7a 43 61 74 5b 30 5d 20 29 7b 0a 20 20  h( zCat[0] ){.  
4120: 20 20 20 20 20 20 24 63 61 73 65 43 0a 20 20 20        $caseC.   
4130: 20 20 20 20 20 24 63 61 73 65 4c 0a 20 20 20 20       $caseL.    
4140: 20 20 20 20 24 63 61 73 65 4d 0a 20 20 20 20 20      $caseM.     
4150: 20 20 20 24 63 61 73 65 4e 0a 20 20 20 20 20 20     $caseN.      
4160: 20 20 24 63 61 73 65 50 0a 20 20 20 20 20 20 20    $caseP.       
4170: 20 24 63 61 73 65 53 0a 20 20 20 20 20 20 20 20   $caseS.        
4180: 24 63 61 73 65 5a 0a 20 20 20 20 20 20 7d 0a 20  $caseZ.      }. 
4190: 20 20 20 20 20 72 65 74 75 72 6e 20 30 3b 0a 20       return 0;. 
41a0: 20 20 20 7d 0a 20 20 7d 5d 0a 0a 20 20 73 65 74     }.  }]..  set
41b0: 20 6e 52 65 70 65 61 74 20 30 0a 20 20 73 65 74   nRepeat 0.  set
41c0: 20 66 69 72 73 74 20 20 20 5b 6c 69 6e 64 65 78   first   [lindex
41d0: 20 24 6c 4d 61 70 20 30 20 30 5d 0a 20 20 73 65   $lMap 0 0].  se
41e0: 74 20 63 6c 61 73 73 20 20 20 5b 6c 69 6e 64 65  t class   [linde
41f0: 78 20 24 6c 4d 61 70 20 30 20 31 5d 0a 20 20 73  x $lMap 0 1].  s
4200: 65 74 20 70 72 65 76 20 2d 31 0a 0a 20 20 73 65  et prev -1..  se
4210: 74 20 43 41 53 45 28 30 29 20 22 4c 75 22 0a 20  t CASE(0) "Lu". 
4220: 20 73 65 74 20 43 41 53 45 28 31 29 20 22 4c 6c   set CASE(1) "Ll
4230: 22 0a 0a 20 20 66 6f 72 65 61 63 68 20 6d 20 24  "..  foreach m $
4240: 6c 4d 61 70 20 7b 0a 20 20 20 20 66 6f 72 65 61  lMap {.    forea
4250: 63 68 20 7b 63 6f 64 65 70 6f 69 6e 74 20 63 6c  ch {codepoint cl
4260: 7d 20 24 6d 20 7b 7d 0a 20 20 20 20 73 65 74 20  } $m {}.    set 
4270: 63 6f 64 65 70 6f 69 6e 74 20 5b 65 78 70 72 20  codepoint [expr 
4280: 22 30 78 24 63 6f 64 65 70 6f 69 6e 74 22 5d 0a  "0x$codepoint"].
4290: 20 20 20 20 69 66 20 7b 24 63 6f 64 65 70 6f 69      if {$codepoi
42a0: 6e 74 3e 3d 28 31 3c 3c 32 30 29 7d 20 63 6f 6e  nt>=(1<<20)} con
42b0: 74 69 6e 75 65 0a 0a 20 20 20 20 73 65 74 20 62  tinue..    set b
42c0: 4e 65 77 20 30 0a 20 20 20 20 69 66 20 7b 24 63  New 0.    if {$c
42d0: 6f 64 65 70 6f 69 6e 74 21 3d 28 24 70 72 65 76  odepoint!=($prev
42e0: 2b 31 29 7d 20 7b 0a 20 20 20 20 20 20 73 65 74  +1)} {.      set
42f0: 20 62 4e 65 77 20 31 0a 20 20 20 20 7d 20 65 6c   bNew 1.    } el
4300: 73 65 69 66 20 7b 0a 20 20 20 20 20 20 24 63 6c  seif {.      $cl
4310: 3d 3d 24 63 6c 61 73 73 20 7c 7c 20 28 24 63 6c  ==$class || ($cl
4320: 61 73 73 3d 3d 22 4c 43 22 20 26 26 20 24 63 6c  ass=="LC" && $cl
4330: 3d 3d 24 43 41 53 45 28 5b 65 78 70 72 20 24 6e  ==$CASE([expr $n
4340: 52 65 70 65 61 74 20 26 20 30 78 30 31 5d 29 29  Repeat & 0x01]))
4350: 0a 20 20 20 20 7d 20 7b 0a 20 20 20 20 20 20 69  .    } {.      i
4360: 6e 63 72 20 6e 52 65 70 65 61 74 0a 20 20 20 20  ncr nRepeat.    
4370: 7d 20 65 6c 73 65 69 66 20 7b 24 63 6c 61 73 73  } elseif {$class
4380: 3d 3d 22 4c 75 22 20 26 26 20 24 6e 52 65 70 65  =="Lu" && $nRepe
4390: 61 74 3d 3d 31 20 26 26 20 24 63 6c 3d 3d 22 4c  at==1 && $cl=="L
43a0: 6c 22 7d 20 7b 0a 20 20 20 20 20 20 73 65 74 20  l"} {.      set 
43b0: 63 6c 61 73 73 20 4c 43 0a 20 20 20 20 20 20 69  class LC.      i
43c0: 6e 63 72 20 6e 52 65 70 65 61 74 0a 20 20 20 20  ncr nRepeat.    
43d0: 7d 20 65 6c 73 65 20 7b 0a 20 20 20 20 20 20 73  } else {.      s
43e0: 65 74 20 62 4e 65 77 20 31 0a 20 20 20 20 7d 0a  et bNew 1.    }.
43f0: 20 20 20 20 69 66 20 7b 24 62 4e 65 77 7d 20 7b      if {$bNew} {
4400: 0a 20 20 20 20 20 20 6c 61 70 70 65 6e 64 20 6c  .      lappend l
4410: 45 6e 74 72 69 65 73 20 5b 6c 69 73 74 20 24 66  Entries [list $f
4420: 69 72 73 74 20 24 63 6c 61 73 73 20 24 6e 52 65  irst $class $nRe
4430: 70 65 61 74 5d 0a 20 20 20 20 20 20 73 65 74 20  peat].      set 
4440: 6e 52 65 70 65 61 74 20 31 0a 20 20 20 20 20 20  nRepeat 1.      
4450: 73 65 74 20 66 69 72 73 74 20 24 63 6f 64 65 70  set first $codep
4460: 6f 69 6e 74 0a 20 20 20 20 20 20 73 65 74 20 63  oint.      set c
4470: 6c 61 73 73 20 24 63 6c 0a 20 20 20 20 7d 0a 20  lass $cl.    }. 
4480: 20 20 20 73 65 74 20 70 72 65 76 20 24 63 6f 64     set prev $cod
4490: 65 70 6f 69 6e 74 0a 20 20 7d 0a 20 20 69 66 20  epoint.  }.  if 
44a0: 7b 24 6e 52 65 70 65 61 74 3e 30 7d 20 7b 0a 20  {$nRepeat>0} {. 
44b0: 20 20 20 6c 61 70 70 65 6e 64 20 6c 45 6e 74 72     lappend lEntr
44c0: 69 65 73 20 5b 6c 69 73 74 20 24 66 69 72 73 74  ies [list $first
44d0: 20 24 63 6c 61 73 73 20 24 6e 52 65 70 65 61 74   $class $nRepeat
44e0: 5d 0a 20 20 7d 0a 0a 20 20 73 65 74 20 61 42 6c  ].  }..  set aBl
44f0: 6f 63 6b 20 5b 6c 69 73 74 20 30 20 30 20 30 20  ock [list 0 0 0 
4500: 30 20 30 20 30 20 30 20 30 20 30 20 30 20 30 20  0 0 0 0 0 0 0 0 
4510: 30 20 30 20 30 20 30 20 30 20 30 5d 0a 20 20 73  0 0 0 0 0 0].  s
4520: 65 74 20 61 4d 61 70 20 5b 6c 69 73 74 5d 0a 20  et aMap [list]. 
4530: 20 66 6f 72 65 61 63 68 20 65 20 24 6c 45 6e 74   foreach e $lEnt
4540: 72 69 65 73 20 7b 0a 20 20 20 20 66 6f 72 65 61  ries {.    forea
4550: 63 68 20 7b 63 70 20 63 6c 61 73 73 20 6e 52 65  ch {cp class nRe
4560: 70 65 61 74 7d 20 24 65 20 7b 7d 0a 20 20 20 20  peat} $e {}.    
4570: 73 65 74 20 62 6c 6f 63 6b 20 5b 65 78 70 72 20  set block [expr 
4580: 28 24 63 70 3e 3e 31 36 29 5d 0a 20 20 20 20 69  ($cp>>16)].    i
4590: 66 20 7b 24 62 6c 6f 63 6b 3e 30 20 26 26 20 5b  f {$block>0 && [
45a0: 6c 69 6e 64 65 78 20 24 61 42 6c 6f 63 6b 20 24  lindex $aBlock $
45b0: 62 6c 6f 63 6b 5d 3d 3d 30 7d 20 7b 0a 20 20 20  block]==0} {.   
45c0: 20 20 20 66 6f 72 20 7b 73 65 74 20 69 20 31 7d     for {set i 1}
45d0: 20 7b 24 69 3c 3d 24 62 6c 6f 63 6b 7d 20 7b 69   {$i<=$block} {i
45e0: 6e 63 72 20 69 7d 20 7b 0a 20 20 20 20 20 20 20  ncr i} {.       
45f0: 20 69 66 20 7b 5b 6c 69 6e 64 65 78 20 24 61 42   if {[lindex $aB
4600: 6c 6f 63 6b 20 24 69 5d 3d 3d 30 7d 20 7b 0a 20  lock $i]==0} {. 
4610: 20 20 20 20 20 20 20 20 20 6c 73 65 74 20 61 42           lset aB
4620: 6c 6f 63 6b 20 24 69 20 5b 6c 6c 65 6e 67 74 68  lock $i [llength
4630: 20 24 61 4d 61 70 5d 0a 20 20 20 20 20 20 20 20   $aMap].        
4640: 7d 0a 20 20 20 20 20 20 7d 0a 20 20 20 20 7d 0a  }.      }.    }.
4650: 20 20 20 20 6c 61 70 70 65 6e 64 20 61 4d 61 70      lappend aMap
4660: 20 5b 65 78 70 72 20 7b 24 63 70 20 26 20 30 78   [expr {$cp & 0x
4670: 46 46 46 46 7d 5d 0a 20 20 20 20 6c 61 70 70 65  FFFF}].    lappe
4680: 6e 64 20 61 44 61 74 61 20 5b 65 78 70 72 20 7b  nd aData [expr {
4690: 28 24 6e 52 65 70 65 61 74 20 3c 3c 20 35 29 20  ($nRepeat << 5) 
46a0: 2b 20 24 43 28 24 63 6c 61 73 73 29 7d 5d 0a 20  + $C($class)}]. 
46b0: 20 7d 0a 20 20 66 6f 72 20 7b 73 65 74 20 69 20   }.  for {set i 
46c0: 31 7d 20 7b 24 69 3c 5b 6c 6c 65 6e 67 74 68 20  1} {$i<[llength 
46d0: 24 61 42 6c 6f 63 6b 5d 7d 20 7b 69 6e 63 72 20  $aBlock]} {incr 
46e0: 69 7d 20 7b 0a 20 20 20 20 69 66 20 7b 5b 6c 69  i} {.    if {[li
46f0: 6e 64 65 78 20 24 61 42 6c 6f 63 6b 20 24 69 5d  ndex $aBlock $i]
4700: 3d 3d 30 7d 20 7b 0a 20 20 20 20 20 20 6c 73 65  ==0} {.      lse
4710: 74 20 61 42 6c 6f 63 6b 20 24 69 20 5b 6c 6c 65  t aBlock $i [lle
4720: 6e 67 74 68 20 24 61 4d 61 70 5d 0a 20 20 20 20  ngth $aMap].    
4730: 7d 0a 20 20 7d 0a 0a 20 20 73 65 74 20 61 42 6c  }.  }..  set aBl
4740: 6f 63 6b 41 72 72 61 79 20 5b 69 6e 74 61 72 72  ockArray [intarr
4750: 61 79 20 24 61 42 6c 6f 63 6b 5d 0a 20 20 73 65  ay $aBlock].  se
4760: 74 20 61 4d 61 70 41 72 72 61 79 20 5b 69 6e 74  t aMapArray [int
4770: 61 72 72 61 79 20 24 61 4d 61 70 5d 0a 20 20 73  array $aMap].  s
4780: 65 74 20 61 44 61 74 61 41 72 72 61 79 20 5b 69  et aDataArray [i
4790: 6e 74 61 72 72 61 79 20 24 61 44 61 74 61 5d 0a  ntarray $aData].
47a0: 20 20 70 75 74 73 20 5b 63 6f 64 65 20 7b 0a 20    puts [code {. 
47b0: 20 20 20 73 74 61 74 69 63 20 75 31 36 20 61 46     static u16 aF
47c0: 74 73 35 55 6e 69 63 6f 64 65 42 6c 6f 63 6b 5b  ts5UnicodeBlock[
47d0: 5d 20 3d 20 7b 24 61 42 6c 6f 63 6b 41 72 72 61  ] = {$aBlockArra
47e0: 79 7d 3b 0a 20 20 20 20 73 74 61 74 69 63 20 75  y};.    static u
47f0: 31 36 20 61 46 74 73 35 55 6e 69 63 6f 64 65 4d  16 aFts5UnicodeM
4800: 61 70 5b 5d 20 3d 20 7b 24 61 4d 61 70 41 72 72  ap[] = {$aMapArr
4810: 61 79 7d 3b 0a 20 20 20 20 73 74 61 74 69 63 20  ay};.    static 
4820: 75 31 36 20 61 46 74 73 35 55 6e 69 63 6f 64 65  u16 aFts5Unicode
4830: 44 61 74 61 5b 5d 20 3d 20 7b 24 61 44 61 74 61  Data[] = {$aData
4840: 41 72 72 61 79 7d 3b 0a 0a 20 20 20 20 69 6e 74  Array};..    int
4850: 20 73 71 6c 69 74 65 33 46 74 73 35 55 6e 69 63   sqlite3Fts5Unic
4860: 6f 64 65 43 61 74 65 67 6f 72 79 28 69 6e 74 20  odeCategory(int 
4870: 69 43 6f 64 65 29 20 7b 20 0a 20 20 20 20 20 20  iCode) { .      
4880: 69 6e 74 20 69 52 65 73 20 3d 20 2d 31 3b 0a 20  int iRes = -1;. 
4890: 20 20 20 20 20 69 6e 74 20 69 48 69 3b 0a 20 20       int iHi;.  
48a0: 20 20 20 20 69 6e 74 20 69 4c 6f 3b 0a 20 20 20      int iLo;.   
48b0: 20 20 20 69 6e 74 20 72 65 74 3b 0a 20 20 20 20     int ret;.    
48c0: 20 20 75 31 36 20 69 4b 65 79 3b 0a 0a 20 20 20    u16 iKey;..   
48d0: 20 20 20 69 66 28 20 69 43 6f 64 65 3e 3d 28 31     if( iCode>=(1
48e0: 3c 3c 32 30 29 20 29 7b 0a 20 20 20 20 20 20 20  <<20) ){.       
48f0: 20 72 65 74 75 72 6e 20 30 3b 0a 20 20 20 20 20   return 0;.     
4900: 20 7d 0a 20 20 20 20 20 20 69 4c 6f 20 3d 20 61   }.      iLo = a
4910: 46 74 73 35 55 6e 69 63 6f 64 65 42 6c 6f 63 6b  Fts5UnicodeBlock
4920: 5b 28 69 43 6f 64 65 3e 3e 31 36 29 5d 3b 0a 20  [(iCode>>16)];. 
4930: 20 20 20 20 20 69 48 69 20 3d 20 61 46 74 73 35       iHi = aFts5
4940: 55 6e 69 63 6f 64 65 42 6c 6f 63 6b 5b 31 2b 28  UnicodeBlock[1+(
4950: 69 43 6f 64 65 3e 3e 31 36 29 5d 3b 0a 20 20 20  iCode>>16)];.   
4960: 20 20 20 69 4b 65 79 20 3d 20 28 69 43 6f 64 65     iKey = (iCode
4970: 20 26 20 30 78 46 46 46 46 29 3b 0a 20 20 20 20   & 0xFFFF);.    
4980: 20 20 77 68 69 6c 65 28 20 69 48 69 3e 69 4c 6f    while( iHi>iLo
4990: 20 29 7b 0a 20 20 20 20 20 20 20 20 69 6e 74 20   ){.        int 
49a0: 69 54 65 73 74 20 3d 20 28 69 48 69 20 2b 20 69  iTest = (iHi + i
49b0: 4c 6f 29 20 2f 20 32 3b 0a 20 20 20 20 20 20 20  Lo) / 2;.       
49c0: 20 61 73 73 65 72 74 28 20 69 54 65 73 74 3e 3d   assert( iTest>=
49d0: 69 4c 6f 20 26 26 20 69 54 65 73 74 3c 69 48 69  iLo && iTest<iHi
49e0: 20 29 3b 0a 20 20 20 20 20 20 20 20 69 66 28 20   );.        if( 
49f0: 69 4b 65 79 3e 3d 61 46 74 73 35 55 6e 69 63 6f  iKey>=aFts5Unico
4a00: 64 65 4d 61 70 5b 69 54 65 73 74 5d 20 29 7b 0a  deMap[iTest] ){.
4a10: 20 20 20 20 20 20 20 20 20 20 69 52 65 73 20 3d            iRes =
4a20: 20 69 54 65 73 74 3b 0a 20 20 20 20 20 20 20 20   iTest;.        
4a30: 20 20 69 4c 6f 20 3d 20 69 54 65 73 74 2b 31 3b    iLo = iTest+1;
4a40: 0a 20 20 20 20 20 20 20 20 7d 65 6c 73 65 7b 0a  .        }else{.
4a50: 20 20 20 20 20 20 20 20 20 20 69 48 69 20 3d 20            iHi = 
4a60: 69 54 65 73 74 3b 0a 20 20 20 20 20 20 20 20 7d  iTest;.        }
4a70: 0a 20 20 20 20 20 20 7d 0a 0a 20 20 20 20 20 20  .      }..      
4a80: 69 66 28 20 69 52 65 73 3c 30 20 29 20 72 65 74  if( iRes<0 ) ret
4a90: 75 72 6e 20 30 3b 0a 20 20 20 20 20 20 69 66 28  urn 0;.      if(
4aa0: 20 69 4b 65 79 3e 3d 28 61 46 74 73 35 55 6e 69   iKey>=(aFts5Uni
4ab0: 63 6f 64 65 4d 61 70 5b 69 52 65 73 5d 2b 28 61  codeMap[iRes]+(a
4ac0: 46 74 73 35 55 6e 69 63 6f 64 65 44 61 74 61 5b  Fts5UnicodeData[
4ad0: 69 52 65 73 5d 3e 3e 35 29 29 20 29 20 72 65 74  iRes]>>5)) ) ret
4ae0: 75 72 6e 20 30 3b 0a 20 20 20 20 20 20 72 65 74  urn 0;.      ret
4af0: 20 3d 20 61 46 74 73 35 55 6e 69 63 6f 64 65 44   = aFts5UnicodeD
4b00: 61 74 61 5b 69 52 65 73 5d 20 26 20 30 78 31 46  ata[iRes] & 0x1F
4b10: 3b 0a 20 20 20 20 20 20 69 66 28 20 72 65 74 21  ;.      if( ret!
4b20: 3d 24 43 28 4c 43 29 20 29 20 72 65 74 75 72 6e  =$C(LC) ) return
4b30: 20 72 65 74 3b 0a 20 20 20 20 20 20 72 65 74 75   ret;.      retu
4b40: 72 6e 20 28 28 69 4b 65 79 20 2d 20 61 46 74 73  rn ((iKey - aFts
4b50: 35 55 6e 69 63 6f 64 65 4d 61 70 5b 69 52 65 73  5UnicodeMap[iRes
4b60: 5d 29 20 26 20 30 78 30 31 29 20 3f 20 24 43 28  ]) & 0x01) ? $C(
4b70: 4c 6c 29 20 3a 20 24 43 28 4c 75 29 3b 0a 20 20  Ll) : $C(Lu);.  
4b80: 20 20 7d 0a 0a 20 20 20 20 76 6f 69 64 20 73 71    }..    void sq
4b90: 6c 69 74 65 33 46 74 73 35 55 6e 69 63 6f 64 65  lite3Fts5Unicode
4ba0: 41 73 63 69 69 28 75 38 20 2a 61 41 72 72 61 79  Ascii(u8 *aArray
4bb0: 2c 20 75 38 20 2a 61 41 73 63 69 69 29 7b 0a 20  , u8 *aAscii){. 
4bc0: 20 20 20 20 20 69 6e 74 20 69 20 3d 20 30 3b 0a       int i = 0;.
4bd0: 20 20 20 20 20 20 69 6e 74 20 69 54 62 6c 20 3d        int iTbl =
4be0: 20 30 3b 0a 20 20 20 20 20 20 77 68 69 6c 65 28   0;.      while(
4bf0: 20 69 3c 31 32 38 20 29 7b 0a 20 20 20 20 20 20   i<128 ){.      
4c00: 20 20 69 6e 74 20 62 54 6f 6b 65 6e 20 3d 20 61    int bToken = a
4c10: 41 72 72 61 79 5b 20 61 46 74 73 35 55 6e 69 63  Array[ aFts5Unic
4c20: 6f 64 65 44 61 74 61 5b 69 54 62 6c 5d 20 26 20  odeData[iTbl] & 
4c30: 30 78 31 46 20 5d 3b 0a 20 20 20 20 20 20 20 20  0x1F ];.        
4c40: 69 6e 74 20 6e 20 3d 20 28 61 46 74 73 35 55 6e  int n = (aFts5Un
4c50: 69 63 6f 64 65 44 61 74 61 5b 69 54 62 6c 5d 20  icodeData[iTbl] 
4c60: 3e 3e 20 35 29 20 2b 20 69 3b 0a 20 20 20 20 20  >> 5) + i;.     
4c70: 20 20 20 66 6f 72 28 3b 20 69 3c 31 32 38 20 26     for(; i<128 &
4c80: 26 20 69 3c 6e 3b 20 69 2b 2b 29 7b 0a 20 20 20  & i<n; i++){.   
4c90: 20 20 20 20 20 20 20 61 41 73 63 69 69 5b 69 5d         aAscii[i]
4ca0: 20 3d 20 62 54 6f 6b 65 6e 3b 0a 20 20 20 20 20   = bToken;.     
4cb0: 20 20 20 7d 0a 20 20 20 20 20 20 20 20 69 54 62     }.        iTb
4cc0: 6c 2b 2b 3b 0a 20 20 20 20 20 20 7d 0a 20 20 20  l++;.      }.   
4cd0: 20 7d 0a 20 20 7d 5d 0a 7d 0a 0a 70 72 6f 63 20   }.  }].}..proc 
4ce0: 70 72 69 6e 74 5f 74 65 73 74 5f 63 61 74 65 67  print_test_categ
4cf0: 6f 72 69 65 73 20 7b 6c 4d 61 70 7d 20 7b 0a 0a  ories {lMap} {..
4d00: 20 20 73 65 74 20 6c 43 50 20 5b 6c 69 73 74 5d    set lCP [list]
4d10: 0a 20 20 66 6f 72 65 61 63 68 20 65 20 24 6c 4d  .  foreach e $lM
4d20: 61 70 20 7b 0a 20 20 20 20 66 6f 72 65 61 63 68  ap {.    foreach
4d30: 20 7b 63 70 20 63 61 74 7d 20 24 65 20 7b 7d 0a   {cp cat} $e {}.
4d40: 20 20 20 20 69 66 20 7b 5b 65 78 70 72 20 30 78      if {[expr 0x
4d50: 24 63 70 5d 20 3c 20 28 31 3c 3c 32 30 29 7d 20  $cp] < (1<<20)} 
4d60: 7b 0a 20 20 20 20 20 20 6c 61 70 70 65 6e 64 20  {.      lappend 
4d70: 6c 43 50 20 22 7b 30 78 24 63 70 2c 20 5c 22 24  lCP "{0x$cp, \"$
4d80: 63 61 74 5c 22 7d 2c 20 22 0a 20 20 20 20 7d 0a  cat\"}, ".    }.
4d90: 20 20 7d 0a 0a 20 20 73 65 74 20 61 43 50 20 22    }..  set aCP "
4da0: 5c 6e 22 0a 20 20 66 6f 72 20 7b 73 65 74 20 69  \n".  for {set i
4db0: 20 30 7d 20 7b 24 69 20 3c 20 5b 6c 6c 65 6e 67   0} {$i < [lleng
4dc0: 74 68 20 24 6c 43 50 5d 7d 20 7b 69 6e 63 72 20  th $lCP]} {incr 
4dd0: 69 20 34 7d 20 7b 0a 20 20 20 20 61 70 70 65 6e  i 4} {.    appen
4de0: 64 20 61 43 50 20 22 20 20 20 20 5b 6a 6f 69 6e  d aCP "    [join
4df0: 20 5b 6c 72 61 6e 67 65 20 24 6c 43 50 20 24 69   [lrange $lCP $i
4e00: 20 24 69 2b 33 5d 5d 5c 6e 22 0a 20 20 7d 0a 0a   $i+3]]\n".  }..
4e10: 0a 20 20 70 75 74 73 20 5b 63 6f 64 65 20 7b 0a  .  puts [code {.
4e20: 20 20 20 20 73 74 61 74 69 63 20 69 6e 74 20 63      static int c
4e30: 61 74 65 67 6f 72 69 65 73 5f 74 65 73 74 20 28  ategories_test (
4e40: 69 6e 74 20 2a 70 69 43 6f 64 65 29 7b 0a 20 20  int *piCode){.  
4e50: 20 20 20 20 73 74 72 75 63 74 20 43 6f 64 65 70      struct Codep
4e60: 6f 69 6e 74 20 7b 0a 20 20 20 20 20 20 20 20 69  oint {.        i
4e70: 6e 74 20 69 43 6f 64 65 3b 0a 20 20 20 20 20 20  nt iCode;.      
4e80: 20 20 63 6f 6e 73 74 20 63 68 61 72 20 2a 7a 43    const char *zC
4e90: 61 74 3b 0a 20 20 20 20 20 20 7d 20 61 43 50 5b  at;.      } aCP[
4ea0: 5d 20 3d 20 7b 24 61 43 50 7d 3b 0a 20 20 20 20  ] = {$aCP};.    
4eb0: 20 20 69 6e 74 20 69 3b 0a 20 20 20 20 20 20 69    int i;.      i
4ec0: 6e 74 20 69 43 50 20 3d 20 30 3b 0a 0a 20 20 20  nt iCP = 0;..   
4ed0: 20 20 20 66 6f 72 28 69 3d 30 3b 20 69 3c 31 30     for(i=0; i<10
4ee0: 30 30 30 30 30 3b 20 69 2b 2b 29 7b 0a 20 20 20  00000; i++){.   
4ef0: 20 20 20 20 20 75 38 20 61 41 72 72 61 79 5b 34       u8 aArray[4
4f00: 30 5d 3b 0a 20 20 20 20 20 20 20 20 69 6e 74 20  0];.        int 
4f10: 63 61 74 20 3d 20 30 3b 0a 20 20 20 20 20 20 20  cat = 0;.       
4f20: 20 69 6e 74 20 63 20 3d 20 30 3b 0a 20 20 20 20   int c = 0;.    
4f30: 20 20 20 20 6d 65 6d 73 65 74 28 61 41 72 72 61      memset(aArra
4f40: 79 2c 20 30 2c 20 73 69 7a 65 6f 66 28 61 41 72  y, 0, sizeof(aAr
4f50: 72 61 79 29 29 3b 0a 20 20 20 20 20 20 20 20 69  ray));.        i
4f60: 66 28 20 61 43 50 5b 69 43 50 5d 2e 69 43 6f 64  f( aCP[iCP].iCod
4f70: 65 3d 3d 69 20 29 7b 0a 20 20 20 20 20 20 20 20  e==i ){.        
4f80: 20 20 73 71 6c 69 74 65 33 46 74 73 35 55 6e 69    sqlite3Fts5Uni
4f90: 63 6f 64 65 43 61 74 50 61 72 73 65 28 61 43 50  codeCatParse(aCP
4fa0: 5b 69 43 50 5d 2e 7a 43 61 74 2c 20 61 41 72 72  [iCP].zCat, aArr
4fb0: 61 79 29 3b 0a 20 20 20 20 20 20 20 20 20 20 69  ay);.          i
4fc0: 43 50 2b 2b 3b 0a 20 20 20 20 20 20 20 20 7d 65  CP++;.        }e
4fd0: 6c 73 65 7b 0a 20 20 20 20 20 20 20 20 20 20 61  lse{.          a
4fe0: 41 72 72 61 79 5b 30 5d 20 3d 20 31 3b 0a 20 20  Array[0] = 1;.  
4ff0: 20 20 20 20 20 20 7d 0a 0a 20 20 20 20 20 20 20        }..       
5000: 20 63 20 3d 20 73 71 6c 69 74 65 33 46 74 73 35   c = sqlite3Fts5
5010: 55 6e 69 63 6f 64 65 43 61 74 65 67 6f 72 79 28  UnicodeCategory(
5020: 69 29 3b 0a 20 20 20 20 20 20 20 20 69 66 28 20  i);.        if( 
5030: 61 41 72 72 61 79 5b 63 5d 3d 3d 30 20 29 7b 0a  aArray[c]==0 ){.
5040: 20 20 20 20 20 20 20 20 20 20 2a 70 69 43 6f 64            *piCod
5050: 65 20 3d 20 69 3b 0a 20 20 20 20 20 20 20 20 20  e = i;.         
5060: 20 72 65 74 75 72 6e 20 31 3b 0a 20 20 20 20 20   return 1;.     
5070: 20 20 20 7d 0a 20 20 20 20 20 20 7d 0a 0a 20 20     }.      }..  
5080: 20 20 20 20 72 65 74 75 72 6e 20 30 3b 0a 20 20      return 0;.  
5090: 20 20 7d 0a 20 20 7d 5d 0a 7d 0a 0a 70 72 6f 63    }.  }].}..proc
50a0: 20 70 72 69 6e 74 5f 66 6f 6c 64 5f 74 65 73 74   print_fold_test
50b0: 20 7b 7a 46 75 6e 63 20 6d 61 70 70 69 6e 67 73   {zFunc mappings
50c0: 7d 20 7b 0a 20 20 67 6c 6f 62 61 6c 20 74 6c 5f  } {.  global tl_
50d0: 6c 6f 6f 6b 75 70 5f 74 61 62 6c 65 0a 0a 20 20  lookup_table..  
50e0: 66 6f 72 65 61 63 68 20 6d 20 24 6d 61 70 70 69  foreach m $mappi
50f0: 6e 67 73 20 7b 0a 20 20 20 20 73 65 74 20 63 20  ngs {.    set c 
5100: 5b 6c 69 6e 64 65 78 20 24 6d 20 31 5d 0a 20 20  [lindex $m 1].  
5110: 20 20 69 66 20 7b 24 63 20 3d 3d 20 22 22 7d 20    if {$c == ""} 
5120: 7b 0a 20 20 20 20 20 20 73 65 74 20 65 78 74 72  {.      set extr
5130: 61 28 5b 6c 69 6e 64 65 78 20 24 6d 20 30 5d 29  a([lindex $m 0])
5140: 20 30 0a 20 20 20 20 7d 20 65 6c 73 65 20 7b 0a   0.    } else {.
5150: 20 20 20 20 20 20 73 63 61 6e 20 24 63 20 25 63        scan $c %c
5160: 20 69 0a 20 20 20 20 20 20 73 65 74 20 65 78 74   i.      set ext
5170: 72 61 28 5b 6c 69 6e 64 65 78 20 24 6d 20 30 5d  ra([lindex $m 0]
5180: 29 20 24 69 0a 20 20 20 20 7d 0a 20 20 7d 0a 0a  ) $i.    }.  }..
5190: 20 20 70 75 74 73 20 22 73 74 61 74 69 63 20 69    puts "static i
51a0: 6e 74 20 66 6f 6c 64 5f 74 65 73 74 28 69 6e 74  nt fold_test(int
51b0: 20 2a 70 69 43 6f 64 65 29 5c 7b 22 0a 20 20 70   *piCode)\{".  p
51c0: 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20 22  uts -nonewline "
51d0: 20 20 73 74 61 74 69 63 20 69 6e 74 20 61 4c 6f    static int aLo
51e0: 6f 6b 75 70 5c 5b 5c 5d 20 3d 20 5c 7b 22 0a 20  okup\[\] = \{". 
51f0: 20 66 6f 72 20 7b 73 65 74 20 69 20 30 7d 20 7b   for {set i 0} {
5200: 24 69 20 3c 20 37 30 30 30 30 7d 20 7b 69 6e 63  $i < 70000} {inc
5210: 72 20 69 7d 20 7b 0a 0a 20 20 20 20 73 65 74 20  r i} {..    set 
5220: 65 78 70 65 63 74 65 64 20 24 69 0a 20 20 20 20  expected $i.    
5230: 63 61 74 63 68 20 7b 20 73 65 74 20 65 78 70 65  catch { set expe
5240: 63 74 65 64 20 24 74 6c 5f 6c 6f 6f 6b 75 70 5f  cted $tl_lookup_
5250: 74 61 62 6c 65 28 24 69 29 20 7d 0a 20 20 20 20  table($i) }.    
5260: 73 65 74 20 65 78 70 65 63 74 65 64 32 20 24 65  set expected2 $e
5270: 78 70 65 63 74 65 64 0a 20 20 20 20 63 61 74 63  xpected.    catc
5280: 68 20 7b 20 73 65 74 20 65 78 70 65 63 74 65 64  h { set expected
5290: 32 20 24 65 78 74 72 61 28 24 65 78 70 65 63 74  2 $extra($expect
52a0: 65 64 32 29 20 7d 0a 0a 20 20 20 20 69 66 20 7b  ed2) }..    if {
52b0: 28 24 69 20 25 20 34 29 3d 3d 30 7d 20 20 7b 20  ($i % 4)==0}  { 
52c0: 70 75 74 73 20 22 22 20 3b 20 70 75 74 73 20 2d  puts "" ; puts -
52d0: 6e 6f 6e 65 77 6c 69 6e 65 20 22 20 20 20 20 22  nonewline "    "
52e0: 20 7d 0a 20 20 20 20 70 75 74 73 20 2d 6e 6f 6e   }.    puts -non
52f0: 65 77 6c 69 6e 65 20 22 24 65 78 70 65 63 74 65  ewline "$expecte
5300: 64 2c 20 24 65 78 70 65 63 74 65 64 32 2c 20 22  d, $expected2, "
5310: 0a 20 20 7d 0a 20 20 70 75 74 73 20 22 20 20 5c  .  }.  puts "  \
5320: 7d 3b 22 0a 20 20 70 75 74 73 20 22 20 20 69 6e  };".  puts "  in
5330: 74 20 69 3b 22 0a 20 20 70 75 74 73 20 22 20 20  t i;".  puts "  
5340: 66 6f 72 28 69 3d 30 3b 20 69 3c 73 69 7a 65 6f  for(i=0; i<sizeo
5350: 66 28 61 4c 6f 6f 6b 75 70 29 2f 73 69 7a 65 6f  f(aLookup)/sizeo
5360: 66 28 61 4c 6f 6f 6b 75 70 5c 5b 30 5c 5d 29 3b  f(aLookup\[0\]);
5370: 20 69 2b 2b 29 5c 7b 22 0a 20 20 70 75 74 73 20   i++)\{".  puts 
5380: 22 20 20 20 20 69 6e 74 20 69 43 6f 64 65 20 3d  "    int iCode =
5390: 20 28 69 2f 32 29 3b 22 0a 20 20 70 75 74 73 20   (i/2);".  puts 
53a0: 22 20 20 20 20 69 6e 74 20 62 46 6c 61 67 20 3d  "    int bFlag =
53b0: 20 69 20 26 20 30 78 30 30 30 31 3b 22 0a 20 20   i & 0x0001;".  
53c0: 70 75 74 73 20 22 20 20 20 20 69 66 28 20 24 7b  puts "    if( ${
53d0: 7a 46 75 6e 63 7d 5c 28 69 43 6f 64 65 2c 20 62  zFunc}\(iCode, b
53e0: 46 6c 61 67 29 21 3d 61 4c 6f 6f 6b 75 70 5c 5b  Flag)!=aLookup\[
53f0: 69 5c 5d 20 29 5c 7b 22 0a 20 20 70 75 74 73 20  i\] )\{".  puts 
5400: 22 20 20 20 20 20 20 2a 70 69 43 6f 64 65 20 3d  "      *piCode =
5410: 20 69 43 6f 64 65 3b 22 0a 20 20 70 75 74 73 20   iCode;".  puts 
5420: 22 20 20 20 20 20 20 72 65 74 75 72 6e 20 31 3b  "      return 1;
5430: 22 0a 20 20 70 75 74 73 20 22 20 20 20 20 5c 7d  ".  puts "    \}
5440: 22 0a 20 20 70 75 74 73 20 22 20 20 5c 7d 22 0a  ".  puts "  \}".
5450: 20 20 70 75 74 73 20 22 20 20 72 65 74 75 72 6e    puts "  return
5460: 20 30 3b 22 0a 20 20 70 75 74 73 20 22 5c 7d 22   0;".  puts "\}"
5470: 0a 7d 0a 0a 0a 70 72 6f 63 20 70 72 69 6e 74 5f  .}...proc print_
5480: 66 69 6c 65 68 65 61 64 65 72 20 7b 7d 20 7b 0a  fileheader {} {.
5490: 20 20 70 75 74 73 20 5b 73 74 72 69 6e 67 20 74    puts [string t
54a0: 72 69 6d 20 7b 0a 2f 2a 0a 2a 2a 20 32 30 31 32  rim {./*.** 2012
54b0: 20 4d 61 79 20 32 35 0a 2a 2a 0a 2a 2a 20 54 68   May 25.**.** Th
54c0: 65 20 61 75 74 68 6f 72 20 64 69 73 63 6c 61 69  e author disclai
54d0: 6d 73 20 63 6f 70 79 72 69 67 68 74 20 74 6f 20  ms copyright to 
54e0: 74 68 69 73 20 73 6f 75 72 63 65 20 63 6f 64 65  this source code
54f0: 2e 20 20 49 6e 20 70 6c 61 63 65 20 6f 66 0a 2a  .  In place of.*
5500: 2a 20 61 20 6c 65 67 61 6c 20 6e 6f 74 69 63 65  * a legal notice
5510: 2c 20 68 65 72 65 20 69 73 20 61 20 62 6c 65 73  , here is a bles
5520: 73 69 6e 67 3a 0a 2a 2a 0a 2a 2a 20 20 20 20 4d  sing:.**.**    M
5530: 61 79 20 79 6f 75 20 64 6f 20 67 6f 6f 64 20 61  ay you do good a
5540: 6e 64 20 6e 6f 74 20 65 76 69 6c 2e 0a 2a 2a 20  nd not evil..** 
5550: 20 20 20 4d 61 79 20 79 6f 75 20 66 69 6e 64 20     May you find 
5560: 66 6f 72 67 69 76 65 6e 65 73 73 20 66 6f 72 20  forgiveness for 
5570: 79 6f 75 72 73 65 6c 66 20 61 6e 64 20 66 6f 72  yourself and for
5580: 67 69 76 65 20 6f 74 68 65 72 73 2e 0a 2a 2a 20  give others..** 
5590: 20 20 20 4d 61 79 20 79 6f 75 20 73 68 61 72 65     May you share
55a0: 20 66 72 65 65 6c 79 2c 20 6e 65 76 65 72 20 74   freely, never t
55b0: 61 6b 69 6e 67 20 6d 6f 72 65 20 74 68 61 6e 20  aking more than 
55c0: 79 6f 75 20 67 69 76 65 2e 0a 2a 2a 0a 2a 2a 2a  you give..**.***
55d0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
55e0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
55f0: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5600: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a  ****************
5610: 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 2a 0a 2a 2f 0a 0a  ***********.*/..
5620: 2f 2a 0a 2a 2a 20 44 4f 20 4e 4f 54 20 45 44 49  /*.** DO NOT EDI
5630: 54 20 54 48 49 53 20 4d 41 43 48 49 4e 45 20 47  T THIS MACHINE G
5640: 45 4e 45 52 41 54 45 44 20 46 49 4c 45 2e 0a 2a  ENERATED FILE..*
5650: 2f 0a 20 20 7d 5d 0a 20 20 70 75 74 73 20 22 22  /.  }].  puts ""
5660: 0a 20 20 69 66 20 7b 24 3a 3a 67 65 6e 65 72 61  .  if {$::genera
5670: 74 65 5f 66 74 73 35 5f 63 6f 64 65 7d 20 7b 0a  te_fts5_code} {.
5680: 20 20 20 20 23 20 6e 6f 2d 6f 70 0a 20 20 7d 20      # no-op.  } 
5690: 65 6c 73 65 20 7b 0a 20 20 20 20 70 75 74 73 20  else {.    puts 
56a0: 22 23 69 66 6e 64 65 66 20 53 51 4c 49 54 45 5f  "#ifndef SQLITE_
56b0: 44 49 53 41 42 4c 45 5f 46 54 53 33 5f 55 4e 49  DISABLE_FTS3_UNI
56c0: 43 4f 44 45 22 0a 20 20 20 20 70 75 74 73 20 22  CODE".    puts "
56d0: 23 69 66 20 64 65 66 69 6e 65 64 28 53 51 4c 49  #if defined(SQLI
56e0: 54 45 5f 45 4e 41 42 4c 45 5f 46 54 53 33 29 20  TE_ENABLE_FTS3) 
56f0: 7c 7c 20 64 65 66 69 6e 65 64 28 53 51 4c 49 54  || defined(SQLIT
5700: 45 5f 45 4e 41 42 4c 45 5f 46 54 53 34 29 22 0a  E_ENABLE_FTS4)".
5710: 20 20 7d 0a 20 20 70 75 74 73 20 22 22 0a 20 20    }.  puts "".  
5720: 70 75 74 73 20 22 23 69 6e 63 6c 75 64 65 20 3c  puts "#include <
5730: 61 73 73 65 72 74 2e 68 3e 22 0a 20 20 70 75 74  assert.h>".  put
5740: 73 20 22 22 0a 7d 0a 0a 70 72 6f 63 20 70 72 69  s "".}..proc pri
5750: 6e 74 5f 74 65 73 74 5f 6d 61 69 6e 20 7b 7d 20  nt_test_main {} 
5760: 7b 0a 20 20 70 75 74 73 20 22 22 0a 20 20 70 75  {.  puts "".  pu
5770: 74 73 20 22 23 69 6e 63 6c 75 64 65 20 3c 73 74  ts "#include <st
5780: 64 69 6f 2e 68 3e 22 0a 20 20 70 75 74 73 20 22  dio.h>".  puts "
5790: 22 0a 20 20 70 75 74 73 20 22 69 6e 74 20 6d 61  ".  puts "int ma
57a0: 69 6e 28 69 6e 74 20 61 72 67 63 2c 20 63 68 61  in(int argc, cha
57b0: 72 20 2a 2a 61 72 67 76 29 5c 7b 22 0a 20 20 70  r **argv)\{".  p
57c0: 75 74 73 20 22 20 20 69 6e 74 20 72 31 2c 20 72  uts "  int r1, r
57d0: 32 2c 20 72 33 3b 22 0a 20 20 70 75 74 73 20 22  2, r3;".  puts "
57e0: 20 20 69 6e 74 20 63 6f 64 65 3b 22 0a 20 20 70    int code;".  p
57f0: 75 74 73 20 22 20 20 72 33 20 3d 20 30 3b 22 0a  uts "  r3 = 0;".
5800: 20 20 70 75 74 73 20 22 20 20 72 31 20 3d 20 69    puts "  r1 = i
5810: 73 61 6c 6e 75 6d 5f 74 65 73 74 28 26 63 6f 64  salnum_test(&cod
5820: 65 29 3b 22 0a 20 20 70 75 74 73 20 22 20 20 69  e);".  puts "  i
5830: 66 28 20 72 31 20 29 20 70 72 69 6e 74 66 28 5c  f( r1 ) printf(\
5840: 22 69 73 61 6c 6e 75 6d 28 29 3a 20 50 72 6f 62  "isalnum(): Prob
5850: 6c 65 6d 20 77 69 74 68 20 63 6f 64 65 20 25 64  lem with code %d
5860: 5c 5c 6e 5c 22 2c 63 6f 64 65 29 3b 22 0a 20 20  \\n\",code);".  
5870: 70 75 74 73 20 22 20 20 65 6c 73 65 20 70 72 69  puts "  else pri
5880: 6e 74 66 28 5c 22 69 73 61 6c 6e 75 6d 28 29 3a  ntf(\"isalnum():
5890: 20 74 65 73 74 20 70 61 73 73 65 64 5c 5c 6e 5c   test passed\\n\
58a0: 22 29 3b 22 0a 20 20 70 75 74 73 20 22 20 20 72  ");".  puts "  r
58b0: 32 20 3d 20 66 6f 6c 64 5f 74 65 73 74 28 26 63  2 = fold_test(&c
58c0: 6f 64 65 29 3b 22 0a 20 20 70 75 74 73 20 22 20  ode);".  puts " 
58d0: 20 69 66 28 20 72 32 20 29 20 70 72 69 6e 74 66   if( r2 ) printf
58e0: 28 5c 22 66 6f 6c 64 28 29 3a 20 50 72 6f 62 6c  (\"fold(): Probl
58f0: 65 6d 20 77 69 74 68 20 63 6f 64 65 20 25 64 5c  em with code %d\
5900: 5c 6e 5c 22 2c 63 6f 64 65 29 3b 22 0a 20 20 70  \n\",code);".  p
5910: 75 74 73 20 22 20 20 65 6c 73 65 20 70 72 69 6e  uts "  else prin
5920: 74 66 28 5c 22 66 6f 6c 64 28 29 3a 20 74 65 73  tf(\"fold(): tes
5930: 74 20 70 61 73 73 65 64 5c 5c 6e 5c 22 29 3b 22  t passed\\n\");"
5940: 0a 20 20 69 66 20 7b 24 3a 3a 67 65 6e 65 72 61  .  if {$::genera
5950: 74 65 5f 66 74 73 35 5f 63 6f 64 65 7d 20 7b 0a  te_fts5_code} {.
5960: 20 20 20 20 70 75 74 73 20 22 20 20 72 33 20 3d      puts "  r3 =
5970: 20 63 61 74 65 67 6f 72 69 65 73 5f 74 65 73 74   categories_test
5980: 28 26 63 6f 64 65 29 3b 22 0a 20 20 20 20 70 75  (&code);".    pu
5990: 74 73 20 22 20 20 69 66 28 20 72 33 20 29 20 70  ts "  if( r3 ) p
59a0: 72 69 6e 74 66 28 5c 22 63 61 74 65 67 6f 72 69  rintf(\"categori
59b0: 65 73 28 29 3a 20 50 72 6f 62 6c 65 6d 20 77 69  es(): Problem wi
59c0: 74 68 20 63 6f 64 65 20 25 64 5c 5c 6e 5c 22 2c  th code %d\\n\",
59d0: 63 6f 64 65 29 3b 22 0a 20 20 20 20 70 75 74 73  code);".    puts
59e0: 20 22 20 20 65 6c 73 65 20 70 72 69 6e 74 66 28   "  else printf(
59f0: 5c 22 63 61 74 65 67 6f 72 69 65 73 28 29 3a 20  \"categories(): 
5a00: 74 65 73 74 20 70 61 73 73 65 64 5c 5c 6e 5c 22  test passed\\n\"
5a10: 29 3b 22 0a 20 20 7d 0a 20 20 70 75 74 73 20 22  );".  }.  puts "
5a20: 20 20 72 65 74 75 72 6e 20 28 72 31 20 7c 7c 20    return (r1 || 
5a30: 72 32 20 7c 7c 20 72 33 29 3b 22 0a 20 20 70 75  r2 || r3);".  pu
5a40: 74 73 20 22 5c 7d 22 0a 7d 0a 0a 23 20 50 72 6f  ts "\}".}..# Pro
5a50: 63 65 73 20 74 68 65 20 63 6f 6d 6d 61 6e 64 20  ces the command 
5a60: 6c 69 6e 65 20 61 72 67 75 6d 65 6e 74 73 2e 20  line arguments. 
5a70: 45 78 69 74 20 65 61 72 6c 79 20 69 66 20 74 68  Exit early if th
5a80: 65 79 20 61 72 65 20 6e 6f 74 20 74 6f 0a 23 20  ey are not to.# 
5a90: 6f 75 72 20 6c 69 6b 69 6e 67 2e 0a 23 0a 70 72  our liking..#.pr
5aa0: 6f 63 20 75 73 61 67 65 20 7b 7d 20 7b 0a 20 20  oc usage {} {.  
5ab0: 70 75 74 73 20 2d 6e 6f 6e 65 77 6c 69 6e 65 20  puts -nonewline 
5ac0: 73 74 64 65 72 72 20 22 55 73 61 67 65 3a 20 24  stderr "Usage: $
5ad0: 3a 3a 61 72 67 76 30 20 3f 2d 74 65 73 74 3f 20  ::argv0 ?-test? 
5ae0: 3f 2d 66 74 73 35 3f 20 22 0a 20 20 70 75 74 73  ?-fts5? ".  puts
5af0: 20 20 20 20 20 20 20 20 20 20 20 20 73 74 64 65              stde
5b00: 72 72 20 22 3c 43 61 73 65 46 6f 6c 64 69 6e 67  rr "<CaseFolding
5b10: 2e 74 78 74 20 66 69 6c 65 3e 20 3c 55 6e 69 63  .txt file> <Unic
5b20: 6f 64 65 44 61 74 61 2e 74 78 74 20 66 69 6c 65  odeData.txt file
5b30: 3e 22 0a 20 20 65 78 69 74 20 31 0a 7d 0a 69 66  >".  exit 1.}.if
5b40: 20 7b 5b 6c 6c 65 6e 67 74 68 20 24 61 72 67 76   {[llength $argv
5b50: 5d 3c 32 7d 20 75 73 61 67 65 0a 73 65 74 20 75  ]<2} usage.set u
5b60: 6e 69 63 6f 64 65 64 61 74 61 2e 74 78 74 20 5b  nicodedata.txt [
5b70: 6c 69 6e 64 65 78 20 24 61 72 67 76 20 65 6e 64  lindex $argv end
5b80: 5d 0a 73 65 74 20 63 61 73 65 66 6f 6c 64 69 6e  ].set casefoldin
5b90: 67 2e 74 78 74 20 5b 6c 69 6e 64 65 78 20 24 61  g.txt [lindex $a
5ba0: 72 67 76 20 65 6e 64 2d 31 5d 0a 0a 73 65 74 20  rgv end-1]..set 
5bb0: 72 65 6d 6f 76 65 5f 64 69 61 63 72 69 74 69 63  remove_diacritic
5bc0: 20 72 65 6d 6f 76 65 5f 64 69 61 63 72 69 74 69   remove_diacriti
5bd0: 63 0a 73 65 74 20 67 65 6e 65 72 61 74 65 5f 74  c.set generate_t
5be0: 65 73 74 5f 63 6f 64 65 20 30 0a 73 65 74 20 67  est_code 0.set g
5bf0: 65 6e 65 72 61 74 65 5f 66 74 73 35 5f 63 6f 64  enerate_fts5_cod
5c00: 65 20 30 0a 73 65 74 20 66 75 6e 63 74 69 6f 6e  e 0.set function
5c10: 5f 70 72 65 66 69 78 20 22 73 71 6c 69 74 65 33  _prefix "sqlite3
5c20: 46 74 73 22 0a 66 6f 72 20 7b 73 65 74 20 69 20  Fts".for {set i 
5c30: 30 7d 20 7b 24 69 20 3c 20 5b 6c 6c 65 6e 67 74  0} {$i < [llengt
5c40: 68 20 24 61 72 67 76 5d 2d 32 7d 20 7b 69 6e 63  h $argv]-2} {inc
5c50: 72 20 69 7d 20 7b 0a 20 20 73 77 69 74 63 68 20  r i} {.  switch 
5c60: 2d 2d 20 5b 6c 69 6e 64 65 78 20 24 61 72 67 76  -- [lindex $argv
5c70: 20 24 69 5d 20 7b 0a 20 20 20 20 2d 74 65 73 74   $i] {.    -test
5c80: 20 7b 0a 20 20 20 20 20 20 73 65 74 20 67 65 6e   {.      set gen
5c90: 65 72 61 74 65 5f 74 65 73 74 5f 63 6f 64 65 20  erate_test_code 
5ca0: 31 0a 20 20 20 20 7d 0a 20 20 20 20 2d 66 74 73  1.    }.    -fts
5cb0: 35 20 7b 0a 20 20 20 20 20 20 73 65 74 20 66 75  5 {.      set fu
5cc0: 6e 63 74 69 6f 6e 5f 70 72 65 66 69 78 20 73 71  nction_prefix sq
5cd0: 6c 69 74 65 33 46 74 73 35 0a 20 20 20 20 20 20  lite3Fts5.      
5ce0: 73 65 74 20 67 65 6e 65 72 61 74 65 5f 66 74 73  set generate_fts
5cf0: 35 5f 63 6f 64 65 20 31 0a 20 20 20 20 20 20 73  5_code 1.      s
5d00: 65 74 20 72 65 6d 6f 76 65 5f 64 69 61 63 72 69  et remove_diacri
5d10: 74 69 63 20 66 74 73 35 5f 72 65 6d 6f 76 65 5f  tic fts5_remove_
5d20: 64 69 61 63 72 69 74 69 63 0a 20 20 20 20 7d 0a  diacritic.    }.
5d30: 20 20 20 20 64 65 66 61 75 6c 74 20 7b 0a 20 20      default {.  
5d40: 20 20 20 20 75 73 61 67 65 0a 20 20 20 20 7d 0a      usage.    }.
5d50: 20 20 7d 0a 7d 0a 0a 70 72 69 6e 74 5f 66 69 6c    }.}..print_fil
5d60: 65 68 65 61 64 65 72 0a 0a 69 66 20 7b 24 3a 3a  eheader..if {$::
5d70: 67 65 6e 65 72 61 74 65 5f 74 65 73 74 5f 63 6f  generate_test_co
5d80: 64 65 7d 20 7b 0a 20 20 70 75 74 73 20 22 74 79  de} {.  puts "ty
5d90: 70 65 64 65 66 20 75 6e 73 69 67 6e 65 64 20 73  pedef unsigned s
5da0: 68 6f 72 74 20 69 6e 74 20 75 31 36 3b 22 0a 20  hort int u16;". 
5db0: 20 70 75 74 73 20 22 74 79 70 65 64 65 66 20 75   puts "typedef u
5dc0: 6e 73 69 67 6e 65 64 20 63 68 61 72 20 75 38 3b  nsigned char u8;
5dd0: 22 0a 20 20 70 75 74 73 20 22 23 69 6e 63 6c 75  ".  puts "#inclu
5de0: 64 65 20 3c 73 74 72 69 6e 67 2e 68 3e 22 0a 7d  de <string.h>".}
5df0: 0a 0a 23 20 50 72 69 6e 74 20 74 68 65 20 69 73  ..# Print the is
5e00: 61 6c 6e 75 6d 28 29 20 66 75 6e 63 74 69 6f 6e  alnum() function
5e10: 20 74 6f 20 73 74 64 6f 75 74 2e 0a 23 0a 73 65   to stdout..#.se
5e20: 74 20 6c 52 61 6e 67 65 20 5b 61 6e 5f 6c 6f 61  t lRange [an_loa
5e30: 64 5f 73 65 70 61 72 61 74 6f 72 5f 72 61 6e 67  d_separator_rang
5e40: 65 73 5d 0a 69 66 20 7b 24 67 65 6e 65 72 61 74  es].if {$generat
5e50: 65 5f 66 74 73 35 5f 63 6f 64 65 3d 3d 30 7d 20  e_fts5_code==0} 
5e60: 7b 0a 20 20 70 72 69 6e 74 5f 69 73 61 6c 6e 75  {.  print_isalnu
5e70: 6d 20 24 7b 66 75 6e 63 74 69 6f 6e 5f 70 72 65  m ${function_pre
5e80: 66 69 78 7d 55 6e 69 63 6f 64 65 49 73 61 6c 6e  fix}UnicodeIsaln
5e90: 75 6d 20 24 6c 52 61 6e 67 65 0a 7d 0a 0a 23 20  um $lRange.}..# 
5ea0: 4c 65 61 76 65 20 61 20 67 61 70 20 62 65 74 77  Leave a gap betw
5eb0: 65 65 6e 20 74 68 65 20 74 77 6f 20 67 65 6e 65  een the two gene
5ec0: 72 61 74 65 64 20 43 20 66 75 6e 63 74 69 6f 6e  rated C function
5ed0: 73 2e 0a 23 0a 70 75 74 73 20 22 22 0a 70 75 74  s..#.puts "".put
5ee0: 73 20 22 22 0a 0a 23 20 4c 6f 61 64 20 74 68 65  s ""..# Load the
5ef0: 20 66 6f 6c 64 20 64 61 74 61 2e 20 54 68 69 73   fold data. This
5f00: 20 69 73 20 75 73 65 64 20 62 79 20 74 68 65 20   is used by the 
5f10: 5b 72 64 5f 58 58 58 5d 20 63 6f 6d 6d 61 6e 64  [rd_XXX] command
5f20: 73 0a 23 20 61 73 20 77 65 6c 6c 20 61 73 20 5b  s.# as well as [
5f30: 70 72 69 6e 74 5f 66 6f 6c 64 5d 2e 0a 74 6c 5f  print_fold]..tl_
5f40: 6c 6f 61 64 5f 63 61 73 65 66 6f 6c 64 69 6e 67  load_casefolding
5f50: 5f 74 78 74 20 24 7b 63 61 73 65 66 6f 6c 64 69  _txt ${casefoldi
5f60: 6e 67 2e 74 78 74 7d 0a 0a 73 65 74 20 6d 61 70  ng.txt}..set map
5f70: 70 69 6e 67 73 20 5b 72 64 5f 6c 6f 61 64 5f 75  pings [rd_load_u
5f80: 6e 69 63 6f 64 65 64 61 74 61 5f 74 65 78 74 20  nicodedata_text 
5f90: 24 7b 75 6e 69 63 6f 64 65 64 61 74 61 2e 74 78  ${unicodedata.tx
5fa0: 74 7d 5d 0a 70 72 69 6e 74 5f 72 64 20 24 6d 61  t}].print_rd $ma
5fb0: 70 70 69 6e 67 73 0a 70 75 74 73 20 22 22 0a 70  ppings.puts "".p
5fc0: 75 74 73 20 22 22 0a 70 72 69 6e 74 5f 69 73 64  uts "".print_isd
5fd0: 69 61 63 72 69 74 69 63 20 24 7b 66 75 6e 63 74  iacritic ${funct
5fe0: 69 6f 6e 5f 70 72 65 66 69 78 7d 55 6e 69 63 6f  ion_prefix}Unico
5ff0: 64 65 49 73 64 69 61 63 72 69 74 69 63 20 24 6d  deIsdiacritic $m
6000: 61 70 70 69 6e 67 73 0a 70 75 74 73 20 22 22 0a  appings.puts "".
6010: 70 75 74 73 20 22 22 0a 0a 23 20 50 72 69 6e 74  puts ""..# Print
6020: 20 74 68 65 20 66 6f 6c 64 28 29 20 66 75 6e 63   the fold() func
6030: 74 69 6f 6e 20 74 6f 20 73 74 64 6f 75 74 2e 0a  tion to stdout..
6040: 23 0a 70 72 69 6e 74 5f 66 6f 6c 64 20 24 7b 66  #.print_fold ${f
6050: 75 6e 63 74 69 6f 6e 5f 70 72 65 66 69 78 7d 55  unction_prefix}U
6060: 6e 69 63 6f 64 65 46 6f 6c 64 0a 0a 69 66 20 7b  nicodeFold..if {
6070: 24 67 65 6e 65 72 61 74 65 5f 66 74 73 35 5f 63  $generate_fts5_c
6080: 6f 64 65 7d 20 7b 0a 20 20 70 75 74 73 20 22 22  ode} {.  puts ""
6090: 0a 20 20 70 75 74 73 20 22 22 0a 20 20 70 72 69  .  puts "".  pri
60a0: 6e 74 5f 63 61 74 65 67 6f 72 69 65 73 20 5b 63  nt_categories [c
60b0: 63 5f 6c 6f 61 64 5f 75 6e 69 63 6f 64 65 64 61  c_load_unicodeda
60c0: 74 61 5f 74 65 78 74 20 24 7b 75 6e 69 63 6f 64  ta_text ${unicod
60d0: 65 64 61 74 61 2e 74 78 74 7d 5d 0a 7d 0a 0a 23  edata.txt}].}..#
60e0: 20 50 72 69 6e 74 20 74 68 65 20 74 65 73 74 20   Print the test 
60f0: 72 6f 75 74 69 6e 65 73 20 61 6e 64 20 6d 61 69  routines and mai
6100: 6e 28 29 20 66 75 6e 63 74 69 6f 6e 20 74 6f 20  n() function to 
6110: 73 74 64 6f 75 74 2c 20 69 66 20 2d 74 65 73 74  stdout, if -test
6120: 20 0a 23 20 77 61 73 20 73 70 65 63 69 66 69 65   .# was specifie
6130: 64 2e 0a 23 0a 69 66 20 7b 24 3a 3a 67 65 6e 65  d..#.if {$::gene
6140: 72 61 74 65 5f 74 65 73 74 5f 63 6f 64 65 7d 20  rate_test_code} 
6150: 7b 0a 20 20 69 66 20 7b 24 67 65 6e 65 72 61 74  {.  if {$generat
6160: 65 5f 66 74 73 35 5f 63 6f 64 65 3d 3d 30 7d 20  e_fts5_code==0} 
6170: 7b 0a 20 20 20 20 70 72 69 6e 74 5f 74 65 73 74  {.    print_test
6180: 5f 69 73 61 6c 6e 75 6d 20 24 7b 66 75 6e 63 74  _isalnum ${funct
6190: 69 6f 6e 5f 70 72 65 66 69 78 7d 55 6e 69 63 6f  ion_prefix}Unico
61a0: 64 65 49 73 61 6c 6e 75 6d 20 24 6c 52 61 6e 67  deIsalnum $lRang
61b0: 65 0a 20 20 7d 0a 20 20 70 72 69 6e 74 5f 66 6f  e.  }.  print_fo
61c0: 6c 64 5f 74 65 73 74 20 24 7b 66 75 6e 63 74 69  ld_test ${functi
61d0: 6f 6e 5f 70 72 65 66 69 78 7d 55 6e 69 63 6f 64  on_prefix}Unicod
61e0: 65 46 6f 6c 64 20 24 6d 61 70 70 69 6e 67 73 0a  eFold $mappings.
61f0: 20 20 70 72 69 6e 74 5f 74 65 73 74 5f 63 61 74    print_test_cat
6200: 65 67 6f 72 69 65 73 20 5b 63 63 5f 6c 6f 61 64  egories [cc_load
6210: 5f 75 6e 69 63 6f 64 65 64 61 74 61 5f 74 65 78  _unicodedata_tex
6220: 74 20 24 7b 75 6e 69 63 6f 64 65 64 61 74 61 2e  t ${unicodedata.
6230: 74 78 74 7d 5d 0a 20 20 70 72 69 6e 74 5f 74 65  txt}].  print_te
6240: 73 74 5f 6d 61 69 6e 20 0a 7d 0a 0a 69 66 20 7b  st_main .}..if {
6250: 24 67 65 6e 65 72 61 74 65 5f 66 74 73 35 5f 63  $generate_fts5_c
6260: 6f 64 65 7d 20 7b 0a 20 20 23 20 6e 6f 2d 6f 70  ode} {.  # no-op
6270: 0a 7d 20 65 6c 73 65 20 7b 0a 20 20 70 75 74 73  .} else {.  puts
6280: 20 22 23 65 6e 64 69 66 20 2f 2a 20 64 65 66 69   "#endif /* defi
6290: 6e 65 64 28 53 51 4c 49 54 45 5f 45 4e 41 42 4c  ned(SQLITE_ENABL
62a0: 45 5f 46 54 53 33 29 20 7c 7c 20 64 65 66 69 6e  E_FTS3) || defin
62b0: 65 64 28 53 51 4c 49 54 45 5f 45 4e 41 42 4c 45  ed(SQLITE_ENABLE
62c0: 5f 46 54 53 34 29 20 2a 2f 22 0a 20 20 70 75 74  _FTS4) */".  put
62d0: 73 20 22 23 65 6e 64 69 66 20 2f 2a 20 21 64 65  s "#endif /* !de
62e0: 66 69 6e 65 64 28 53 51 4c 49 54 45 5f 44 49 53  fined(SQLITE_DIS
62f0: 41 42 4c 45 5f 46 54 53 33 5f 55 4e 49 43 4f 44  ABLE_FTS3_UNICOD
6300: 45 29 20 2a 2f 22 0a 7d 0a                       E) */".}.