Używanie JavaScript do obcinania tekstu do określonego rozmiaru (8 KB)

Question

Korzystam z interfejsu API Zemanta, który akceptuje do 8 KB tekstu na połączenie. Wyodrębniam tekst do wysłania do Zemanta ze stron internetowych przy użyciu JavaScript, więc szukam funkcji, która obetnie mój tekst dokładnie o 8 KB.

Zemanta powinien sam wykonać to obcięcie (tj. Jeśli wyślesz większy ciąg), ale muszę trochę przesunąć ten tekst, zanim wykonam wywołanie API, więc chcę zachować ładowność tak małą jak możliwy.

Czy można bezpiecznie założyć, że 8 KB tekstu ma 8192 znaków i odpowiednio przyciąć? (1 bajt na znak, 1024 znaki na KB, 8 KB = 8 192 bajty/znaki) Czy jest to niedokładne lub prawdziwe tylko w niektórych okolicznościach?

Czy istnieje bardziej elegancki sposób obcięcia ciągu na podstawie jego rzeczywistego rozmiaru pliku?

Answer 1

Jeśli używasz kodowania jednobajtowego, tak, 8192 znaki = 8192 bajtów. Jeśli używasz UTF-16, 8192 znaki (*) = 4096 bajtów.

(właściwie 8192 code-punkty, co jest nieco inna rzecz w obliczu surogatów, ale niech nie martwić, że ponieważ JavaScript nie robi.)

Jeśli używasz UTF-8, nie ma szybkie trik można wykorzystać do realizacji UTF-8 koder/dekoder w JS z minimalnym kodu:

function toBytesUTF8(chars) { 
    return unescape(encodeURIComponent(chars)); 
} 
function fromBytesUTF8(bytes) { 
    return decodeURIComponent(escape(bytes)); 
} 

teraz można obciąć z:

function truncateByBytesUTF8(chars, n) { 
    var bytes= toBytesUTF8(chars).substring(0, n); 
    while (true) { 
     try { 
      return fromBytesUTF8(bytes); 
     } catch(e) {}; 
     bytes= bytes.substring(0, bytes.length-1); 
    } 
} 

(powodem try-c atch jest, że jeśli skasujesz bajty w środku wielobajtowej sekwencji znaków, otrzymasz niepoprawny strumień UTF-8, a decodeURIComponent złoży skargę.)

Jeśli jest to inne kodowanie wielobajtowe, takie jak Shift-JIS lub Big5, jesteś sam.

Answer 2

Nie można założyć, że 8 KB tekstu ma 8192 znaki, ponieważ w niektórych kodowaniach znaków każda postać zajmuje multiple bytes.

Jeśli czytasz dane z plików, czy nie możesz pobrać pliku? Lub przeczytać w fragmentach 8KB?

Answer 3

Jak mówi Dominic, kodowanie znaków jest problemem - jednak jeśli potrafisz albo naprawdę upewnij się, że poradzisz sobie tylko z 8-bitowymi znakami (mało prawdopodobne, ale możliwe) lub zakładasz 16-bitowe znaki i ogranicz się do połowy dostępne miejsce, czyli 4096 znaków, wtedy możesz spróbować.

To zły pomysł, aby polegać na JS, ponieważ można go w prosty sposób zmodyfikować lub zignorować, a na przykład w przypadku komplikacji znaków escape i kodowania. Lepiej używać JS jako filtra pierwszej szansy i używać dowolnego dostępnego języka po stronie serwera (który również otworzy kompresję).