Jak policzyć liczbę unikalnych znaków w pliku?

Question

Biorąc pod uwagę plik w formacie UTF-8, zawierający znaki w różnych językach, w jaki sposób mogę uzyskać liczbę unikalnych znaków, które zawiera, z wyłączeniem wybranej liczby symboli (np. "!", "@", " # ",". ") z tej liczby?

Answer 1

Korzystanie z Perl jedno-liner:

echo -e "aba\ncfg!ഡ.#g" | perl -C7 -ne 'for(split(//)){if ($_ !~ /[!@#.]/) { print $_."\n"}}' | sort | uniq | wc -l 

WYJŚCIE7

Jeśli chcesz ignorować przełamane:

echo -e "aba\ncfg!ഡ.#g" | perl -C7 -ne 'for(split(//)){if ($_ !~ /[!@#.\n]/) { print $_."\n"}}' | sort | uniq | wc -l 

WYJŚCIE6

Answer 2

W Pythonie:

import itertools, codecs 

predicate = set('!@#.').__contains__ 
unique_char_count = len(set(itertools.ifilterfalse(
         predicate, itertools.chain.from_iterable(codecs.open(filename, encoding="UTF-8"))))) 

Kiedy iteracyjne nad plikiem, można uzyskać linie. chain łączy je razem, więc powtarzając nad nim, otrzymujesz postacie. ifilterfalse eliminuje znaki, które spełniają warunek, z warunkiem zdefiniowanym jako członkostwo w zbiorze niedozwolonych znaków.

Bez itertools:

import codecs 
disallowed = set('!@#.') 
unique_char_count = len(set(char for line in codecs.open(filename, encoding="UTF-8") for char in line 
           if char not in disallowed)) 

Korzystanie zestaw operacji:

import codecs 
unique = set() 
any(unique.update(line) for line in codecs.open(filename, encoding="UTF-8")) 
unique.difference_update('!@#.') 
unique_char_count = len(unique) 

Answer 3

Oto rozwiązanie bash. :)

bash$ perl -CSD -ne 'BEGIN { $s{$_}++ for split //, q(!@#.) } 
        $s{$_}++ || $c++ for split //; 
        END { print "$c\n" }' *.utf8 

Answer 4

będę po prostu rzucić w moim języku nie-wymagane opcją na dokładkę:

sed 's/[!@#.]//g' /path/to/file | sed 's/./\0\n/g' | sort -u | wc -l 

Answer 5

Wpisz zestawy w Pythonie. powiedzmy chcesz dowiedzieć się unikalne znaki w pliku url.txt

f=open('url.txt') 
a='' 
for x in f: 
    x=x.split(' ') 
    for y in x: 
    a+=y 
unique=set(a)-set('@!#.') #add the characters that you wanna neglect in the second set 
print(unique) 
print('unique characters : ',len(unique)) 

powiedzmy URL.TXT zawiera:

Google --! google.com --! coolest search engine 

facebook --! facebook.com --! biggest social network 

yahoo --! yahoo.com --! biggest web portal 

wyjściowy będzie:

{'a', 'G', 'm', '\n', 'n', 'c', 'b', 'e', 'g', 'f', 'i', 'h', 'k', '-', 'l', 'o', 'p', 's', 'r', 't', 'w', 'y'} 
unique characters : 22 

Answer 6

jednym alternatywnym:

filename='/somewhere/my-file-in-utf8' 

iconv -f UTF8 -t UTF16 $filename | tail -c +3 | \ 
perl -pi -e "s/\x00\@//g; s/\x00\!//g; s/\x00\#//g; s/\x00\.//g;" | \ 
od | cut -b 8- | xargs -n 1 | sort | uniq | wc -l 

Answer 7

rubin, wykorzystujące zestawy:

require 'set' 
string = 'ababbbababbabcdcccdbbaaba' 
ignore = 'c' 
(Set.new(string.chars) - Set.new(ignore.chars)).count 
# => 3 

• string jest ciąg wejściowy
• ignore jest ciągiem z postaciami ignorować
• string.chars znajduje się lista znaków w ciąg
• Set.new Tworzy zestaw z niego
• - daje różnicę między dwoma zestawami
• count jest liczba elementów w wynikowa

Answer 8

Innym rubin pierwszy:

#encoding: utf-8 
string = '@étude#@étude ฒณ!' 
ignore = '!@#.' 
p string.chars.to_a.uniq.join.delete(ignore).size #=>8 

Answer 9

Zrobiłem to w python po 3 godzinach badań, ale zrobiłem to

fname = "temp.txt" 
num_lines = 0 
num_words = 0 
num_chars = 0 
num_uniq = 0 
a = [] 
exclude = ",.@#$" 
with open(fname, 'r') as f: 
    for line in f: 
     words = line.split() 
     for word in words: 
       char = list(word) 
       a = a + char 
     num_lines += 1 
     num_words += len(words) 
     num_chars += len(line) 
print "Lines:%s\nWords:%s\nChars:%s" % (num_lines, num_words, num_chars) 
num_uniq = len(set(a)-set(exclude)) 
print "Unique Characters:%d" % (num_uniq) 

tutaj jest wyjście

Lines:6 
Words:74 
Chars:385 
Unique Characters:26