Jak sprawić, aby Python powodował, że wszystkie identyczne ciągi używały tej samej pamięci?

Question

Powiel możliwe:
What does python intern do, and when should it be used?

Pracuję z programu w Pythonie, który musi korelować na tablicy z milionami obiektów smyczkowych. Odkryłem, że jeśli wszystkie pochodzą z tego samego cytowanego ciągu, każdy dodatkowy "ciąg" jest po prostu odniesieniem do pierwszego, głównego ciągu. Jednak jeśli łańcuchy są odczytywane z pliku, a wszystkie łańcuchy są równe, to każdy z nich wymaga nowego przydziału pamięci.

Oznacza to, że zajmuje to około 14meg przechowywania:

a = ["foo" for a in range(0,1000000)] 

Choć wymaga to więcej niż 65meg przechowywania:

a = ["foo".replace("o","1") for a in range(0,1000000)] 

Teraz mogę uczynić pamięć wziąć dużo mniej miejsca z tym:

s = {"f11":"f11"} 
a = [s["foo".replace("o","1")] for a in range(0,1000000)] 

Ale to wydaje się głupie. Czy istnieje prostszy sposób na zrobienie tego?

Answer 1

prostu zrobić intern(), który mówi Pythona do przechowywania i podjąć ciąg z pamięci:

a = [intern("foo".replace("o","1")) for a in range(0,1000000)] 

Wynika to również około 18MB, tak samo jak w pierwszym przykładzie.

Należy również zwrócić uwagę na poniższy komentarz, jeśli używasz python3. Thx @Abe Karplus

Answer 2

można spróbować coś takiego:

strs=["this is string1","this is string2","this is string1","this is string2", 
     "this is string3","this is string4","this is string5","this is string1", 
     "this is string5"] 
new_strs=[] 
for x in strs: 
    if x in new_strs: 
     new_strs.append(new_strs[new_strs.index(x)]) #find the index of the string 
                #and instead of appending the 
               #string itself, append it's reference. 
    else: 
     new_strs.append(x) 

print [id(y) for y in new_strs] 

strun, które są identyczne będą mieć taką samą id()

wyjściowe:

[18632400, 18632160, 18632400, 18632160, 18651400, 18651440, 18651360, 18632400, 18651360] 

Answer 3

Prowadzenie słownika widzianych strun powinna praca

new_strs = [] 
str_record = {} 
for x in strs: 
    if x not in str_record: 
     str_record[x] = x 
    new_strs.append(str_record[x]) 

(niesprawdzone.)