Python: Czytanie wszystkich plików we wszystkich katalogach

Question

Mam kod działający na odczyt wartości pojedynczego pliku tekstowego, ale mam trudności z odczytaniem wszystkich plików ze wszystkich katalogów i ze złożeniem całej zawartości.

Oto co mam:

filename = '*' 
filesuffix = '*' 
location = os.path.join('Test', filename + "." + filesuffix) 
Document = filename 
thedictionary = {} 
with open(location) as f: 
file_contents = f.read().lower().split(' ') # split line on spaces to make a list 
for position, item in enumerate(file_contents): 
    if item in thedictionary: 
     thedictionary[item].append(position) 
    else: 
     thedictionary[item] = [position] 
wordlist = (thedictionary, Document) 
#print wordlist 
#print thedictionary 

wiadomości, że staram się trzymać w wieloznacznego * do nazwy pliku, jak również zamiennika dla filesuffix. Pojawia się następujący błąd:

„IOError: [ERRNO 2] Nie ma takiego pliku lub katalogu:« Test/»”

Nie jestem pewien, czy jest to jeszcze właściwy sposób to zrobić, ale wygląda na to, że jeśli w jakiś sposób uruchomię znaki kontrolne - to powinno działać.

Dostałem ten przykład do pracy: Python - reading files from directory file not found in subdirectory (which is there)

który jest trochę inaczej - ale nie wiem, jak zaktualizować go czytać wszystkie pliki. Myślę, że w tym pierwszym zestawie kodu:

previous_dir = os.getcwd() 
os.chdir('testfilefolder') 
#add something here? 
for filename in os.listdir('.'): 

Że muszę dodać coś gdzie mam zewnętrznej dla pętli, ale nie bardzo wiem, co umieścić w nim ..

Any myśli?

Dzięki dużo,

Brian

Answer 1

Python nie obsługuje symboli wieloznacznych w nazwach plików bezpośrednio na wezwanie open(). Będziesz potrzebował użyć glob module, aby załadować pliki z jednego poziomu podkatalogów lub użyć os.walk() do przechodzenia w dowolną strukturę katalogów.

Otwieranie wszystkich plików tekstowych we wszystkich podkatalogów, głębokie o jeden poziom:

import glob 

for filename in glob.iglob(os.path.join('Test', '*', '*.txt')): 
    with open(filename) as f: 
     # one file open, handle it, next loop will present you with a new file. 

Otwieranie wszystkich plików tekstowych w dowolnej zagnieżdżenia katalogów:

import os 
import fnmatch 

for dirpath, dirs, files in os.walk('Test'): 
    for filename in fnmatch.filter(files, '*.txt'): 
     with open(os.path.join(dirpath, filename)): 
      # one file open, handle it, next loop will present you with a new file.