Jak przesłać wiele plików w tym samym czasie do plików w chmurze za pomocą Pythona?

Question

Używam cloudfile module przesyłanie plików do plików Rackspace chmurze, używając coś takiego Pseudokod:

import cloudfiles 

username = '---' 
api_key = '---' 

conn = cloudfiles.get_connection(username, api_key) 
testcontainer = conn.create_container('test') 

for f in get_filenames(): 
    obj = testcontainer.create_object(f) 
    obj.load_from_filename(f) 

Mój problem jest, że mam dużo małych plików do przesłania, a to trwa zbyt długo w ten sposób .

Pochowany w dokumentacji, widzę, że istnieje klasa ConnectionPool, która podobno może być używana do przesyłania plików w równych odstępach.

Czy ktoś mógłby pokazać, w jaki sposób mogę przesłać ten fragment kodu więcej niż jednego pliku naraz?

Answer 1

Klasa ConnectionPool jest przeznaczona do aplikacji wielowątkowej, która czasami musi wysłać coś do rackspace.

W ten sposób możesz ponownie wykorzystać połączenie, ale nie musisz utrzymywać 100 połączeń otwartych, jeśli masz 100 wątków.

Po prostu szukasz narzędzia do przesyłania wielowątkowego/wieloprocesowego. Oto przykład przy użyciu biblioteki multiprocessing:

import cloudfiles 
import multiprocessing 

USERNAME = '---' 
API_KEY = '---' 


def get_container(): 
    conn = cloudfiles.get_connection(USERNAME, API_KEY) 
    testcontainer = conn.create_container('test') 
    return testcontainer 

def uploader(filenames): 
    '''Worker process to upload the given files''' 
    container = get_container() 

    # Keep going till you reach STOP 
    for filename in iter(filenames.get, 'STOP'): 
     # Create the object and upload 
     obj = container.create_object(filename) 
     obj.load_from_filename(filename) 

def main(): 
    NUMBER_OF_PROCESSES = 16 

    # Add your filenames to this queue 
    filenames = multiprocessing.Queue() 

    # Start worker processes 
    for i in range(NUMBER_OF_PROCESSES): 
     multiprocessing.Process(target=uploader, args=(filenames,)).start() 

    # You can keep adding tasks until you add STOP 
    filenames.put('some filename') 

    # Stop all child processes 
    for i in range(NUMBER_OF_PROCESSES): 
     filenames.put('STOP') 

if __name__ == '__main__': 
    multiprocessing.freeze_support() 
    main()