Obliczanie bieżącego/kosztu skumulowanego instancji punktu EC2

Question

Często uruchamiam instancje dodatkowe w EC2 (dla zadań zadań Hadoop, tymczasowych węzłów itp.). Niektóre z nich są długo działającymi instancjami.

Jest dość łatwy do obliczenia kosztu na żądanie lub zarezerwowanych instancji EC2 - ale jak mogę obliczyć koszt poniesiony dla określonego węzła (lub węzłów), które działają jako instancje dodatkowe?

Mam świadomość, że koszt wystąpienia spotu zmienia się co godzinę w zależności od stopy rynkowej - czy istnieje sposób obliczenia łącznego kosztu całkowitego dla działającej instancji punktu? Przez API lub w inny sposób?

Answer 1

ja ponownie napisany rozwiązanie Suman do współpracy z boto3. Upewnij się, że używasz utctime z zestawem tz !:

def get_spot_instance_pricing(ec2, instance_type, start_time, end_time, zone): 
    result = ec2.describe_spot_price_history(InstanceTypes=[instance_type], StartTime=start_time, EndTime=end_time, AvailabilityZone=zone) 
    assert 'NextToken' not in result or result['NextToken'] == '' 

    total_cost = 0.0 

    total_seconds = (end_time - start_time).total_seconds() 
    total_hours = total_seconds/(60*60) 
    computed_seconds = 0 

    last_time = end_time 
    for price in result["SpotPriceHistory"]: 
     price["SpotPrice"] = float(price["SpotPrice"]) 

     available_seconds = (last_time - price["Timestamp"]).total_seconds() 
     remaining_seconds = total_seconds - computed_seconds 
     used_seconds = min(available_seconds, remaining_seconds) 

     total_cost += (price["SpotPrice"]/(60 * 60)) * used_seconds 
     computed_seconds += used_seconds 

     last_time = price["Timestamp"] 

    # Difference b/w first and last returned times 
    avg_hourly_cost = total_cost/total_hours 
    return avg_hourly_cost, total_cost, total_hours 

Answer 2

OK Znalazłem sposób, aby to zrobić w bibliotece Boto. Ten kod nie jest idealny - Boto nie wydaje się zwracać dokładnego przedziału czasowego, ale uzyskuje historyczne ceny spotowe w mniej więcej zakresie. Poniższy kod wydaje się działać całkiem dobrze. Jeśli ktokolwiek może poprawić to, byłoby wspaniale.

import boto, datetime, time 

# Enter your AWS credentials 
aws_key = "YOUR_AWS_KEY" 
aws_secret = "YOUR_AWS_SECRET" 

# Details of instance & time range you want to find spot prices for 
instanceType = 'm1.xlarge' 
startTime = '2012-07-01T21:14:45.000Z' 
endTime = '2012-07-30T23:14:45.000Z' 
aZ = 'us-east-1c' 

# Some other variables 
maxCost = 0.0 
minTime = float("inf") 
maxTime = 0.0 
totalPrice = 0.0 
oldTimee = 0.0 

# Connect to EC2 
conn = boto.connect_ec2(aws_key, aws_secret) 

# Get prices for instance, AZ and time range 
prices = conn.get_spot_price_history(instance_type=instanceType, 
    start_time=startTime, end_time=endTime, availability_zone=aZ) 

# Output the prices 
print "Historic prices" 
for price in prices: 
    timee = time.mktime(datetime.datetime.strptime(price.timestamp, 
    "%Y-%m-%dT%H:%M:%S.000Z").timetuple()) 
    print "\t" + price.timestamp + " => " + str(price.price) 
    # Get max and min time from results 
    if timee < minTime: 
    minTime = timee 
    if timee > maxTime: 
    maxTime = timee 
    # Get the max cost 
    if price.price > maxCost: 
    maxCost = price.price 
    # Calculate total price 
    if not (oldTimee == 0): 
    totalPrice += (price.price * abs(timee - oldTimee))/3600 
    oldTimee = timee 

# Difference b/w first and last returned times 
timeDiff = maxTime - minTime 

# Output aggregate, average and max results 
print "For: one %s in %s" % (instanceType, aZ) 
print "From: %s to %s" % (startTime, endTime) 
print "\tTotal cost = $" + str(totalPrice) 
print "\tMax hourly cost = $" + str(maxCost) 
print "\tAvg hourly cost = $" + str(totalPrice * 3600/ timeDiff) 

Answer 3

Możesz zasubskrybować kanał danych instancji, aby pobrać opłaty za uruchomione instancje do zasobnika S3. Zainstalować zestaw narzędzi EC2 a następnie uruchomić:

ec2-create-spot-datafeed-subscription -b bucket-to-dump-in 

Uwaga: Można mieć tylko jeden danych subskrypcji paszy dla całego konta.

W około godzinę należy rozpocząć widząc zgzipowanego kartach rozdzielonych plików pojawiają się w wiadrze, które wyglądają mniej więcej tak:

#Version: 1.0 
#Fields: Timestamp UsageType Operation InstanceID MyBidID MyMaxPrice MarketPrice Charge Version 
2013-05-20 14:21:07 UTC SpotUsage:m1.xlarge RunInstances:S0012 i-1870f27d sir-b398b235 0.219 USD 0.052 USD 0.052 USD 1 

Answer 4

Niedawno opracowano mała biblioteka Pythona, który oblicza koszt pojedynczego EMR klastra lub listę klastrów (z podaniem okresu dni).

Uwzględnia także lokalizacje Spot i węzły zadań (które mogą przechodzić w górę i w dół, gdy klaster jest nadal uruchomiony).

W celu obliczenia kosztu używam cenę oferty, która (w wielu przypadkach) może nie być dokładną cenę, która w efekcie płacić za przykład. W zależności od zasad ustalania stawek cena może być jednak wystarczająco dokładna.

można znaleźć kod tutaj: https://github.com/memosstilvi/emr-cost-calculator