Tag: Amazon EC2

Categories
News

Erneute Probleme in der Amazon Cloud – Ausfall bei den Amazon Web Services in North Virginia

Wie GigaOm berichtet, hatten die Amazon Web Services am Donnerstag wieder mit einem Ausfall zu kämpfen, von dem Webseiten und Services wie Quora und HipChat betroffen waren. Zudem soll der Ausfall auch Heroku, einem Ableger von Salesforce, getroffen haben.

Amazon gehört zu den größten Infrastruktur Anbietern von vielen bekannten und mittlerweile sehr populären Services wie Pinterest und Dropbox. Von dem Ausfall waren die AWS Services Amazon EC2 und Amazon RDS betroffen, der in Amazons Rechenzentrum in North Virginia aufgetreten ist. Weitere Services wie ElastiCache und Elastic Beanstalk hatten in North Virginia ebenfalls mit Problemen zu kämpfen. Der Ausfall ist scheinbar auf einen Stromausfall zurückzuführen.

Folgende Informationen konnten über die AWS Status Webseite abgerufen werden:

Amazon EC2

We continue to investigate this issue. We can confirm that there is both impact to volumes and instances in a single AZ in US-EAST-1 Region. We are also experiencing increased error rates and latencies on the EC2 APIs in the US-EAST-1 Region.

9:55 PM PDT We have identified the issue and are currently working to bring effected instances and volumes in the impacted Availability Zone back online. We continue to see increased API error rates and latencies in the US-East-1 Region.

Amazon RDS

9:33 PM PDT Some RDS DB Instances in a single AZ are currently unavailable. We are also experiencing increased error rates and latencies on the RDS APIs in the US-EAST-1 Region. We are investigating the issue.
10:05 PM PDT We have identified the issue and are currently working to bring the Availability Zone back online. At this time no Multi-AZ instances are unavailable.
00:11 AM PDT As a result of the power outage tonight in the US-EAST-1 region, some EBS volumes may have inconsistent data.
01:38 AM PDT Almost all affected EBS volumes have been brought back online. Customers should check the status of their volumes in the console. We are still seeing increased latencies and errors in registering instances with ELBs.

GigaOm hat ebenfalls ein paar Tweets herausgesucht:

Mein Lieblingstweet ist übrigens dieser, der perfekt zu meinem kürzlich verfassten Artikel “Amazon Web Services – Das Mekka der Startups! Aber reicht das wirklich aus?” passt und meine Ansicht bestätigt:

Nicht der erste Ausfall in der Geschichte der Amazon Web Services

Dieser Ausfall ist nicht der Erste in der Geschichte der Amazon Web Services. Erinnern wir uns an Ostern 2011 und einem kurzen Ausfall im März 2012. Ihre solltet also aus solchen Situationen lernen und nicht alle Eier in ein Nest legen, sondern die kritischen Daten breit verteilen. Am besten über mehrere Anbieter hinweg.

Dennoch stehe ich weiter hinter meiner Aussage, dass solche Ausfälle nur so extrem an die Öffentlichkeit geraten, da Cloud Anbieter nun einmal in der Öffentlichkeit stehen und Millionen von Augen ausgesetzt sind. Wie viele privat betriebene Rechenzentren haben wohl heute ein Problem gehabt, was meint ihr?

Bildquelle: http://www.loggly.com

Categories
News

Amazon Spot Instanzen unterstützen nun Auto Scaling und CloudFormation

Die Amazon EC2 Spot Instances können nun auch zusammen mit dem Auto Scaling und der AWS CloudFormation genutzt werden. Das schreibt AWS auf seinem Unternehmensblog. Weiterhin stehen neue Code Beispiele bereit, mit denen gezeigt wird, wie die Amazon SNS genutzt werden können, um sich über Änderungen an den Spot Instance Preisen informieren zu lassen.

Amazon Spot Instances unterstützen nun Auto Scaling und CloudFormation

Auto Scaling mit Spot Instances

Anhand der Auto Scaling Funktion lässt sich jetzt auch die Anzahl der EC2 Spot Instances bei Bedarf automatisch skalieren. Mit Spot Instances bietet ein Kunde auf ungenutzte Amazon EC2 Kapazitäten. Dazu teilt man Amazon mit, welche EC2 Instanz man gerne haben möchte und was man bereit ist dafür zu bezahlen. Anhand von Angebot und Nachfrage wird ein Spot-Preis ermittelt.

AWS CloudFormation mit Spot Instances

EC2 Spot Instances lassen sich zudem nun auch über AWS CloudFormation Templates bereitstellen. Dazu stellt AWS entsprechend drei neue CloudFormation Templates zur Verfügung, um den Einstieg zu vereinfachen. Diese Templates beinhalten bspw. ein Template für die Verwaltung der asynchronen Verarbeitung mit Amazon SQS und Auto Scaling, ein Template für den Lasttest von Webseiten zusammen mit “Bees with Machine Guns” und Auto Scaling sowie einem Template für das Grid Computing in Verbindung mit StarCluster.

Neue Code Beispiele für Amazon SNS

Mit einem neuen Code Beispiel werden zudem nun Möglichkeiten gezeigt, wie man Amazon SNS Benachrichtigungen erstellen und verwalten kann, wenn sich der Status von Amazon EC2 Spot Instanzen oder der Preis von Spot Instanzen in einer bestimmten Region ändert.

Categories
Management @de

Weitere US Behörde nutzt Cloud Computing um die Verfügbarkeit ihrer Anwendungen zu erhöhen

Der National Resource Conservation Service (NRCS), eine Behörde der United States Department of Agriculture (USDA), ist für die Überwachung, Kontrolle und Erhaltung der natürlichen Ressourcen zuständig und hilft Bauern und Viehzüchter in kritischen Situationen. Dazu nutzt die Behörde über 100 wissenschaftliche Modelle, die jeder der ca. 12.500 Mitarbeiter in über 2000 Büros über die USA verteilt nutzen kann. Zudem müssen die Mitarbeiter im Außeneinsatz ebenfalls auf ihre Anwendungen zugreifen, um live vor Ort mit den Bauern mögliche Situationen zu modellieren.

Jedoch bemerkte die NRCS das die Kosten mit der Zeit stetig zunahmen und die Komplexität der Systeme anstieg. Im Jahr 2009 machte die Behörde erste Schritte in Richtung Cloud Computing, mit dem Ziel, ihre Ressourcen zu zentralisieren, Kosten zu sparen und für eine höher skalierbare und flexible IT-Infrastruktur für sich selbst und den zahlreichen Außenmitarbeitern zu sorgen. Dazu musste die NRCS einen Weg finden, ihre Legacy Anwendungen in die Cloud zu migrieren und entwickelte in diesem Zug die Cloud Services Innovation Platform (CSIP).

CSIP wurde entwickelt, um die bestehenden Anwendungen zur wissenschaftlichen Modellierung auf eine Amazon EC2 kompatible IaaS Cloud Umgebung migrieren zu können. Eine der wichtigsten Komponenten ist die Fähigkeit, eine vorhandene Umgebung in einen Webservice zu transformieren, um diesen so in der Cloud laufen zu lassen. Darüber hinaus hielt die Behörde die Kompatibilität von Open Source Infrastrukturen zu kommerziellen Cloud Umgebungen für essentiell wichtig, da genau diese Kompatibilität dazu führt, das die Produktivsysteme im Bedarfsfall auf beiden Infrastrukturen laufen können.

Der Testlauf des neuen NRCS Frameworks fand innerhalb einer Private Cloud auf Basis der Open Source Cloud Infrastruktur Software Eucalyptus statt. Damit konnte die Behörde sicherstellen, dass ihre wissenschaftlichen Anwendungen als Webservice über eine Cloud bereitgestellt werden können, wodurch die Außendienstler nun in der Lage sind, via Mobiltelefon Antworten auf spezifische Fragen aus den eigenen Systemen zu erhalten.

Die Behörde sieht zwei entscheidende Kriterien für den Erfolg des Projekts. Zum einen konnten die rechenintensiven Anwendungen innerhalb einer Woche auf der Open Source Cloud Infrastruktur entwickelt werden und dann auf die Umgebung eines Public Cloud Anbieter verschoben werden. Zum anderen sorgte die Lösung für erhebliche Kosteneinsparungen.

Bildquelle: http://www.scotmas.com/

Categories
News

AWS veröffentlicht VM Export Service für Amazon EC2

Mit dem AWS VM Import Service ermöglichen die Amazon Web Service den Import unterschiedlicher Virtual Machine Formate nach Amazon EC2, um damit virtualisierte On-Premise Ressourcen in die Amazon Cloud zu migrieren. Wie Jeff Barr auf dem Unternehmensblog berichtet, wurde der Service nun so erweitert, um virtuelle Maschinen von Amazon EC2 in die eigene On-Premise Umgebung zu exportieren.

AWS veröffentlicht VM Export Service für Amazon EC2

Diese Funktion steht mit der neuesten Version der EC2 command line (API) Tools bereit. Ein Export könnte bspw. so aussehen:

ec2-create-instance-export-task –e vmware -b NAME-OF-S3-BUCKET INSTANCE-ID

Hier wird die Instanz ID und der Name eines S3 Buckets benötigt, in dem die exportierte VM gespeichert wird.

Mit dem Befehl ec2-describe-export-tasks kann der Export Prozess überwacht und mit ec2-cancel-export-task gestoppt werden.

Ist der Exportvorgang abgeschlossen, muss das exportierte Image lediglich in die lokale On-Premise Umgebung heruntergeladen werden.

Der Service unterstützt derzeit den Export von Windows Server 2003 (R2) und Windows Server 2008 EC2 Instanzen in das VMware ESX kompatible VMDK Format sowie nach Microsoft Hyper-V VHD oder Citrix Xen VHD Images. Zudem plant AWS in Zukunft weitere Betriebssysteme, Image Formate und Virtualisierungstechnologien zu unterstützen.

Categories
News

Die Amazon Web Services hosten Katalog für Humangenetik in der Cloud

Die Amazon Web Services (AWS) und das U.S. National Institutes of Health (NIH) haben die komplette Datenbank des 1000 Genomes Project als Public Data Set in die Amazon Cloud migriert. Damit haben Wissenschaftler nun ständigen Zugang zu 200 Terabyte an genetischen Daten zur Erforschung von Krankheiten. Ein weiterer idealer Anwendungsfall für Cloud Computing und Big Data.

Die Kooperation, die offiziell während des White House Big Data Summit angekündigt wurde, ermöglicht es Wissenschaftlern kostenlos auf die weltweit größte Sammlung von Daten zur Humangenetik zuzugreifen Bei dem 1000 Genomes Project handelt es sich um ein internationales Forschungsprojekt, das von einem Konsortium bestehend aus 75 Unternehmen und Organisationen koordiniert wird. Das Ziel des Projekts ist die Erstellung des detailreichsten Katalogs von genetischen Variationen bei Menschen.

Dazu hat das Projekt bereits 200 Terabyte an genetischen Daten inkl. DNS Sequenzen von mehr als 1.700 Personen gesammelt, auf die Wissenschaftler nun kostenlos über die AWS Cloud zugreifen können. Das Projekt verfolgt das Ziel die Gene von weltweit über 2.600 Individuen aus 26 Bevölkerungen bereitzustellen. Das 1000 Genomes Project startete 2008 mit ein paar Terabytes an Daten in seine Pilotphase. Bereits 2010 wurde ein kleiner Teil als Public Data Set auf AWS veröffentlicht.

Bei den Amazon Public Data Sets handelt es sich um ein öffentliches zentrales Repository von unterschiedlichen Daten, die auf Amazon S3 und Amazon EBS gespeichert sind. Auf diese Daten kann direkt zugegriffen werden, z.B. über Amazon EC2 oder Amazon EMR (Elastic MapReduce) ohne diese großen Datenmengen auf lokale Server herunterzuladen.

Amazon hat neben dem 1000 Genomes Project ebenfalls Public Data Sets vom NASA Jet Propulsion Laboratory, Langone Medical Center an der New York University, Unilever, Numerate, Sage Bionetworks oder Ion Flux gespeichert.

Die Nutzung der Public Data Sets ist kostenlos. Kosten entstehen für die Verarbeitung der Daten auf der Amazon Cloud wie z.B. Amazon EC2.

In diesem Zusammenhang sehr interessant: Nach der Cloud, wird Amazon auch der Big Data Gigant?

Weiterführende Informationen

Bildquelle: http://www.ige3.unige.ch

Categories
Analysen

Red Hat OpenShift – Ein Blick hinter die Kulissen

Red Hat gehört zweifelsohne zu den bekannten Unternehmen die Plattformen in ihrem Portfolio haben. Zudem haben sie es geschafft das Open Source Konzept in ein rentables Business Model zu überführen. Mit der damaligen Akquisition von JBoss wurde der Weg in den lukrativen Markt der Middleware und Application-Server geebnet. In der Szene gilt der JBoss darüber hinaus zu den Entwickler freundlichen J2EE Application-Server.

RedHat: Von Open-Source zur Open-Cloud

Red Hats Cloud Strategie hat sich mit der Zeit entwickelt. Begonnen hat alles mit der klassischen Virtualisierung basierend auf KVM gefolgt von Red Hat MRG, mit dem Messaging-, Realtime- und Grid-Technologien für Unternehmen angeboten werden. Mit CloudForms erschien dann der erste vollständige IaaS Stack zum Aufbau einer Private Cloud, die im direkten Wettbewerb zu VMware und Microsoft Hyper-V steht. Somit hatet RedHat alle notwendigen Komponenten zusammen, um eine PaaS Angebot zu veröffentlichen: Virtualisierung auf Basis von KVM, Self Service und Private Cloud Möglichkeiten anhand von CloudForms sowie Application Services via JBoss.

Red Hat hat erkannt, dass wenn es im PaaS Bereich erfolgreich sein will, ein mehrsprachiges Angebot in den Markt bringen muss. Die Stärke von Red Hat besteht, unterstützt durch JBoss, in der Java EE Plattform. Durch die Akquisition von Makara wurde ein PaaS Anbieter gekauft, der sich auf PHP und Python Umgebungen spezialisiert hat. Ein kluger Schachzug, da Makara um Java EE erweitert werden konnte, um damit ein PaaS Angebot für Unternehmen anzubieten. Im May 2011 wurde mit OpenShift dann endgültig ein PaaS für Unternehmen veröffentlicht.

OpenShift gibt es in zwei unterschiedlichen Varianten: Express und Flex.

OpenShift Express ist ein kostenloses Angebot für Entwickler, dass zwar über keine graphische Managementoberfläche verfügt, aber eine Reihe von Sprachen wie Java, Perl, PHP, Python und Ruby unterstützt. Die Anwendungen werden in einer Shared-Umgebung betrieben und können über diverse Kommandozeilentools deployed werden. Die Möglichkeiten die einem Entwickler zur Verfügung stehen sind recht umfangreich. OpenShift Express unterstützt neben GIT Deployments eine gute Auswahl an Sprachen und Datenbanken.

OpenShift Flex läuft auf Amazon EC2 und benötigt die AWS Anmeldedaten, um Deployments von Anwendungen vorzunehmen. Während der 30 tägigen Probezeit werden die AWS Anmeldaten nicht benötigt und ermöglichen für diesen Zeitraum die kostenlosen Nutzung. OpenShift Flex ist für Unternehmen und Anwendungen mit einer Hochverfügbarkeit gedacht. Dazu werden neben dem JBoss Application Server ebenfalls der Apache Web Server, Apache Tomcat, MySQL, PHP, Zend Framework, Java, Memcached, Membase, Infinispan, MRG Messaging und MongoDB unterstützt. Die Architektur von OpenShift Flex wurde für Cloud Skeptiker entwickelt. Das bedeutet, das Flex technisch auf mehreren Public Cloud Anbietern und ebenfalls innerhalb eines eigenen Private PaaS eingesetzt werden kann.

Categories
News

openQRM integriert Ubuntu Enterprise Cloud, Amazon EC2 und Eucalyptus

Gesponsert durch die openQRM Enterprise, veröffentlicht das openQRM project ein neues Plugin, das Hybrid Cloud Computing ermöglicht.

Mit dem Plugin erhalten openQRM Nutzer nun die Möglichkeit, ihre selbst verwalteten Systeme transparent und vollautomatisiert zwischen Private und Public Clouds zu migrieren. Das Importieren bereits vorhandener Cloud Instanzen aus der Ubuntu Enterprise Cloud (UEC), Amazon EC2 oder Eucalyptus kann damit ohne großen Aufwand erfolgen. Dasselbe gilt ebenso für den Export der Systeme aus der openQRM Cloud heraus. Cloud Transparenz! Über die graphische Web Oberfläche können alle dafür benötigten Schritte der Migration durchgeführt werden. Damit können dem eigenen Rechenzentrum nach Bedarf externe Ressourcen von Public Cloud Anbietern hinzugefügt werden.

Durch die Nutzung einer agilen Privat zu Public oder Public zu Private Migration, kann damit kontrolliert werden, welche Daten und Dienste in einem sicheren Bereich bereitgestellt werden sollen. Somit können sensible Systeme innerhalb des eigenen Rechenzentrums betrieben und alle weiteren ressourcenintensiven Systeme zu Cloud Anbietern verlagert werden.

Ein Überblick über die neuen Funktionen zeigt das Video am Ende dieses Artikels.

Für alle die einen tieferen Einblick in eine Hybrid Cloud Lösung haben möchten, stellt openQRM Enterprise ein detailliert beschriebenes How to auf ihren Webseiten zur Verfügung. Dieses kann hier heruntergeladen werden.

Das Plugin steht bereits auf der Seite des openQRM project unter http://sourceforge.net/projects/openqrm zum Download bereit.

Categories
Grundlagen Services @de

Was bei der Nutzung von EC2 Instanzen zu beachten ist

Nachdem eine AMI gestartet wurde steht eine sogenannte Instanz bereit, die sich im Status “running” befindet. Eine Instanz die zentrale Komponente, wenn es darum geht, in der Amazon Cloud Daten zu verarbeiten. Dazu stellt Amazon mehrere unterschiedliche Instanz Typen für unterschiedliche Einsatzszenarien zur Verfügung.

Für die bestmögliche Nutzung von Amazon EC2 Instanzen sollten folgende Hinweise beachtet werden:

  • Wichtige und langfristig benötigte Daten sollten nicht auf dem lokalen Instanzspeicher abgelegt werden.
    Wenn eine Instanz ausfallen sollte, sind die Daten auf dem lokalen Speicher nicht mehr vorhanden. Das kann umgangen werden, indem eine Replikationsstrategie angewendet wird, bei der die Daten über mehrere Instanzen repliziert werden. Weiterhin kann Amazon S3 oder Amazon EBS für das dauerhafte Speichern von Daten verwendet werden.
  • Erstellen von Images die regelmäßig für eine bestimmte Aufgabe benötigt werden.
    Für den Einsatz von Web Anwendungen wird z.B. ein Image für Datenbank Instanzen und ein weiteres für Web Server Instanzen erstellt.
  • Überwachen des Zustands der Instanzen
    Das kann z.B. mit Amazon CloudWatch vorgenommen werden.
  • Die Firewall Regeln von Amazon EC2 sollten so restriktiv wie möglich sein.
    Es sollten zunächst nur die Berechtigungen vergeben werden, die auch tatsächlich benötigt werden. Weiterhin sollten für alle Instanzen mit unterschiedlichen Sicherheitsanforderungen separate Security Groups erstellt werden. Es sollten ggf. zusätzliche Sicherheitsmaßnahmen innerhalb einer Instanz getroffen werden, z.B. der Einsatz der eigenen Firewall. Für den SSH Zugriff auf eine bestimmte Instanz sollte eine Bastion Group erstellt werden, die ausschließlich einen externen Login erlaubt. Alle weiteren Instanzen sollten einer Security Group zugewiesen werden die einen externen Login verbietet.

Quelle

Categories
Tutorials @de

Virtuelle Maschinen für Amazon EC2 mit dem VMBuilder erstellen

Dieses Tutorial beschreibt wie ein offizielles Amazon EC2 Image mit dem VMBuilder deployed wird.

Installation

Installation auf Karmic Koala (9.10) und späteren Versionen

Für alle Ubuntu Versionen ab Karmic Koala (9.10) sind fertige Pakete vorhanden.

Continue reading “Virtuelle Maschinen für Amazon EC2 mit dem VMBuilder erstellen”
Categories
Services @de

Amazon stellt Cluster Compute Instanzen für Amazon EC2 bereit

Amazon gibt mit dem heutigen Tag einen neuen Instanz Typ für ihre Amazon Elastic Compute Cloud (EC2) bekannt. Dabei handelt es sich um einen Typ, der speziell für Anwendungen aus dem High-Performance Computing (HPC) konzipiert wurde. Damit haben Nutzer von Amazon EC2 nun die Möglichkeit, eine große Menge von komplexen Daten und rechenintensiven Aufgaben, die eine hohe Auslastung bedeuten, wie z.B. Finanzdienstleistungen, zu verarbeiten.

Der Vorteil der Cluster Compute Instanzen besteht darin, dass diese so entwickelt wurden, deutlich mehr Rechenleistung als die bisherigen Amazon EC2 Instanz Typen bereitzustellen. Weiterhin können Cluster Compute Instanzen in Cluster gruppiert werden, wodurch Anwendungen von der geringeren Netzwerklatenz und der höheren Performanz zwischen den einzelnen Nodes, durch eine bessere und schnellere Kommunikation, profitieren.

Jede Cluster Compute Instanz besteht aus einem Paar von Quad-Core Intel “Nehalem” X5570 Prozessoren, mit einer maximalen Anzahl von 33,5 ECU (EC2 Compute Units), 23 GB RAM und 1690 GB lokalen Instanzspeicher. Der Preis beträgt $1.60 pro Stunde.

Die EC2 API, die Kommandozeilen Tools, sowie die AWS Management Console wurden bereits aktualisiert, um das Erstellen von Cluster Gruppen zu erstellen.

Die folgenden Befehle erstellen eine Placement Group mit dem Namen biocluster. Anschließend werden 8 Cluster Compute Instanzen innerhalb dieser Gruppe gestartet.

$ ec2-create-placement-group biocluster -s cluster

$ ec2-run-instances ami-2de43f55 --type cc1.4xlarge --placement-group biocluster -n 8