Tag: Amazon EBS

Categories
Management @en

Amazon Web Services suffered a 20-hour outage over Christmas

After a rather bumpy 2012 with some heavy outages the cloud infrastructure of the Amazon Web Services again experienced some problems over Christmas. During a 20 hour outage several big customers were affected, including Netflix and Heroku. This time the main problem was Amazons Elastic Load Balancer (ELB).

Region US-East-1 is a very big problem

This outage is the last out of a series of catastrophic failure in Amazon’s US-East Region-1. It is the oldest and most popular region in Amazon’s cloud computing infrastructure. This new outage precisely in US-East-1 raises new questions about the stability of this region and what Amazon has actually learned and actually improved from the past outages. Amazon customer awe.sm had recently expressed criticism of the Amazon cloud and especially on Amazon EBS (Amazon Elastic Block Store) and the services that depend on it.

Amazon Elastic Load Balancer (ELB)

Besides the Amazon Elastic Beanstalk API the Amazon Elastic Load Balancer (ELB) was mainly affected by the outage. Amazon ELB belongs to one of the important services if you try to build a scalable and highly available infrastructure in the Amazon cloud. With ELB users can move loads and capacities between different availability zones (Amazon independent data centers), to ensure availability when it comes to problems in one data center.

Nevertheless: both Amazon Elastic Beanstalk and Amazon ELB rely on Amazon EBS, which is known as the “error prone-backbone of the Amazon Web Services“.

Categories
Management @de

Amazon Web Services mit 20-stündigen Ausfall über Weihnachten

Nach einem eher holprigen Jahr 2012 mit einigen schweren Ausfällen, zeigten sich über Weihnachten erneut Probleme in der Cloud Infrastruktur der Amazon Web Services. Während eines 20-stündigen Ausfalls waren mehrere größere Kunden betroffen, darunter Netflix und Heroku. Das Hauptproblem bestand dieses Mal mit Amazons Elastic Load Balancer (ELB).

Region US-East-1 sehr großes Problemkind

Bei diesem Ausfall handelt es sich um den bisher letzten aus einer Reihe von schweren Ausfällen in Amazons Region US-East-1. Dabei handelt es sich um die älteste und meist genutzte Region in Amazons Cloud Computing Infrastruktur. Dieser erneute Ausfall eben in US-East-1 wirft neue Fragen bzgl. der Stabilität dieser Region auf und was Amazon aus den letzten Ausfällen tatsächlich gelernt und vor allem verbessert hat. Erst kürzlich hatte Amazon Kunde awe.sm Kritik an der Amazon Cloud und hier insbesondere an Amazon EBS (Amazon Elastic Block Store) und den Services die davon abhängig sind geäußert.

Amazon Elastic Load Balancer (ELB)

Von dem Ausfall war neben der Amazon Elastic Beanstalk API hauptsächlich der Amazon Elastic Load Balancer (ELB) betroffen. Dabei gehört Amazon ELB zu einem der wichtigen Services, wenn eine skalierbare und hochverfügbare Infrastruktur innerhalb der Amazon Cloud aufgebaut werden soll. Nutzer können mit dem ELB die Lasten zwischen verschiedenen Availability Zones (unabhängiges Amazon Rechenzentrum) verschieben und damit die Verfügbarkeit sicherstellen, wenn es in einem Rechenzentrum zu Problemen kommt.

Allerdings: Sowohl Amazon Elastic Beanstalk als auch Amazon ELB setzen auf Amazon EBS, welches als das “fehlerhafte Rückgrat der Amazon Web Services gilt“.

Categories
News

Die Amazon Web Services hosten Katalog für Humangenetik in der Cloud

Die Amazon Web Services (AWS) und das U.S. National Institutes of Health (NIH) haben die komplette Datenbank des 1000 Genomes Project als Public Data Set in die Amazon Cloud migriert. Damit haben Wissenschaftler nun ständigen Zugang zu 200 Terabyte an genetischen Daten zur Erforschung von Krankheiten. Ein weiterer idealer Anwendungsfall für Cloud Computing und Big Data.

Die Kooperation, die offiziell während des White House Big Data Summit angekündigt wurde, ermöglicht es Wissenschaftlern kostenlos auf die weltweit größte Sammlung von Daten zur Humangenetik zuzugreifen Bei dem 1000 Genomes Project handelt es sich um ein internationales Forschungsprojekt, das von einem Konsortium bestehend aus 75 Unternehmen und Organisationen koordiniert wird. Das Ziel des Projekts ist die Erstellung des detailreichsten Katalogs von genetischen Variationen bei Menschen.

Dazu hat das Projekt bereits 200 Terabyte an genetischen Daten inkl. DNS Sequenzen von mehr als 1.700 Personen gesammelt, auf die Wissenschaftler nun kostenlos über die AWS Cloud zugreifen können. Das Projekt verfolgt das Ziel die Gene von weltweit über 2.600 Individuen aus 26 Bevölkerungen bereitzustellen. Das 1000 Genomes Project startete 2008 mit ein paar Terabytes an Daten in seine Pilotphase. Bereits 2010 wurde ein kleiner Teil als Public Data Set auf AWS veröffentlicht.

Bei den Amazon Public Data Sets handelt es sich um ein öffentliches zentrales Repository von unterschiedlichen Daten, die auf Amazon S3 und Amazon EBS gespeichert sind. Auf diese Daten kann direkt zugegriffen werden, z.B. über Amazon EC2 oder Amazon EMR (Elastic MapReduce) ohne diese großen Datenmengen auf lokale Server herunterzuladen.

Amazon hat neben dem 1000 Genomes Project ebenfalls Public Data Sets vom NASA Jet Propulsion Laboratory, Langone Medical Center an der New York University, Unilever, Numerate, Sage Bionetworks oder Ion Flux gespeichert.

Die Nutzung der Public Data Sets ist kostenlos. Kosten entstehen für die Verarbeitung der Daten auf der Amazon Cloud wie z.B. Amazon EC2.

In diesem Zusammenhang sehr interessant: Nach der Cloud, wird Amazon auch der Big Data Gigant?

Weiterführende Informationen

Bildquelle: http://www.ige3.unige.ch

Categories
Grundlagen Services @de

Das Konzept des Amazon Elastic Block Store

Der Amazon Elastic Block Store (Amazon EBS) ist eine spezielle Speicherart, die speziell für Amazon EC2 Instanzen konstruiert wurde. Mit Amazon EBS können Volumes erstellt werden, die von Amazon EC2 Instanzen wie externe Geräte eingebunden (gemounted) werden können. Amazon EBS Volumes verhalten sich wie unformatierte externe Block-Devices. Sie können durch den Benutzer benamt werden und stellen eine Block-Device-Schnittstelle bereit. EBS Volumes können mit einem Dateisystem ausgestattet oder wie ein gewöhnliches Block-Device genutzt werden.

Ein AWS Account ist auf 100 EBS Volumes oder in der Summe auf eine Volume Gesamtspeichergröße von 20 Terrabyte begrenzt. Dabei beträgt die maximale Größe eines Volumes 1 Terrabyte. Jedes EBS Volume kann jeder EC2 Instanz innerhalb derselben Verfügbarkeitszone hinzugefügt werden.

Mit Amazon EBS können Snapshots (Backups) der EBS Volumes erstellt und auf Amazon S3 gespeichert werden. Diese Snapshots können als Ausgangspunkt für neue EBS Volumes genutzt werden und schützen die Daten langfristig. Weiterhin können Snapshots mit bestimmten Benutzern geteilt oder öffentlich verfügbar gemacht werden.

Amazon EBS Volumes verfügen über folgende Eigenschaften:

  • Speichern ausserhalb der Instanz
  • Persistenz jenseits der Lebensdauer von Instanzen
  • Hohe Verfügbarkeit und Zuverlässigkeit
  • Hinzufügen und Entfernen der Volumes für bereits ausgeführte Instanzen
  • Darstellung als ein eigenes Gerät innerhalb der Instanz

Amazon EBS Snapshots verfügen über folgende Eigenschaften:

  • Erfassung des aktuellen Zustands eines Volumes
  • Datensicherung
  • Instanziierung neuer Volumes, die den exakten Inhalt eines Snapshots beinhalten

Amazon EBS Anwendungsfälle

Fehlertoleranz

Amazon EBS ist so konstruiert, dass jede Instanz zu einem Speichervolumen hinzugefügt werden kann. Fällt eine Instanz auf Grund eines Fehlers aus, löst sich das EBS Volume automatisch mit den intakten Daten von der Instanz. Anschließend kann das Volume zu einer neuen Instanz hinzugefügt werden und der Wiederherstellungprozess beginnen.

Erklärung

  • 1. Eine Amazon EC2 Instanz ist mit einem EBS Volume verbunden. Die Instanz fällt aus, bzw. Probleme treten auf.
  • 2. Zur Wiederherstellung muss das EBS Volume nun von der Instanz gelöst werden. Das kann auch automatisch durch das EBS Volume erfolgen. Anschließend wird eine neue Instanz gestartet und das Volume dieser neuen Instanz hinzugefügt.
  • 3. Für denn Fall das ein Amazon EBS Volume ausfällt, kann eines neues EBS Volume auf Basis des jüngsten Snapshots des Volumes erstellen, dass ausgefallen ist.

Neue Volumes auf Basis von Snapshots erstellen

Amazon EBS Snapshots ermöglichen den schnellen Einsatz neuer Volumes, indem ein bereits vorhandener Snapshot als Ausgangspunkt für diese neuen Volumes dient.

Erklärung

  • 1. Es wird ein Web-Service mit einer großen Datenmenge verwendet.
  • 2. Wenn die Daten fertig sind, kann ein Snapshot des Volumes in Amazon S3 zur langfristigen Datensicherung gespeichert werden.
  • 3. Wenn der Datenverkehr und Ressourcenverbrauch ansteigt, kann aus dem Snapshot ein neues Volume erstellt, eine neue Instanz gestartet und anschließend dieser neuen Instanz das neue Volume hinzugefügt werden.
  • 4. Wenn sich der Datenverkehr wieder verringert, können eine oder mehrere Amazon EC2 Instanzen heruntergefahren und ihre EBS Volumes gelöscht werden.

Datenpersistenz

EBS Volumes existieren unabhängig von den aktuell vorhandenen Instanzen und bleiben solange vorhanden, bis sie explizit gelöscht werden. Das ermöglicht das Speichern von Daten, ohne dass eine Instanz gestartet sein muss.

Erklärung

  • 1. In regelmäßigen Abständen wird eine Instanz zur Batchverarbeitung von großen und wachsenden Datenmengen ausgeführt.
  • 2. Am Ende der Verarbeitung wird die EC2 Instanz beendet. Das EBS Volume wird aber weiterhin ausgeführt.
  • 3. Werden die Daten das nächste Mal verarbeitet, wird eine neue EC2 Instanz gestartet und dem bereits vorhandenen EBS Volume hinzugefügt.

Auf Basis dieses Vorgehens können die Daten nur mit den Ressourcen auf unbestimmte Zeit verarbeitet und gespeichert werden, die auch tatsächlich benötigt werden.

Root Partition

EBS Volumes können als Root Device (Partition) für Linux und Windows Instanzen verwendet werden. Dadurch besteht die Möglichkeit Root Partitionen mit der Größe von bis zu 1 Terrabyte zu nutzen.

Weiterhin kann das EBS Volume (als Root Partition) von einer anderen Instanz gemounted werden, falls eine Instanz ausfällt.

Die Größe der Partition kann während des Startvorgangs mittels Block Device Mapping geändert werden.

Erklärung

  • 1. Ein vorhandenes AMI ist in Amazon EBS gespeichert. Es Änderungen daran vorgenommen und ein neues AMI erstellt.
  • 2. Falls die Größe der Root Partition nicht mehr ausreicht, wird die Instanz gestoppt und mit einem größeren EBS Volume neu gestartet.
  • 3. Falls eine Instanz ausfallen sollte, wird eine neue Instanz gestartet und die Root Partition (EBS Volume) der ausgefallenen Instanz gemounted.

Große Datenmengen

Amazon EBS bietet größere Volumes als Amazon EC2 Instanzen. Jedes EBS Volume kann bis zu einem Terrabyte groß sein.

Quelle