Categories
Literatur

Dissertation: "Scalable Cluster Technologies for Mission-Critical Enterprise Computing" von Dr. Werner Vogels

Die Dissertation “Scalable Cluster Technologies for Mission-Critical Enterprise Computing” von Dr. Werner Vogels gehört zu den grundlegenden Forschungsarbeiten des Cloud Computing. Ein Blick auf die Infrastruktur von Amazon zeigt, wer der aktuelle CTO und für den Aufbau der hochskalierbaren Infrastruktur sowie die Cloud Angebote verantwortlich ist – Werner Vogels.

Die Arbeit beschreibt Einsatzmöglichkeiten von hochskalierbaren Cluster-Technologien für den unternehmenskritischen Bereich.

Auch einer der Doktorväter der Arbeit sollte genannt werden und wird dem einen oder anderen bekannt sein – Prof.Dr. A.S. Tanenbaum.

Ein kurzer Auszug:

Enterprise computing has changed significantly in the past decade. In the past, the workloads at corporate datacenters were dominated by centralized processing using a limited number of big database servers, mainly handling online transaction processing (OLTP) and batch processing tasks in support of the back-office process. The organization of these datacenters has evolved from mainframe-oriented into a large collection of flexible application servers providing a very diverse set of services. These services still include the traditional order processing and inventory control, but now also provide internal and external information portals, continuous data-mining operations, pervasive integration of customer relationship management information, email and other collaboration services, and a variety of computational services such as financial forecasting.

An important observation is that these services have become essential to the successful operation of the enterprise, and that any service interruption, either through failure or through performance degradation, could bring the activities of the enterprise to a halt. The mission-critical nature of these services requires them to be scalable, highly-available, and with robust performance guarantees. Organizing these services into compute clusters appeared a logical step as cluster technology held the promise of cost-effective scalability and was considered to be a good basis for implementing a highly-available service organization.

Die Dissertation wurde an der Vrije Universiteit Amsterdam geschrieben und kann HIER direkt heruntergeladen werden.

Categories
Literatur

Buch – Development with the Force.com Platform: Building Business Applications in the Cloud

Titel: Buch – Development with the Force.com Platform: Building Business Applications in the Cloud

Autor: Jason Ouellette

Beschreibung:
“Using the Force.com platform, enterprise developers can build and deploy powerful applications far more rapidly than traditional J2EE, Microsoft .NET, or LAMP technology stacks permit. With a free subscription to the Force.com platform, developers can build apps that solve virtually any enterprise challenge with remarkable value, scalability, and reliability.

This is the first book that brings together all the practical, technical guidance you need to make the most of Force.com in your own custom enterprise applications. Leading Force.com developer Jason Ouellette helps you identify suitable uses for Force.com and provides all the insights and sample code needed to rapidly prototype, deploy, and integrate with production-quality Force.com applications.

Ouellette provides realistic code examples at every step, emphasizing maintainability, flexibility, and interoperability throughout. Writing for developers, architects, and analysts, he shows how to

  • Create custom enterprise apps on Force.com in days or weeks, not months or years
  • Leverage Force.com’s extensive capabilities for storing, managing, and securing data
  • Quickly create sophisticated business logic with the Apex programming language
  • Use Visualforce to construct custom user interfaces
  • Establish automated or semiautomated workflows
  • Implement Ajax behaviors without writing JavaScript code or learning new JavaScript libraries
  • Integrate Force.com-based data and processes with other applications, inside and outside the platform
  • Display reports as state-of-the-art dashboards
  • Integrate Force.com applications with existing Single Sign-On systems

Bestellmöglichkeit: Amazon

Cover:

Categories
Services @de

Die Google App Engine

Die Google App Engine [1] ist das Platform as a Service Angebot von Google und
bietet Softwareentwicklern die Entwicklung und das Hosting ihrer Anwendungen auf der
Infrastruktur von Google an. Der Service ist bis zu einem bestimmten Grad kostenlos.
Folgende Richtlinien müssen eingehalten werden, um den Dienst kostenlos nutzen zu
dürfen:

  • Seitenaufruf einer Anwendung: max. 1.300.00 mal pro Tag und max. 7.400 mal pro
    Minute
  • Pro Anwender dürfen max. 10 Applikationen erstellt werden.
  • Max. Versand von E-Mails über die entsprechende API: 2.000 pro Tag
  • Ein-/ und ausgehender Datentransfer max. 1 GB am Tag und max. 56 MB pro Minute
  • Pro Tag darf eine Applikation max. 6,5 CPU-Stunden nutzen

Die Entwicklungsumgebung

Die Google App Engine wurde bereitgestellt um Anwendungen auch während hoher Last oder während der Verarbeitung von vielen Daten zuverlässig ausführen zu lassen. Dazu unterstütz die Google App Engine folgende Funktionen:

  • Dynamische Webdienste inkl. der gänigigen Web-Technologien
  • Persistenter Speicher inkl. der Möglichkeit für Abfragen, Sortierungen und Transaktionen
  • Automatische Skalierung und Loadbalancing
  • APIs für die Authorisierung der Benutzer und die Nutzung der Google E-Mail Accounts
  • Eine Entwicklungsumgebung für lokale System für die Simulation der Google App Engine
  • Warteschlangen für die Steuerung von Aufgaben die eine hohe Performance benötigten
  • Aufgabenverwaltung für die Steuerung von Events zu bestimmten Zeitpunkten
  • Die Anwendungen werden in einer Sandbox ausgeführt. Dadurch hat die Anwendung niemals direkten Zugriff auf das darunterliegende Betriebssystem.
  • Für die Entwicklung stehen mit der Java JRE 6, sowie Python 2.5.2. zwei Laufzeitumgebungen zu Verfügung.
  • Für das Speichern der Anwendungen wird von der App Engine eine verteilte Datenhaltung verwendet, wobei der verteilte Speicher mit der Menge der Daten wächst.

App Engine Services

Die Google App Engine bietet folgende APIs zur Arbeit und der Verwaltung der Applikationen:

  • URL Fetch: Mit dem URL-Fetch Service können Anwendungen auf andere Ressourcen wie Web Services oder Daten über das Internet zugreifen. Dabei wird dieselbe Google Infrastuktur verwendet, wie sie auch von bekannten Google Produkten genutzt wird.
  • Mail: Mittels der App Engine Mail API sind Anwendungen in der Lage direkt E-Mails zu versenden.
  • Memcache: Mittels Memcache kann auf Daten zugegriffen werden, die nicht im persistenten Speicher abgelegt werden. Durch einen schnellen in-Memory Key-Value Cache ist eine Anwendung in der Lage mehreren Instanzen parallel nur temporär vorhandene Daten performant bereitzustellen.
  • Image Manipulation: Mittels der Image Manipulation API sind Anwendungen in der Lage Bilder zu verändern. Bei Bildern im JPEG oder PNG Format können folgende Manipulation durchgeführt werden:
    • Anpassen der Größe
    • Zuschneiden/ Beschneiden
    • Drehen
    • Spiegeln

Geplante Tasks und Warteschlangen

Anwendungen können so gesteuert werden, dass sie hoch performante Aufgaben dann erledigen, wenn die Belastung durch Anfragen nicht so hoch ist, z.B. zu einer vorher definierten Uhrzeit oder Tag. Des Weiteren besteht die Möglichkeit eine Anwendung in eine Warteschleife zu legen oder sie im Hintergrund auszuführen.

Quellen:

[1] Google App Engine

Categories
Videos

Video: Microsofts Windows Azure Cloud Rechenzentrum von innen

Das Video zeigt den Aufbau und das Innere eines Microsoft Cloud Rechenzentrum für Windows Azure.

via YouTube

Categories
Literatur

Buch – Programming Amazon Web Services: S3, EC2, SQS, FPS, and SimpleDB

Titel: Programming Amazon Web Services: S3, EC2, SQS, FPS, and SimpleDB

Autor: James Murty

Beschreibung:
“Building on the success of its storefront and fulfillment services, Amazon now allows businesses to “rent” computing power, data storage and bandwidth on its vast network platform. This book demonstrates how developers working with small- to mid-sized companies can take advantage of Amazon Web Services (AWS) such as the Simple Storage Service (S3), Elastic Compute Cloud (EC2), Simple Queue Service (SQS), Flexible Payments Service (FPS), and SimpleDB to build web-scale business applications. With AWS, Amazon offers a new paradigm for IT infrastructure: use what you need, as you need it, and pay as you go. Programming Web Services explains how you can access Amazon’s open APIs to store and run applications, rather than spend precious time and resources building your own. With this book, you’ll learn all the technical details you need to: Store and retrieve any amount of data using application servers, unlimited data storage, and bandwidth with the Amazon S3 service Buy computing time using Amazon EC2’s interface to requisition machines, load them with an application environment, manage access permissions, and run your image using as many or few systems as needed Use Amazon’s web-scale messaging infrastructure to store messages as they travel between computers with Amazon SQS Leverage the Amazon FPS service to structure payment instructions and allow the movement of money between any two entities, humans or computers Create and store multiple data sets, query your data easily, and return the results using Amazon SimpleDB. Scale up or down at a moment’s notice, using these services to employ as much time and space as you need Whether you’re starting a new online business, need to ramp upexisting services, or require an offsite backup for your home, Programming Web Services gives you the background and the practical knowledge you need to start using AWS. Other books explain how to build web services. This book teaches businesses how to take make use of existing services from an established technology leader. ”

Bestellmöglichkeit: Amazon

Cover:

Categories
Services @de

Die 1&1 Cloud Computing Mogelpackung!!!

Auch der deutsche Internet- und Webhostinganbieter 1&1 ist in das Cloud Computing Geschäft eingestiegen, so scheint es zumindest. [1] Schauen wir uns das Angebot allerdings genauer an, sehen wir deutlich, dass es sich hierbei nicht um Cloud Computing handelt! Viel mehr um das “manuelle Skalieren per SCHIEBEREGLER”.

1&1 wirbt mit dem Slogan:

Heute 10 und morgen 1.000 Kunden?
Mit dem 1&1 Dynamic Cloud Server können Sie die Leistung Ihres Systems jederzeit flexibel an Ihre Bedürfnisse anpassen.

Jederzeit… OK, Flexibel… OK, SIE???… Warum ICH?

Ein Blick auf die Technologien und Angebote von Amazon, Google, GoGrid oder anderen Cloud Computing Anbietern zeigt doch, dass die Skalierung AUTOMATISCH und nicht manuell per SCHIEBEREGLER stattfinden muss um die Lastspitzen abzufangen. Bei dem Angebot von 1&1 müsste ICH also geduldig vor meinem Webfrontend sitzen und mir die aktuelle Last anschauen und dann mit dem SCHIEBEREGLER abschätzen wie weit ICH skalieren soll.

Das Preismodell hat übrigens auch nichts mit Cloud Computing zu tun! Wo ich bei den oben genannten Anbietern jeweils für die tatsächlich genutzten Ressourcen bezahle, habe ich bei dem “1&1 Dynamic Cloud Server” mit der Minimalkonfiguration (1x Prozessorkern, 1 Gigabyte RAM, 100 Gigabyte Festplattenplatz) einen monatlichen Grundpreis von 39,99 Euro. Jede weitere Aufrüstung um einen Prozessorkern, 1 Gigabyte mehr Arbeitsspeicher oder 100 Gigabyte mehr Speicherplatz kosten jeweils 5,- Euro Aufschlag. Damit wären wir mit einer Maximalkonfiguration (4x Prozessorkern, 15 Gigabyte RAM, 800 Gigabyte Festplattenplatz) bei einem monatlichen Grundpreis von 159,99 Euro.

Das eine Maximalkonfiguration angeboten wird ist ebenfalls erstaunlich. Bei allen anderen Cloud Computing Anbietern kann ich so viele Ressourcen haben wie ich möchte!

1&1, bitte benennen Sie das Angebot doch zu dem um, was es tatsächlich ist (“manuelle Skalierung meines virtuellen Servers per SCHIEBEREGLER”) und seien Sie den Menschen gegenüber ehrlich!

Fazit: Nicht empfehlenswert!

Quellen:
[1] “1&1 Dynamic Cloud Server”

Categories
Videos

Video: Erste Schritte mit Amazon EC2

Dieses Video gibt einen praktischen Einblick in die Nutzung von Amazon EC2.

via YouTube

Categories
Services @de

Was ist AWS Import/Export?

Der Import/Export [1] Dienst der Amazon Web Services dient dazu, große Datenmengen auf einem schnelleren Weg in die Amazon Cloud zu transferieren bzw. diese hinaus zu bekommen, indem die Daten auf einem Datenträger auf postalischen Weg an Amazon verschickt werden. Dazu überträgt Amazon die Daten direkt vom gelieferten Datenträger über ihr internes Netzwerk in die Cloud. In einigen Fällen ist es kostengünstiger die Daten auf diesem Weg in die Amazon Cloud zu übertragen, als den Weg über das Internet zu wählen und dabei ggf. die Geschwindigkeit der Internetverbindung zu erhöhen.

Vorgehensweise

  • Vorbereiten eines Datenträgers mit den zu transferierenden Daten.
  • Eine Manifest Datei, die alle Informationen (Amazon S3 buckt, AWS Access Key ID, Rücksendeadresse) an Amazon verschicken.
  • Anschließend sendet Amazon eine E-Mail mit einem eindeutigen Kennzeichen und der AWS Versandadresse an die der Datenträger versendet werden muss.
  • Jetzt muss der Datenträger noch für die Identifizierung und Authorisierung vorbereitet werden, indem die Manifest-Datei und die Job-Id mit einer Digitalen Signatur verschlüsselt und auf den Datenträger hinterlegt werden.
  • Der Datenträger mird mit sämtlichen Zubehör an Amazon verschickt.


[2]

Wofür kann AWS Import/Export verwendet werden?

  • Datenmigration: Große Menge an Daten die erstmals in die Amazon Cloud transferiert werden sollen. AWS Import/Export ist in der Regel schneller als der Datentransfer über das Internet.
  • Externe Datensicherung: Vollständige oder Inkrementelle Backups können durch Amazon S3 zuverlässig und redundant gesichert werden.
  • Direkter Datenaustausch: Erhält man von seinen Geschäftspartnern die Daten regelmäßig auf Datenträgern, können diese auf direkten Weg zu Amazon versendet werden. Von dort werden die Daten dann in das eigene Amazon S3 bucket importiert.
  • Systemwiederherstellung: Für den Fall eines Systemausfalls und der notwendigen Wiederherstellung können die Daten mittels AWS Import/Export von Amazon S3 heruntergeladen, auf einem Datenträger gespeichert und anschließend in das eigene (lokale) System wieder importiert werden.

Quellen:

[1] AWS – Import/Export
[2] Graphik: AWS – Import/Export

Categories
Videos

Video: Ein Google Cloud Rechenzentrum von innen.

Das Video zeigt das Innere eines Google Cloud Rechenzentrums.

http://www.youtube.com/watch?v=4SkVT-nNga0

via YouTube

Categories
Services @de

Decaf – Mobiles Infrastrukturmanagement für Amazon EC2

Jeder Administrator oder Entwickler kennt das Problem. Man(n) sitzt gemütlich mit der Frau/ Freundin im Restaurant und schwelgt mit seinen Gedanken gerade in Wolke Sieben. “Funktionieren meine Instanzen noch? Wie ist die aktuelle Performance”. 😉

Genau dafür hat das Unternehmen 9apps mit seiner Anwendung Decaf erstmalig eine mobile Infrastrukturmanagementsoftware für Amazon EC2 Instanzen auf Basis von Android entwickelt. Die Funktionen und Einsatzmöglichkeiten der Software möchte ich hier nun kurz vorstellen.

Was ist Decaf?

  • Decaf ist eine auf Basis von Android funktionierende mobile Infrastrukturmanagementsoftware zur Verwaltung von Amazon EC2 Instanzen.

Welche Funktionen bietet Decaf?

  • Monitoring der Server inkl. Benachrichtigungen bei evtl. Ausfällen.
  • Kontinuierliche graphische Darstellung der aktuellen Zustände der Instanzen als Widget. Das beinhaltet die CPU-Auslastung, Netzwerk Aktivitäten und die Lese- und Schreibzugriffe der Festplatten.
  • Alle Managementfunktionen von Amazon EC2 stehen zur Verfügung, darunter z.B. Stoppen, Neustart und Monitoring der Instanzen oder das Hinzufügen von weiteren Volumes.
  • Zugriff auf alle Informationen von Amazon EC2, wie z.B. einer Gesamt Zusammenfassung bis zu Details der einzelnen Instanzen.

Zukünftige Funktionen?

  • Verwaltung von mehreren Amazon EC2 Accounts.
  • Entwicklung einer speziellen Schnittstelle für Kunden, die eine vielzahl an Instanzen zu verwalten haben.

Das Dashboard

Mit dem Dashboard kann auf alle Daten des jeweiligen Accounts zugegriffen werden. Dazu gehören u.a. Informationen wie Details über alle Instanzen, Amazon Machine Images (AMIs), Snapshots, Elastic IPs, sowie Security Groups und die Key Pairs.

Das Widget

Das Widget stellt alle Informationen in Echtzeit dar und aktualisiert sich selbständig, wodurch es unverzüglich informiert wenn etwas unerwartetes passiert. Die Diagramme des Widgets geben Auskunft über die Entwicklung und Änderungen der durchschnittlichen CPU-Leistung, der gesamten Lese- und Schreib-Aktivitäten der Festplatten, sowie des ein- und ausgehenden Netzwerktraffics innerhalb der letzten 24 Stunden.

Ansicht einer Instanz

Der Verwaltungsbereich bietet die Möglichkeit zum Starten, Beenden und Neustarten einer Instanz. Alle von EC2 bekannten Informationen können hierüber abgefragt und überwacht werden.

Ansicht mehrerer Instanzen

Mittels der Ansicht aller Instanzen erhält man einen Gesamtüberblick über den Zustand sämtlicher Instanzen eines Accounts. Anhand der grünen, roten und grauen Kaffeebohne wird der Status dargestellt.

  • Grün = alles ist in Ordnung
  • Rot = es besteht ein Problem
  • Grau = die Instanz ist nicht verfügbar

Durch das Tippen auf eine Instanz erhält man detailliertere Informationen – siehe “Ansicht einer Instanz”.

Wunschliste

Folgende Wünsche zur Funktionserweiterung wurden an 9apps bisher von den Benutzern herangetragen, die sukzessive eingebaut werden:

  • Monitoring von Ports (ssh, http, mysql, smtp, etc.)
  • Verwaltung mehrerer Accounts
  • Verwaltung von Images und Snapshots
  • Integration von CloudWatch inkl. Autoscaling und Loadbalancing
  • Konfiguration der Diagramme bzgl. der Größenangaben (Widget und CloudWatch)
  • Einstellungen von Schwellwerten und Integration einer Alarmfunktion auf Basis der CloudWatch Daten
  • Integration von CloudFront
  • Integration mit ‘ConnectBot’
  • Anbindung weiterer Anbieter (möglicherweise über Plugins)
  • Ein Release für das iPhone ist ebenfalls geplant.

Weitere Informationen