Introduction to Apache Flink

Stream Processing for Real Time and Beyond

Author: Ellen Friedman,Kostas Tzoumas

Publisher: "O'Reilly Media, Inc."

ISBN: 1491977167

Category: Computers

Page: 110

View: 2839

There’s growing interest in learning how to analyze streaming data in large-scale systems such as web traffic, financial transactions, machine logs, industrial sensors, and many others. But analyzing data streams at scale has been difficult to do well—until now. This practical book delivers a deep introduction to Apache Flink, a highly innovative open source stream processor with a surprising range of capabilities. Authors Ellen Friedman and Kostas Tzoumas show technical and nontechnical readers alike how Flink is engineered to overcome significant tradeoffs that have limited the effectiveness of other approaches to stream processing. You’ll also learn how Flink has the ability to handle both stream and batch data processing with one technology. Learn the consequences of not doing streaming well—in retail and marketing, IoT, telecom, and banking and finance Explore how to design data architecture to gain the best advantage from stream processing Get an overview of Flink’s capabilities and features, along with examples of how companies use Flink, including in production Take a technical dive into Flink, and learn how it handles time and stateful computation Examine how Flink processes both streaming (unbounded) and batch (bounded) data without sacrificing performance

Algorithms and Architectures for Parallel Processing

ICA3PP 2018 International Workshops, Guangzhou, China, November 15-17, 2018, Proceedings

Author: Ting Hu,Feng Wang,Hongwei Li,Qian Wang

Publisher: Springer

ISBN: 3030052346

Category: Computers

Page: 202

View: 8638

This book constitutes the workshop proceedings of the 18th International Conference on Algorithms and Architectures for Parallel Processing, ICA3PP 2018, held in Guangzhou, China, in November 2018. The 24 full papers presented were carefully selected and reviewed from numerous submissions to the two following workshops: - ICA3PP 2018 Workshop on Intelligent Algorithms for Large-scale Complex Optimization Problems - ICA3PP 2018 Workshop on Security and Privacy in Data Processing

Practical Real-time Data Processing and Analytics

Distributed Computing and Event Processing using Apache Spark, Flink, Storm, and Kafka

Author: Shilpi Saxena,Saurabh Gupta

Publisher: Packt Publishing Ltd

ISBN: 1787289869

Category: Computers

Page: 360

View: 7632

A practical guide to help you tackle different real-time data processing and analytics problems using the best tools for each scenario About This Book Learn about the various challenges in real-time data processing and use the right tools to overcome them This book covers popular tools and frameworks such as Spark, Flink, and Apache Storm to solve all your distributed processing problems A practical guide filled with examples, tips, and tricks to help you perform efficient Big Data processing in real-time Who This Book Is For If you are a Java developer who would like to be equipped with all the tools required to devise an end-to-end practical solution on real-time data streaming, then this book is for you. Basic knowledge of real-time processing would be helpful, and knowing the fundamentals of Maven, Shell, and Eclipse would be great. What You Will Learn Get an introduction to the established real-time stack Understand the key integration of all the components Get a thorough understanding of the basic building blocks for real-time solution designing Garnish the search and visualization aspects for your real-time solution Get conceptually and practically acquainted with real-time analytics Be well equipped to apply the knowledge and create your own solutions In Detail With the rise of Big Data, there is an increasing need to process large amounts of data continuously, with a shorter turnaround time. Real-time data processing involves continuous input, processing and output of data, with the condition that the time required for processing is as short as possible. This book covers the majority of the existing and evolving open source technology stack for real-time processing and analytics. You will get to know about all the real-time solution aspects, from the source to the presentation to persistence. Through this practical book, you'll be equipped with a clear understanding of how to solve challenges on your own. We'll cover topics such as how to set up components, basic executions, integrations, advanced use cases, alerts, and monitoring. You'll be exposed to the popular tools used in real-time processing today such as Apache Spark, Apache Flink, and Storm. Finally, you will put your knowledge to practical use by implementing all of the techniques in the form of a practical, real-world use case. By the end of this book, you will have a solid understanding of all the aspects of real-time data processing and analytics, and will know how to deploy the solutions in production environments in the best possible manner. Style and Approach In this practical guide to real-time analytics, each chapter begins with a basic high-level concept of the topic, followed by a practical, hands-on implementation of each concept, where you can see the working and execution of it. The book is written in a DIY style, with plenty of practical use cases, well-explained code examples, and relevant screenshots and diagrams.

Big Data

Die Revolution, die unser Leben verändern wird

Author: Viktor Mayer-Schönberger,Viktor; Cukier Mayer-Schönberger

Publisher: Redline Wirtschaft

ISBN: 3864144590

Category: Political Science

Page: 288

View: 8007

Ob Kaufverhalten, Grippewellen oder welche Farbe am ehesten verrät, ob ein Gebrauchtwagen in einem guten Zustand ist – noch nie gab es eine solche Menge an Daten und noch nie bot sich die Chance, durch Recherche und Kombination in der Daten¬flut blitzschnell Zusammenhänge zu entschlüsseln. Big Data bedeutet nichts weniger als eine Revolution für Gesellschaft, Wirtschaft und Politik. Es wird die Weise, wie wir über Gesundheit, Erziehung, Innovation und vieles mehr denken, völlig umkrempeln. Und Vorhersagen möglich machen, die bisher undenkbar waren. Die Experten Viktor Mayer-Schönberger und Kenneth Cukier beschreiben in ihrem Buch, was Big Data ist, welche Möglichkeiten sich eröffnen, vor welchen Umwälzungen wir alle stehen – und verschweigen auch die dunkle Seite wie das Ausspähen von persönlichen Daten und den drohenden Verlust der Privatsphäre nicht.

Big Data in der Praxis

Beispiellösungen mit Hadoop und NoSQL. Daten speichern, aufbereiten, visualisieren

Author: Jonas Freiknecht

Publisher: Carl Hanser Verlag GmbH Co KG

ISBN: 3446441778

Category: Computers

Page: 448

View: 3770

BIG DATA IN DER PRAXIS // - Für Analysten, BI-Verantwortliche, Data-Scientists, Consultants - Auf der DVD finden Sie: 18 fertige Projekte, die im Buch Schritt für Schritt entwickelt werden; Videotutorials u.a. zur Installation von Hadoop, Hive, HBase (Gesamtdauer: 80 Min.); Testdatensätze für die Wissensdatenbank Dieses Buch bringt Ihnen das Thema Big Data auf sehr praktische Art und Weise nahe. Sie lernen Technologien, Tools und Methoden kennen, entwickeln Beispiel-Lösungen und bekommen aufgezeigt, wie Sie bestehende Systeme vorausschauend auf die mit dem Big Data-Trend einhergehenden Herausforderungen vorbereiten. Dazu werden Sie neben den bekannten Apache-Projekten wie Hadoop, Hive und HBase auch einige weniger bekannte Frameworks wie Apache UIMA oder Apache OpenNLP kennenlernen, um gezielt die Verarbeitung unstrukturierter Daten zu behandeln. Alle hier verwendeten Software-Komponenten stehen im vollen Umfang kostenlos im Internet zur Verfügung. Gemeinsam mit dem Autor werden Sie ganz konkret Schritt für Schritt viele kleinere Projekte aufbauen bis hin zu einer fertigen und funktionstüchtigen Implementierung. Ziel des Buches ist es, Sie auf den Effekt und den Mehrwert der neuen Möglichkeiten aufmerksam zu machen, sodass Sie diese konstruktiv in Ihr Unternehmen tragen können und für sich und Ihre Kollegen somit ein Bewusstsein für den Wert Ihrer Daten schaffen. AUS DEM INHALT // Einführung rund um Big Data // Hadoop installieren, konfigurieren & bedienen // HDFS, Map-Reduce & YARN: Daten speichern und verarbeiten // Hadoop-Ecosystem: Überblick über dessen Komponenten // Einführung in NoSQL // HBase installieren, einrichten & auf Daten zugreifen // Data-Warehousing mit Apache Hive // HiveQL als Abfragesprache, Hive Security, Hive & JDBC // Datenimport aus relationalen Datenbanken mit Sqoop // Big Data-Visualisierung: Diagrammarten, Tipps & Trends // Visualisierungs-Frameworks im Vergleich // D3.js: Entwicklung einiger Beispieldiagramme // Entwicklung einer abschließenden Big Data-Analyse-Lösung // Troubleshooting für die Arbeit mit Hadoop, Hive & HBase

Complex Event Processing

Komplexe Analyse von massiven Datenströmen mit CEP

Author: Ralf Bruns,Jürgen Dunkel

Publisher: Springer-Verlag

ISBN: 3658098996

Category: Computers

Page: 54

View: 7469

Ralf Bruns und Jürgen Dunkel bieten eine kompakte Einführung in die Grundprinzipien von Complex Event Processing (CEP), das eine extrem leistungsfähige Softwaretechnologie zur systematischen Analyse von massiven Datenströmen in Echtzeit darstellt. Die Autoren stellen die wesentlichen Sprachkonzepte der Ereignisverarbeitung Schritt für Schritt vor. Eine Fallstudie aus dem M2M-Bereich verdeutlicht die praktische Anwendung von CEP. Moderne Unternehmen stehen vor der Herausforderung mit immer größeren Datenmengen umgehen zu müssen. Neben immensen statischen Datenbeständen ist es entscheidend, auch kontinuierlich eintreffende Datenströme effizient zu nutzen, um geschäftliche Entscheidungen situationsabhängig treffen zu können. Mit CEP ist es möglich, hochfrequente Datenströme intelligent zu analysieren und daraus zeitnah operative Unternehmensentscheidungen abzuleiten. CEP steht für eine neue Qualität von Unternehmensanwendungen – agil und effizient.

Visualize This!

Author: Nathan Yau

Publisher: John Wiley & Sons

ISBN: 3527760229

Category: Statistics / Graphic methods / Data processing

Page: 422

View: 5499

A guide on how to visualise and tell stories with data, providing practical design tips complemented with step-by-step tutorials.

Programmieren mit Scala

Author: Dean Wampler,Alex Payne

Publisher: O'Reilly Germany

ISBN: 3897216485

Category: Computers

Page: 480

View: 8730

Sie ist elegant, schlank, modern und flexibel: Die Rede ist von Scala, der neuen Programmiersprache für die Java Virtual Machine (JVM). Sie vereint die Vorzüge funktionaler und objektorientierter Programmierung, ist typsicherer als Java, lässt sich nahtlos in die Java-Welt integrieren – und eine in Scala entwickelte Anwendung benötigt oft nur einen Bruchteil der Codezeilen ihres Java-Pendants. Kein Wunder, dass immer mehr Firmen, deren große, geschäftskritische Anwendungen auf Java basieren, auf Scala umsteigen, um ihre Produktivität und die Skalierbarkeit ihrer Software zu erhöhen. Das wollen Sie auch? Dann lassen Sie sich von den Scala-Profis Dean Wampler und Alex Payne zeigen, wie es geht. Ihre Werkzeugkiste: Schon bevor Sie loslegen, sind Sie weiter, als Sie denken: Sie können Ihre Java-Programme weiter verwenden, Java-Bibliotheken nutzen, Java von Scala aus aufrufen und Scala von Java aus. Auch Ihre bevorzugten Entwicklungswerkzeuge wie NetBeans, IntelliJ IDEA oder Eclipse stehen Ihnen weiter zur Verfügung, dazu Kommandozeilen-Tools, Plugins für Editoren, Werkzeuge von Drittanbietern – und natürlich Ihre Programmiererfahrung. In Programmieren mit Scala erfahren Sie, wie Sie sich all das zunutze machen. Das Hybridmodell: Die Paradigmen "funktional" und "objektorientiert" sind keine Gegensätze, sondern ergänzen sich unter dem Scala-Dach zu einem sehr produktiven Ganzen. Nutzen Sie die Vorteile funktionaler Programmierung, wann immer sich das anbietet – und seien Sie so frei, auf die guten alten Seiteneffekte zu bauen, wenn Sie das für nötig halten. Futter für die Profis: Skalierbare Nebenläufigkeit mit Aktoren, Aufzucht und Pflege von XML mit Scala, Domainspezifische Sprachen, Tipps zum richtigen Anwendungsdesign – das sind nur ein paar der fortgeschrittenen Themen, in die Sie mit den beiden Autoren eintauchen. Danach sind Sie auch Profi im Programmieren mit Scala.

Wer beherrscht die Welt?

Die globalen Verwerfungen der amerikanischen Politik

Author: Noam Chomsky

Publisher: Ullstein eBooks

ISBN: 3843714436

Category: Political Science

Page: 416

View: 5793

„Die Frage, wer die Welt regiert, kann nicht eindeutig beantwortet werden. Aber die einflussreichsten Akteure sind klar auszumachen.“ Auch nach der Ära Obama gilt: Die USA betrachten sich grundsätzlich als die Guten – selbst dann, wenn sie das Gleiche tun wie jene, denen sie Böses unterstellen: Zivilflugzeuge abschießen, willkürlich Leute inhaftieren und mit Drohnen umbringen oder in fremde Länder einmarschieren. Das Primat der militärischen Intervention und der unerbittliche Drang, alleinige Weltmacht zu bleiben, bilden die Konstanten der amerikanischen Politik – auch wenn dadurch Staaten ins Chaos und Menschen ins Verderben getrieben werden. Im Land dagegen haben die Reichen und Mächtigen fast freie Hand, jenseits demokratischer Kontrollen und unbeachtet von einer zunehmend gleichgültigen Bevölkerung. Wohin führt uns das? Welche Folgen hat das für den Rest der Welt? In seiner so brillanten wie präzisen Analyse zeigt Noam Chomsky die fatalen Folgen der imperialen Politik der USA für das ohnehin immer chaotischere Zusammenleben auf unserem Planeten.

Mit Java programmieren lernen für Dummies

Author: Barry A. Burd

Publisher: John Wiley & Sons

ISBN: 3527691898

Category: Computers

Page: 463

View: 9172

Steigen Sie mit diesem Buch in die Welt des Programmierens ein und zwar mit der beliebten Programmiersprache Java! Schritt fï¿1⁄2r Schritt werden Sie mit den Grundlagen, wie zum Beispiel Variablen, Schleifen und objektorientierter Programmierung, vertraut gemacht, probieren viele anschauliche Beispiele aus und schreiben Ihr erstes eigenes Programm. Dieses Buch steht Ihnen bei allen Herausforderungen jederzeit mit hilfreichen Tipps und Lï¿1⁄2sungsvorschlï¿1⁄2gen zur Seite, sodass Sie fï¿1⁄2r Ihren Weg zum Programmierer optimal gerï¿1⁄2stet sind!

Data Science mit Python

Das Handbuch für den Einsatz von IPython, Jupyter, NumPy, Pandas, Matplotlib und Scikit-Learn

Author: Jake VanderPlas

Publisher: MITP-Verlags GmbH & Co. KG

ISBN: 3958456979

Category: Computers

Page: 552

View: 5554

Die wichtigsten Tools für die Datenanalyse und-bearbeitung im praktischen Einsatz Python effizient für datenintensive Berechnungen einsetzen mit IPython und Jupyter Laden, Speichern und Bearbeiten von Daten und numerischen Arrays mit NumPy und Pandas Visualisierung von Daten mit Matplotlib Python ist für viele die erste Wahl für Data Science, weil eine Vielzahl von Ressourcen und Bibliotheken zum Speichern, Bearbeiten und Auswerten von Daten verfügbar ist. In diesem Buch erläutert der Autor den Einsatz der wichtigsten Tools. Für Datenanalytiker und Wissenschaftler ist dieses umfassende Handbuch von unschätzbarem Wert für jede Art von Berechnung mit Python sowie bei der Erledigung alltäglicher Aufgaben. Dazu gehören das Bearbeiten, Umwandeln und Bereinigen von Daten, die Visualisierung verschiedener Datentypen und die Nutzung von Daten zum Erstellen von Statistiken oder Machine-Learning-Modellen. Dieses Handbuch erläutert die Verwendung der folgenden Tools: ● IPython und Jupyter für datenintensive Berechnungen ● NumPy und Pandas zum effizienten Speichern und Bearbeiten von Daten und Datenarrays in Python ● Matplotlib für vielfältige Möglichkeiten der Visualisierung von Daten ● Scikit-Learn zur effizienten und sauberen Implementierung der wichtigsten und am meisten verbreiteten Algorithmen des Machine Learnings Der Autor zeigt Ihnen, wie Sie die zum Betreiben von Data Science verfügbaren Pakete nutzen, um Daten effektiv zu speichern, zu handhaben und Einblick in diese Daten zu gewinnen. Grundlegende Kenntnisse in Python werden dabei vorausgesetzt. Leserstimme zum Buch: »Wenn Sie Data Science mit Python betreiben möchten, ist dieses Buch ein hervorragender Ausgangspunkt. Ich habe es sehr erfolgreich beim Unterrichten von Informatik- und Statistikstudenten eingesetzt. Jake geht weit über die Grundlagen der Open-Source-Tools hinaus und erläutert die grundlegenden Konzepte, Vorgehensweisen und Abstraktionen in klarer Sprache und mit verständlichen Erklärungen.« – Brian Granger, Physikprofessor, California Polytechnic State University, Mitbegründer des Jupyter-Projekts

Gehe hin, stelle einen Wächter

Roman

Author: Harper Lee

Publisher: DVA

ISBN: 3641179491

Category: Fiction

Page: 320

View: 2900

Sensationeller Manuskriptfund - das literarische Ereignis im Sommer 2015 Harper Lee hat bisher nur einen Roman veröffentlicht, doch dieser hat der US-amerikanischen Schriftstellerin Weltruhm eingebracht: „Wer die Nachtigall stört“, erschienen 1960 und ein Jahr später mit dem renommierten Pulitzer-Preis ausgezeichnet, ist mit 40 Millionen verkauften Exemplaren und Übersetzungen in mehr als 40 Sprachen eines der meistgelesenen Bücher weltweit. Mit „Gehe hin, stelle einen Wächter“ – zeitlich vor „Wer die Nachtigall stört“ entstanden – erscheint nun das Erstlingswerk. Das Manuskript wurde nie veröffentlicht und galt als verschollen – bis es eine Freundin der inzwischen 89-jährigen Autorin im September 2014 fand. In „Gehe hin, stelle einen Wächter“ treffen wir die geliebten Charaktere aus „Wer die Nachtigall stört“ wieder, 20 Jahre später: Eine inzwischen erwachsene Jean Louise Finch, „Scout“, kehrt zurück nach Maycomb und sieht sich in der kleinen Stadt in Alabama, die sie so geprägt hat, mit gesellschaftspolitischen Problemen konfrontiert, die nicht zuletzt auch ihr Verhältnis zu ihrem Vater Atticus infrage stellen. Ein Roman über die turbulenten Ereignisse im Amerika der 1950er-Jahre, der zugleich ein faszinierend neues Licht auf den Klassiker wirft. Bewegend, humorvoll und überwältigend – ein Roman, der seinem Vorgänger in nichts nachsteht.

Einführung in Apache Solr

Author: Markus Klose,Daniel Wrigley

Publisher: O'Reilly Germany

ISBN: 3955614220

Category: Computers

Page: 336

View: 1559

Eine leistungsfähige Volltextsuche ist heute auf Websites, in Online-Shops oder auch im Unternehmen nicht mehr Kür, sondern Pflicht. Gefragt ist eine flexible Suchtechnologie, die auf unterschiedlichsten Systemen genutzt werden kann. Hier kommt Apache Solr ins Spiel: Dieser Open-Source-Suchserver bietet Entwicklern auf Basis von Standard-Webtechnologien eine mächtige und dabei einfach zu integrierende und zu benutzende Search Engine. Einführung in Apache Solr bietet einen fundierten Einstieg in die Suchtechnologie: Der Leser wird in die Lage versetzt, eine individuelle Suchlösung auf Basis von Apache Solr aufzusetzen. Beschrieben wird, aus welchen Komponenten Solr sich zusammensetzt, wie die Indexierung konfiguriert und manipuliert werden kann und welche Einstellungsmöglichkeiten es für die Suche gibt. Mit zahlreichen Beispielkonfigurationen, Tipps und Pitfalls aus der Praxis der Autoren

MPI - Eine Einführung

Portable parallele Programmierung mit dem Message-Passing Interface

Author: William Gropp,Ewing Lusk,Anthony Skjellum

Publisher: Walter de Gruyter GmbH & Co KG

ISBN: 3486841009

Category: Computers

Page: 387

View: 2782

Message Passing Interface (MPI) ist ein Protokoll, das parallel Berechnungen auf verteilten, heterogenen, lose-gekoppelten Computersystemen ermöglicht. Das Buch beginnt mit einem kurzen Überblick über parallele Entwicklungsumgebungen und führt in die grundlegenden Konzepte ein. Anschließend wird gezeigt, wie anhand von graphischen Analysewerkzeugen die Leistungsfähigkeit eines Programms getestet werden kann. Die grundlegenden Fähigkeiten von MPI werden mittels des Poisson-Problems erörtert und gezeigt, wie MPI zur Umsetzung von virtuellen Topologien genutzt werden kann. Zur Illustration von anspruchsvolleren Funktionen des Message-Passing in MPI wird auf das N-Körper-Problem eingegangen. Nach einem Vergleich von MPI-Implementierungen mit anderen Systemen wird das Buch durch Sprachfestlegungen für C-, C++ und Fortran-Versionen aller MPI-Routinen abgerundet.

Mobilitätsrevolution in der Automobilindustrie

Letzte Ausfahrt digital!

Author: Sebastian Wedeniwski

Publisher: Springer-Verlag

ISBN: 3662447835

Category: Computers

Page: 302

View: 2330

Internet der Dinge, Cloud Computing, vernetztes Fahrzeug, Big Data, Analytics – was hat all dies eigentlich mit der Automobilindustrie zu tun? Dieses Buch gibt Auskunft über die Zukunft der Mobilität: die Trends, die sich aus Digitalisierung, Vernetzung, Individualisierung und Datenfokussierung ergeben. Der Automobilindustrie steht eine grundlegende Transformation bevor. Vor allem die großen, traditionellen Unternehmen werden sich umstellen müssen, neue Geschäftsmodelle entwickeln und diese flexibel umsetzen, mit Hilfe entsprechender Unternehmensarchitekturen. Der Schlüsselbegriff dabei: Geschäftskompetenzen. Die digitale Zukunft des Fahrzeugs hat bereits begonnen – wer wird sie mitgestalten?

Data Science für Dummies

Author: Lillian Pierson

Publisher: John Wiley & Sons

ISBN: 352780675X

Category: Mathematics

Page: 382

View: 1935

Daten, Daten, Daten? Sie haben schon Kenntnisse in Excel und Statistik, wissen aber noch nicht, wie all die Datensätze helfen sollen, bessere Entscheidungen zu treffen? Von Lillian Pierson bekommen Sie das dafür notwendige Handwerkszeug: Bauen Sie Ihre Kenntnisse in Statistik, Programmierung und Visualisierung aus. Nutzen Sie Python, R, SQL, Excel und KNIME. Zahlreiche Beispiele veranschaulichen die vorgestellten Methoden und Techniken. So können Sie die Erkenntnisse dieses Buches auf Ihre Daten übertragen und aus deren Analyse unmittelbare Schlüsse und Konsequenzen ziehen.