Big Data en Graf-native Databases

Zeer grote datasets die te groot en complex zijn om te verwerken en te analyseren met traditionele dataverwerkingsmethoden.

Een term die de kenmerken van big data beschrijft. Denk aan "Volume, Velocity, Veracity, Variety, Value".

Het vermogen van een systeem om effectief te blijven werken wanneer het aantal resources en gebruikers aanzienlijk toeneemt.

Het toevoegen van meer processors, geheugen en snellere hardware aan een systeem.

Het verdelen van de werklast over meerdere servers.

Gespecialiseerde softwareplatforms die zijn ontworpen om grote datasets efficiënt te verwerken en te analyseren.

Een graafdatabase die gegevens in de vorm van knooppunten (entiteiten) en relaties (verbindingen tussen knooppunten) opslaat.

Een aanpak die de beslissing over benodigde resources neemt vóór de uitvoering van een workflow.

Een aanpak die de beslissing over benodigde resources neemt tijdens de uitvoering van een workflow.

Een platform om workflows te programmeren, te monitoren en te plannen.

Een belangrijk onderdeel van Apache Airflow dat workflows uitvoert.

Een onderdeel van Apache Airflow dat taken uitvoert.

Een open-source dataverwerkingsengine voor parallele verwerking van grote datasets.

Een opslagapparaat dat data behoudt, zelfs wanneer het apparaat wordt uitgeschakeld.

Spark is compatibel met verschillende opslagsystemen, waaronder cloud-opslag, gedistribueerde bestandssystemen, key-value-winkels en berichtbussen.

SparkContext coördineert een verzameling processen en communiceert met clusterbeheerders.

De kern van een Spark-applicatie die informatie over de applicatie beheert en taken verdeelt.

Verantwoordelijk voor het uitvoeren van taken die door de Driver worden toegewezen.

Een onveranderlijke verzameling data-items die gedistribueerd zijn over een cluster van machines.

Operaties die een nieuw RDD creëren uit een bestaand RDD.

Operaties die Spark instrueren om een resultaat te berekenen uit een reeks transformaties.

Het tijdstempel dat wordt ingevoegd in elk record bij de bron wanneer de gebeurtenis oorspronkelijk plaatsvond.

Het tijdstempel dat wordt ingevoegd in elk record in de streaming-applicatie wanneer het record wordt ontvangen.

De volgorde waarin de gebeurtenissen plaatsvinden en de volgorde waarin ze door het systeem worden waargenomen, verschillen.

Verdeel de gegevensstroom in mini-batches of eindige stromen om verschillende transformaties toe te passen. Een venster is een periode waarover gegevens worden geaggregeerd of verwerkt.

Segmenteert een gegevensstroom in verschillende tijdssegmenten en voert een functie uit op deze segmenten. Ze herhalen zich, overlappen niet en een gebeurtenis kan niet tot meer dan één tuimelend venster behoren.

Ga in de tijd vooruit met een vaste periode. Gebeurtenissen kunnen tot meer dan één resultaatset van hopende vensters behoren.

Geef alleen gebeurtenissen uit voor punten in de tijd wanneer de inhoud van het venster daadwerkelijk verandert (wanneer een gebeurtenis het venster binnenkomt of verlaat). Elk venster heeft ten minste één gebeurtenis.

Groeperen van gebeurtenissen die op vergelijkbare tijden aankomen, perioden van tijd filteren waar geen gegevens zijn. Begint wanneer de eerste gebeurtenis plaatsvindt. Als de gebeurtenis blijft plaatsvinden binnen de opgegeven time-out vanaf de laatste opgenomen gebeurtenis, wordt het venster uitgebreid om de nieuwe gebeurtenis op te nemen totdat de maximale duur is bereikt. Anders wordt het venster gesloten bij de time-out.

Groepeer gebeurtenissen die hetzelfde tijdstempel hebben.

Een kader en een gedistribueerd verwerkingsproces. Tupels stellen een enkel record van gegevens voor en worden één voor één verwerkt, in de volgorde waarin ze worden ontvangen. Tupels worden onmiddellijk verwerkt en het resultaat wordt uitgegeven.

Een gedistribueerd datastreaming platform dat is gebundeld met Apache Kafka. Het wordt gebruikt om real-time data pipelines en applicaties te bouwen.

Een gedistribueerd systeem voor real-time grote dataverwerking. Eén van de eerste open-source stream processing frameworks ontwikkeld om in een gedistribueerde omgeving te werken.

Een gedistribueerd streamprocessing framework dat werd ontwikkeld bij LinkedIn in 2013. Het biedt ingebouwde integraties met verschillende platforms zoals Apache Kafka.

Een container die één of meerdere taken uitvoert in een streamprocessing framework.

Een logische eenheid van parallelisme in een streamprocessing framework. Elke taak verwerkt een subset van de invoerpartities en heeft zijn eigen opslag.

Een component in een streamprocessing framework die de toewijzing van taken aan de afzonderlijke containers beheert.

Een architectuur die gebruikt wordt in verschillende streamprocessing frameworks. Het heeft een master-slave structuur met een JobManager en TaskManager.

Een eigenschap van streamprocessing frameworks die ervoor zorgt dat elke bewerking slechts één keer wordt uitgevoerd, zelfs als er fouten optreden.

Een mechanisme in streamprocessing frameworks dat toelaat om gegevens in verschillende tijdsintervallen te analyseren en te optimaliseren.

Een punt in een streamprocessing framework waar de status van de bewerkingen wordt opgeslagen. Dit zorgt voor herstel na fouten.