Amsterdam, 16 oktober 2019 - De
Linux Foundation, een non profit-organisatie die innovatie via open source mogelijk maakt, kondigt vandaag aan dat het
Delta Lake gaat hosten. Het Delta Lake project richt zich op de verbetering van de betrouwbaarheid, kwaliteit en prestaties van data lakes. Delta Lake, eerder dit jaar
aangekondigd door Databricks, is door duizenden bedrijven omarmd en heeft een bloeiend ecosysteem van aanhangers, waaronder Intel, Alibaba en Booz Allen Hamilton. Om de adoptie van en bijdragen aan Delta Lake verder te stimuleren, maakt het project nu gebruik van een open governance model als onderdeel van de Linux Foundation.
Iedere organisatie heeft de wens om meer waarde uit beschikbare data te halen door gebruik te maken van datawetenschap, machine learning en analytics. Het gebrek aan betrouwbaarheid van data binnen data lakes hindert de organisaties daarbij. Delta Lake pakt problemen met betrouwbaarheid van data aan door transacties ACID-compliant te maken. Door gebruik te maken van schema enforcement zorgt Delta Lake ervoor dat het data lake vrij is van foutieve of afwijkende data. Sinds de lancering in 2017 maken meer dan 4000 bedrijven gebruik van het project, waarbij maandelijks meer dan twee exabyte aan data wordt verwerkt.
“Door Delta Lake onder te brengen bij de Linux Foundation helpen we de open source community die afhankelijk is van het project om technologie te ontwikkelen die oplossingen vindt voor het opslaan en verwerken van big data, zowel op locatie als in de cloud,” zegt Michael Dolan, VP of Strategic Programs bij de Linux Foundation. “De Linux Foundation helpt open source communities door gebruik te maken van een open governance model, dat bijdragen van de hele sector mogelijk maakt. Dit verhoogt uiteindelijk onze standaard voor dataopslag en betrouwbaarheid.”
De medeoprichters van Databricks zijn de oorspronkelijke bedenkers van het open source Apache Spark project, de universele analytics engine die inmiddels de standaard is voor grootschalige verwerking van data. Databricks’ CEO en medeoprichter Ali Ghodsi geeft aan enthousiast te zijn deze weg opnieuw af te leggen met het Delta Lake project. “Ons team is doorgegaan met het creëren van en bijdragen aan open source projecten, omdat we weten dat dit de snelste en meest volledige manier is om te innoveren. Om de problemen van organisaties te kunnen adresseren, willen we garanderen dat dit project volledig open source is. Dankzij de sterke community van de Linux Foundation en diens bijdragen, hebben we er vertrouwen in dat Delta Lake snel de standaard is voor opslag in data lakes.”
Delta Lake krijgt een open governance model dat participatie en technische bijdragen stimuleert. Daarnaast levert het project een raamwerk voor lange termijn rentmeesterschap door een ecosysteem dat het succes van Delta Lake voorstaat.
Delta Lake werd oorspronkelijk ontworpen voor Apache Spark, maar door de groeiende community komt er steeds meer ondersteuning voor andere open source data systemen.
“Alibaba is één van de belangrijkste cloud providers en is leider, gebruiker en supporter van diverse open source initiatieven, zeker op het gebied van big data en AI. We werkten met Databricks aan een native Hive connector voor Delta Lake op open source gebied, en vinden het geweldig dat het project zich nu aansluit bij de Linux Foundation. We blijven de open source community steunen en eraan bijdragen.”
- Yangqing Jia, VP of Big Data / AI bij Alibaba
“Intel en Databricks werken al jaren samen met Databricks om de Apache Spark technologie verder te ontwikkelen met innovatieve data analytics en AI-oplossingen om deze geschikt te maken voor ondernemingen. De Delta Lake bijdrage van Databricks aan de Linux Foundation bestaat uit belangrijke open source opslagtechnologie die het ecosysteem van betrouwbare data lakes verbetert. We kijken uit naar onze bijdrage aan het Delta Lake project en de voortzetting van onze samenwerking.”
- Wei Li, Vice President bij Intel Architecture, Graphics en Software en Machine Learning Performance
“Het Starburst-team is enthousiast over de ontwikkelingen van Delta Lake en ontwikkelde al een native connector voor Presto, die momenteel getest wordt. We geloven dat deze ontwikkelingen bedrijven die hun data lakes naar de cloud verhuizen, of daar creëren, nu eindelijk de vruchten plukken die hen jaren geleden al beloofd waren. Ook kunnen ze nu direct interactieve SQL analyses op de data lakes uitvoeren.”
- Justin Borgman, CEO, Starburst
“Booz Allen Hamilton is onder de indruk van de potentie van de Delta Lake-technologie, en al helemaal van de belofte om een open, schaalbaar dataplatform neer te zetten dat een breed scala aan analyses mogelijk maakt, zoals SQL analyses die reporting en dashboarding voor datawetenschap en machine learning met R & Python mogelijk maken. We kijken ernaar uit belangrijke bijdragen te leveren aan het Delta Lake project. We beginnen met native integraties van Apache Nifi met Delta Lake.
- Dan Tucker, VP bij Booz Allen Hamilton
Voor meer informatie, ga naar
Delta.io of volg
@DeltaLakeOSS op Twitter.
Over Databricks
De missie van Databricks is innovatie bij haar klanten te versnellen door data science, engineering en business samen te brengen. De oprichters van Databricks zijn de initiatiefnemers van het Spark-onderzoeksproject van de universiteit van Californië, waaruit Apache Spark is ontstaan. Databricks biedt een Unified Analytics Platform op basis van Apache Spark dat datateams de mogelijkheid geeft bij de ontwikkeling van dataproducten samen te werken met data engineers en experts uit de business. Databricks biedt gebruikers snel meerwaarde door creatie van analytische workflows die variëren van
ETL en interactieve exploratie tot productie. Bovendien helpt het bedrijf gebruikers zich beter te focussen op hun data door een cloudinfrastructuur aan te bieden die volledig beheerd, schaalbaar en veilig is, de uitvoering vereenvoudigt en de total cost of ownership vermindert. Databricks wordt ondersteund door investeerders als Andreessen Horowitz, NEA en Battery Ventures en is wereldwijd actief voor klanten, waaronder Viacom, Shell en HP.
Voor meer informatie:
www.databricks.com.
Apache, Apache Spark and Spark zijn trademarks van de
Apache Software Foundation.
Databricks Persdesk
Yellow Communications
Marjolein Jonker
E-mail:
databricks@yellow-communications.com
Tel: +31 (0)23 555 34 24