Spotify, Veri Gölünde Hızlı Kayıt Sorgulama için Dış İndeks Geliştirdi
Spotify Veri Gölünde Hızlı Kayıt: Spotify iddiası ne anlatıyor? Spotify Veri Gölünde Hızlı Kayıt kapsamında, InfoQ Ana Sayfası Haberler Spotify, Data Lake Mimarisi ve Tasarımı Üzerinde Düşük Gecikme Noktalı Sorguları Etkinleştirmek İçin Harici Dizin Oluşturuyor Spotify,…
Spotify Veri Gölünde Hızlı Kayıt: Spotify iddiası ne anlatıyor?
Spotify Veri Gölünde Hızlı Kayıt kapsamında, InfoQ Ana Sayfası Haberler Spotify, Data Lake Mimarisi ve Tasarımı Üzerinde Düşük Gecikme Noktalı Sorguları Etkinleştirmek İçin Harici Dizin Oluşturuyor Spotify, Data Lake 2 Üzerinde Düşük Gecikme Noktalı Sorgulamaları Etkinleştirmek İçin Harici Dizin Oluşturuyor dk okuma Bizi takip edin Bu makaleyi dinleyin – 0:00 Ses oynatılmaya hazır Tarayıcınız ses öğesini desteklemiyor.
Spotify Veri Gölünde Hızlı Kayıt kapsamında, 0:00 0:00 Okuma listesi Spotify, veri gölünde depolanan verilere doğrudan düşük gecikme süreli nokta sorguları sağlayan ve çevrimiçi hizmetlerin ve yapay zeka uygulamalarının, veri kümelerini operasyonel veritabanlarına kopyalamadan bireysel kayıtları almasına olanak tanıyan bir depolama mimarisi olan Rastgele Erişim Parketi’ni (RAP) tanıttı.
Spotify Veri Gölünde Hızlı Kayıt kapsamında, RAP, Apache Parquet dosyaları üzerine harici bir dizin oluşturma katmanı ekleyerek etkileşimli aramalara olanak tanırken analitik, makine öğrenimi ve çevrimiçi sunum için aynı veri kümelerini kullanmaya devam eder.
Tasarım ve teknik ayrıntılar
Spotify Veri Gölünde Hızlı Kayıt kapsamında, Spotify, modern veri göllerinin analitik ve yapay zeka iş yükleri için merkezi depo haline geldiğini ancak Trino ve BigQuery gibi dağıtılmış sorgu motorlarının anahtar tabanlı aramalar yerine analitik taramalar için optimize edilmesi nedeniyle bireysel kayıtların alınmasının verimsiz kaldığını açıkladı.
Google Cloud Storage gibi bulut nesne depoları artık milisaniyelik erişim gecikmesi sağlasa da, sorgu planlama, meta veri geçişi ve dosya keşfi, nokta sorguları için önemli miktarda ek yük getirebilir. Spotify, petabaytlarca çevrimiçi veriyi Bigtable’da sakladığını belirtti.
abyte’lar Google Cloud Storage tabanlı veri gölünde bulunur ve bu da veritabanlarına hizmet vermek için büyük ölçekli çoğaltmanın giderek daha maliyetli hale gelmesine neden olur. RAP, kullanıcı kimlikleri gibi arama anahtarlarını doğrudan Parquet dosyalarına ve satır konumlarına eşleyen harici bir dizin sunarak bu zorluğun üstesinden gelir.
Bugünden bakınca ne kadar güvenilir?
Binlerce dosyayı taramak yerine, bir sorgu, nesne depolamaya karşı hedeflenen aralıklı bir okuma yapmadan önce anahtarı indeks aracılığıyla çözer. Apache Iceberg tablolarına yeni veriler yazılırken, bir dizin oluşturucu, değişmez Parquet dosyalarını değiştirmeden yalnızca eklenen dizin parçaları oluşturur.
Spotify, yaklaşımın aynı veri kümelerinin analitik işlemeyi, makine öğrenimi hatlarını, dizüstü bilgisayarları, yapay zeka aracılarını ve gecikmeye duyarlı çevrimiçi uygulamaları, yinelenen depolama sistemlerini sürdürmeden desteklemesine izin verdiğini söyledi. Spotify’ın duyurusu, açık veri gölü teknolojilerini analitik işlemenin ötesine genişletmeye yönelik daha geniş çabaların ardından geldi.
Google Cloud yakın zamanda AI uygulamaları için Apache Iceberg tabanlı bir göl evi mimarisini tanımladı. Bu mimari, benzer şekilde verilere operasyonel erişimi mümkün kılarken veri tekrarını da azaltmayı hedefliyor. Bu yaklaşımın aksine RAP, mevcut Parquet dosyaları ve Iceberg tablolarıyla uyumlu kalarak nokta aramaları için optimize edilmiş özel bir harici indeksleme katmanı sunar.
Okuyucu için pratik anlamı
Mimari aynı zamanda veri mühendisliği topluluğu içinde tartışmalara da yol açtı. Andrew Lamb bir örnek olarak RAP’ı vurguladı Etkileşimli iş yükleri için genişleyen açık veri formatları.
Ayrı bir LinkedIn tartışmasında Vikas Singh, bulut nesne depolama performansındaki gelişmelerin, nokta sorgularıyla ilişkili gecikme süresinin daha fazlasını, RAP’in önceden hesaplanmış dizinler aracılığıyla azaltmak için tasarlandığı bir alan olan sorgu planlama ve meta veri erişimine doğru kaydırdığını savundu. Spotify ayrıca nokta sorgu gecikmesini azaltan çeşitli depolama düzeni optimizasyonlarını da açıkladı.
Bunlar, erişilen dosya sayısını azaltmak için verileri arama anahtarına göre sıralamayı, ilgili kayıtları bir arada gruplamayı, tek bir bitişik okuma yoluyla birden fazla özelliğin alınabilmesi için değer sütunlarını serpiştirmeyi ve Parke dosyalarını okumadan bazı sorguları karşılayabilen kaplama dizinlerini kullanmayı içerir.
Spotify’a göre bu teknikler, daha az depolama işlemi karşılığında dosya veya dizin boyutunda mütevazi artışlar sağlıyor ve bazı nokta sorgularının yalnızca birkaç kilobaytlık tek bir aralıklı okuma aracılığıyla sunulmasına olanak tanıyor.
Aralıklı değer sütunu düzeni, birden çok sütundan ilgili değerleri mümkün kılar (Kaynak: Spotify Blog Gönderisi) Spotify aynı zamanda ikincil dizinleri de destekleyerek Parquet dosyalarını yeniden yazmaya gerek kalmadan alıcı kimliği veya satıcı kimliği gibi birden çok arama boyutunda verimli sorgulamaya olanak tanır.
Karma tabanlı dizinler tam aramaları desteklerken, sıralanmış dizinler aralık sorgularına olanak tanır. Spotify, ikincil dizinlerin hizmet katmanında yönetildiğini ve yeni erişim yollarına izin verdiğini söyledi hem analitik taramalar hem de etkileşimli nokta aramaları için aynı Parquet veri kümelerini kullanmaya devam ederken veri hatlarını değiştirmeden.
Z sıralaması ve Hilbert eğrileri gibi depolama düzeni teknikleri, ikincil arama boyutları için veri konumunu daha da iyileştirebilir.
Daha fazlasını gösterDaha az konu göster İlgili Sponsorlar Stripe, Veritabanı İyileştirme Projesini Otomatikleştirmek için Grafik Arama ve Durum Makinelerini Kullanıyor Valhalla’nın İlk Önizlemesi: JEP 401, Java Nesneleri için == Pinterest’in Merkezi Bir Terraform Boru Hattı ile AWS Altyapısını Geniş Ölçekte Nasıl Güvenceye Aldığını Yeniden Tanımlıyor MCP Durum Bilgisiz Hale Geliyor ve Geliştiriciler Bunun Sadece Bir API Olup Olmadığını Soruyor Canva, Yüz Milyonlarca Oturumda Oturum İptali için S3 Tabanlı Mimariyi Paylaşıyor Bulut ve DevOps InfoQ Trendler Raporu 2026: Yapay Zeka, Dayanıklılık, Platformlar, FinOps ve Egemenlik InfoQ’da geçen haftanın içeriğinin özeti her Salı günü gönderilir.
250.000’den fazla kıdemli geliştiriciden oluşan topluluğa katılın. Bir örneği görüntüle
İlgili yazılar
- Kredi notu nedir, ne yükseltir ne düşürür
- Tapo TC73 Pan/Tilt Yapay Zekâlı Kamerayla Akıllı Ev Güvenliği
Ek okuma: MDN Web Docs
Editörün Notu
Spotify’nin RAP mimarisi, veri göllerinde hızlı ve düşük gecikmeli kayıt sorgulamaları mümkün kılarak gerçek zamanlı analiz ve yapay zeka uygulamalarının performansını artırıyor; benzer projelerde dış indeksleme yöntemleri değerlendirilebilir.
