📃
Tech White Papers
  • 📃White Papers
  • 🪶Apache
    • Kafka (EN)
      • Kafka Connect
      • Kafka Streams
      • ksqlDB
    • Ignite (TR)
      • Clustering
        • Baseline Topology
      • Thin Clients
      • Data Modeling
        • Data Partitioning
        • Affinity Colocation
      • Memory Architecture
      • Persistence
        • External Storage
        • Swapping
        • Snapshot
        • Disk Compression
        • Persistence Tuning
        • Change Data Capture
      • Cluster Snapshots
      • Data Rebalancing
      • Data Streaming
      • Using Key-Value API
        • Basic Cache Operations
        • Working With Binary Objects
      • Performing Transactions
      • Working with SQL
        • Understanding Schemas
        • Defining Indexes
        • Distributed Joins
      • Distributed Computing
      • Machine Learning
      • Using Continuous Queries
      • Using Ignite Messaging
      • .NET Specific
        • LINQ
        • Serialization
      • Working With Events
        • Events
      • Performance and Troubleshooting
        • Generic Performance Tips
        • Memory and JVM Tuning
        • Persistence Tuning
        • SQL Performance Tuning
        • Thread Pools Tuning
    • Pulsar (TR)
  • 📜Data
    • ClickHouse (TR)
    • QuestDB (TR)
  • Comparison
    • Pulsar vs Kafka
    • ClickHouse vs QuestDB
  • Architectural
    • Microservices
      • Design Principles
      • Design Patterns
Powered by GitBook
On this page

Was this helpful?

  1. Apache
  2. Ignite (TR)
  3. Persistence

Change Data Capture

03/02/2023

PreviousPersistence TuningNextCluster Snapshots

Last updated 2 years ago

Was this helpful?

Change Data Capture (CDC), local node’da değiştirilen girdileri eşzamansız olarak almak için kullanılan bir veri işleme modelidir, böylece değiştirilen girdi kullanılarak eylem gerçekleştirilebilir.

CDC deneysel bir özelliktir. API veya tasarım mimarisi değişebilir.

Aşağıda bazı CDC kullanım durumları verilmiştir:

  • Depodaki streaming değişiklikleri

  • Search index güncellemeleri

  • İstatistik hesaplama (streaming queries)

  • Denetim(Auditing) günlükleri

  • Harici sistemle zaman uyumsuz etkileşim: Denetleme, iş süreci başlatma, vb.

Ignite, ignite-cdc.s uygulaması ve Java API ile CDC'yi uygular.

Aşağıda CDC uygulaması ve WAL arşiv segmentleri aracılığıyla entegre edilen Ignite node’u bulunmaktadır:

CDC etkinleştirildiğinde, Ignite server node’u, özel db/cdc/{consistency_id} dizinindeki her WAL arşivi segmentine bir sabit bağlantı oluşturur. ignite-cdc.s uygulaması farklı bir JVM'de çalışır ve yeni arşivlenen WAL segmentlerini işler. Segment, ignite-cdc.s tarafından tamamen işlendiğinde kaldırılır. Her iki bağlantı (arşiv ve CDC) kaldırıldığında gerçek disk alanı boştur.

Tüketim durumu, işlenen son olaya yönelik bir işaretçidir. Tüketici, tüketim durumunu kaydetmek için ignite-cdc.s'yi söyleyebilir. Başlangıçta olay işlemeye son kaydedilen durumdan devam edilecektir.

🪶
Detaylı bilgi için…