03. Data Processing & Orchestration

Главная · ROADMAP · Отчёт3B (архив рабочего проекта)

Этап3B: 12 технологий, 15 глубоких тем, 10 сравнений, шесть walkthrough с architecture/normal/failure diagrams и 12 executable example guides. Разделы04–07 остаются планами. Stage3A и его QA artifacts сохранены.

Уровни и guarantees

Transport log/queue, processing state, workflow orchestration и SQL transformation — разные уровни. Airflow не streaming engine; dbt не ingestion; CDC не Event Sourcing. Kafka/Streams/Pulsar transactions и Flink/Spark state checkpoints не включают автоматически SQL/Redis/HTTP effects. Карта уровней01 и storage02 остаются опорой.

FACT — versioned source; INFERENCE — инженерный выбор; HYPOTHETICAL — все новые учебные architectures/diagrams/code; UNKNOWN — непроверенное. Baselines не являются рекомендацией latest/security support. Version registry, журнал ограничений (архив рабочего проекта).

Технологии

• Apache Kafka
• Kafka Connect
• Debezium
• Apache Flink
• Apache Spark / Structured Streaming
• Apache Airflow
• Apache NiFi
• Apache Camel
• Kafka Streams
• RabbitMQ
• Apache Pulsar
• dbt

Глубокие темы

• Kafka partitions, offsets, consumer groups и rebalancing
• Kafka retention, compaction и replay
• Kafka transactions и idempotent producers
• Event time, processing time и watermarks
• Windowing, late events и stateful processing
• Flink checkpoints, savepoints и state backends
• Spark micro-batch, watermarking и checkpointing
• Airflow DAG, scheduling, data intervals и catchup
• Airflow Dynamic Task Mapping, XCom и backfill
• CDC snapshot, WAL/binlog и schema evolution
• Kafka Connect source/sink semantics и DLQ
• Backpressure, retry, ordering и poison messages
• Schema Registry, Avro, Protobuf и JSON Schema
• End-to-end exactly-once и external side effects
• Observability и Data Quality в pipeline

Сравнения

• Kafka vs RabbitMQ vs Pulsar
• Flink vs Spark Structured Streaming
• Kafka Streams vs Flink
• Airflow vs NiFi
• Airflow vs dbt
• Debezium CDC vs application events
• Batch vs Micro-batch vs Streaming
• Kafka Connect vs custom consumers
• Event-time vs Processing-time
• At-least-once vs Exactly-once

Практические архитектуры

• A. Banking CDC
• B. iGaming Real-time Antifraud
• C. Financial Transaction Pipeline
• D. Real-time Analytics
• E. Daily Financial Reporting
• F. Multi-source Integration Platform

12 примеров и команды запуска · 55 локальных Mermaid renders (архив рабочего проекта).

Типичные ошибки проектирования

Global topic ordering, offset commit=external commit, Redis INCR как checkpoint EOS, Airflow как streaming, CDC snapshot как повтор monetary command, backfill в live sums без generation и dedup horizon.

Вопросы на собеседовании

Как доказать E2E guarantee? Определить source/state/sink transaction boundaries, stable identity/version, source retention, failures и recovery; выполнить проверку каждого gap. Successful static audit или красивая схема этого не доказывают.

Практические упражнения

Выберите walkthrough, составьте failure matrix и воспроизведите crash/replay на реальных pinned runtimes. Сохраняйте evidence input offsets, target commits, rejected scope и reconciliation, а не только task status.

Дополнительные источники

Первичные документы и версии · Research companies с прежними границами · Отчёт и фактически проверенные guarantees (архив рабочего проекта).