Data Engineering Handbook¶
Практический справочник по инженерии данных и архитектуре высоконагруженных систем.
Справочник для Senior Data Engineer, Technical Lead и Data Architect, а также для инженеров, которые готовятся к этим ролям. Он помогает сравнивать архитектурные варианты, определять границы согласованности и проектировать восстановление после отказов. Примеры охватывают банки, платежи, FinTech и iGaming.
Семь разделов¶
| Раздел | Что внутри |
|---|---|
| 01. Архитектурные паттерны | Event Sourcing, CQRS, Saga, CDC, Transactional Outbox и выбор потоковой архитектуры |
| 02. Базы данных и хранение | Механизмы хранения, конкуренция, индексы, репликация и восстановление |
| 03. Обработка данных и оркестрация | Потоки и batch, окна, replay, расписания и контракты источников и приёмников |
| 04. Надёжность и согласованность | Границы гарантий, идемпотентность, финансовая сверка и DR |
| 05. Архитектуры FinTech | Платежи, ledger, wallet, fraud, AML и отчётность |
| 06. Архитектуры iGaming | Ставки, коэффициенты, wallet, settlement и responsible gaming |
| 07. Архитектурный практикум | 12 задач с расчётами, альтернативами, отказами и критериями приёмки |
В примерах используются PostgreSQL, Oracle, ClickHouse, Redis, Kafka, Flink, Spark, Airflow, Debezium, объектное хранилище и табличные форматы Lakehouse. Версии и границы применимости приведены в соответствующих статьях.
Как читать¶
- Начните с карты архитектурных уровней и глоссария.
- Выберите знакомую задачу, например приём ставки или платёжный процессинг. Проследите путь от входного запроса до подтверждённого бизнес-эффекта.
- Сверьте проектные решения с матрицей отказов. Затем решите одну из задач практикума и сравните свой вариант с разбором.
Для поиска, навигации и диаграмм можно поднять локальный сайт MkDocs. О справочнике описывает правила достоверности, а ограничения помогают интерпретировать результаты лабораторий и корпоративные кейсы.
Корпоративные реконструкции — авторские учебные модели по открытым публикациям. Официальные сведения компаний приводятся с указанием источника. Происхождение материалов
Автор и проект¶
Автор — Вячеслав Бочкарев. Адрес проекта — GitHub. Адрес сайта — data.bochk.ru.
Как предложить исправление · Лицензирование и сторонние материалы · Редакционный стандарт · Дорожная карта