PayPal Gimel data platform¶

Тип материала — корпоративный кейс F07. Исторический срез относится к описанию в публикации.

Компания и задача¶

Упростить чтение и запись datasets через единый API и discovery в каталоге.

Первичный источник и период¶

2018-04-17. Проверено 2026-11-03. PayPal Gimel engineering publication

Дополнительное свидетельство об интерфейсах кода. Официальный репозиторий Gimel

Подтверждённые компоненты, технологии и числа¶

FACT — PCatalog предоставляет метаданные dataset. Data API выбирает реализацию хранилища через provider/factory. Публикация показывает batch Kafka→HDFS/Hive и streaming Kafka→HBase.

Поток данных¶

INFERENCE — реконструкция по публикации. Стрелки описывают логическую связь компонентов.

flowchart LR
 A["SQL or Data API"] --> B["PCatalog and dataset factory"]
 B --> C["Storage adapters"]

Отказы и границы гарантий¶

INFERENCE — Readiness в каталоге полезна для discovery. Для публикации финансовых данных дополнительно нужны подтверждённый source cut и проверка commits конкретных adapters.

Нераскрытые детали¶

UNKNOWN — cross-store atomicity, гарантия exactly-once, RPO и современный статус production.

Переносимость решения¶

INFERENCE — Абстрагировать discovery и интерфейс доступа, сохраняя видимыми semantics каждой системы хранения.