التحكم في مزامنة ClickPipe لـ Postgres
مستند يشرح التحكم في مزامنة ClickPipe لـ Postgres
تشرح هذه الوثيقة كيفية التحكّم في مزامنة Postgres ClickPipe عندما يكون ClickPipe في وضع CDC (قيد التشغيل).
تتكوّن معمارية ClickPipes لقواعد البيانات من عمليتين متوازيتين: السحب من قاعدة البيانات المصدر والدفع إلى قاعدة البيانات الهدف. وتخضع عملية السحب لإعداد مزامنة يحدّد مدى تكرار سحب البيانات وكمية البيانات التي ينبغي سحبها في كل مرة. والمقصود بعبارة “في كل مرة” هو دفعة واحدة، لأن ClickPipe يسحب البيانات ويدفعها على شكل دفعات.
هناك طريقتان أساسيتان للتحكم في مزامنة Postgres ClickPipe. وسيبدأ ClickPipe بالدفع عند استيفاء أحد الإعدادات أدناه.
فاصل المزامنة الخاص بـ pipe هو مقدار الوقت (بالثواني) الذي يسحب خلاله ClickPipe السجلات من قاعدة البيانات المصدر. ولا يشمل هذا الفاصل الوقت اللازم لدفع ما لدينا إلى ClickHouse.
القيمة الافتراضية هي دقيقة واحدة.
يمكن ضبط فاصل المزامنة على أي عدد صحيح موجب، ولكن يُوصى بالإبقاء عليه فوق 10 ثوانٍ.
حجم دفعة السحب هو عدد السجلات التي يسحبها ClickPipe من قاعدة البيانات المصدر في دفعة واحدة. والمقصود بالسجلات هنا عمليات الإدراج والتحديث والحذف التي تُجرى على الجداول التي تكون جزءًا من الـ pipe.
القيمة الافتراضية هي 100,000 سجل.
والحد الأقصى الآمن هو 10 ملايين.
عند تنفيذ معاملة على قاعدة البيانات المصدر، ينتظر ClickPipe حتى يتلقى COMMIT الخاص بها قبل أن يتابع. وهذا يتجاوز كلاً من فاصل المزامنة وحجم دفعة السحب.
يمكنك ضبط فاصل المزامنة وحجم دفعة السحب عند إنشاء ClickPipe أو تعديل ClickPipe موجود.
عند إنشاء ClickPipe، ستظهر هذه الإعدادات في الخطوة الثانية من معالج الإنشاء، كما هو موضح أدناه:
عند تعديل ClickPipe موجود، يمكنك الانتقال إلى علامة التبويب الإعدادات الخاصة بالمسار، ثم إيقافه مؤقتًا والنقر على تهيئة هنا:
سيؤدي ذلك إلى فتح لوحة جانبية تحتوي على إعدادات المزامنة، حيث يمكنك تغيير فاصل المزامنة وحجم دفعة السحب:
لنتحدث عن كيفية استخدام هذه الإعدادات للتعامل مع replication slot كبير في قناة CDC.
لا يتناسب وقت دفع البيانات إلى ClickHouse خطيًا مع وقت سحبها من قاعدة البيانات المصدر. ويمكن الاستفادة من ذلك لتقليل حجم replication slot الكبير.
ومن خلال زيادة كلٍّ من فاصل المزامنة وحجم دفعة السحب، سيقوم ClickPipe بسحب كمية كبيرة جدًا من البيانات من قاعدة البيانات المصدر دفعةً واحدة، ثم دفعها إلى ClickHouse.
يمكنك الاطلاع على المدة التي تستغرقها كل دفعة في جدول CDC Syncs ضمن علامة التبويب Metrics في ClickPipe. لاحظ أن المدة هنا تشمل أيضًا وقت الإرسال، وإذا لم تَرِد أي صفوف، فسينتظر ClickPipe، ويُحتسب وقت الانتظار أيضًا ضمن المدة.
آخر تعديل في ٢٥ يونيو ٢٠٢٦