Lambda Architecture

لو عندنا سيستم عليه كمية عملاء كبيرة وفيه كمية داتا ضخمة جدا Big Data زي سيستم "محفظة إلكترونية" مثلا وعاوزين نطلع لكل عميل مجموعة تقارير وإحصائيات مهمة ورصيده الحالي في اللحظة اللي يفتح فيها الموبايل أبليكيشن.

تقارير وإحصائيات زي مثلا:

- جراف يوضح معدلات الإنفاق آخر أسبوع مقارنة بآخر 4 أسابيع السابقة

-جراف يوضح معدلات الإنفاق على المنصات المشهورة بحيث يبقى واضح كل منصة تم تم الشراء منها بنسة كم من أمازون، نون، أوبر، ترينديول، نينجا،، كيتا، جوجل بلاي ...إلخ.

-تصنيف الإنفاق بحيث يبقى واضح كل نسبة تم إنفاقها تتبع ايه، كم تم إنفاقه على منصات التعليم، منصات الترفيه(Games, Filsms, etc)، السلع الأساسية، ...إلخ.

هنا يجي دور واحد من أشهر المعماريات للتعامل مع هذا السيناريو وهو "Lambda Architecture".

خلينا نتفق إن الداتا الأصلية عندنا (Raw Data) هي كل "قرش" دخل أو خرج من الحساب، مع شوية معلومات عن القرش ده، زي خرج إمتى واتصرف في أي منصة\متجر، وتصنيف الإنفقاق ده، ...إلخ.

فكرة الـ"Lambda Architecture" قائمة على ثلاث Layers للتعامل مع الداتا القديمة، الداتا الآنية، ودمج الاتنين مع بعض، كالآتي:

1. الـ Batch Layer

دي السيرفس اللي بتشتغل كل يوم الساعة 12 بليل مثلا. بتعمل إيه؟

  • بتمسك كل المعاملات اللي تمت من سنة لحد الساعة 12 بليل.

  • تحسب الإجمالي، الفوايد، الضرائب، والمصاريف الإدارية "بالمليم".

  • وتطلع نتيجة اسمها (رصيد الإغلاق): "رصيدك لحد امبارح بليل هو 10,000 جني".

  • تجهز الإحصائيات اللي بنحتاجها في التقارير والGraphs.

  • النتايج دي بتتحط في جدول جاهز وسريع (Batch View).

2. الـ Speed Layer (الرادار الصاحي)

دلوقتي الساعة 2 الظهر، والعميل راح اشترى "قهوة" بـ 50 جني وسحب "1000 جنيه" من الـ ATM وركب أوبر 4 مرات ب400 جني.

  • الـ Batch Layer نايمة، مش هتعرف الحاجات دي غير بليل.

  • الـ Speed Layer صاحية، لقطت المعاملات ده في نفس ثانية حدوثها وقالت: "في 1450 جني اتسحبوا دلوقتي".

  • بتخزن المعلومة دي في جدول سريع جداً (Real-time View).

3. الـ Serving Layer (لحظة فتح الأبليكيشن)

العميل فتح الموبايل الساعة 2:05 الظهر عشان يشوف رصيده، أو تقرير\جراف معين. السيستم بيعمل إيه؟

  1. يروح للـ Batch View: "يا باشا، العميل ده كان معاه كام لحد امبارح بليل؟" .. الرد: 10,000 جني.

  2. يروح للـ Real-time View: "في حاجة حصلت النهاردة؟" .. الرد: ايوه، عمليات بـ 1450 جنيه.

  3. الـ Serving Layer تعمل العمليات الحسابية اللازمة بحيث تدمج بين ال2 views وتطلع الرصيد الحالي: (8550 جني).

ليه اللفة دي كلها؟

  • السرعة: العميل لما فتح الأبليكيشن، السيستم محسِبش تاريخه كله من سنة عشان يطلعله رصيده مظبوط والتقارير\الجرافز\الإحصائيات أب تو ديت، هو عمل عمليات بسيطة على 2 views جاهزين.

  • الدقة: لو الـ Speed Layer "هنجت" أو حصل أي خطأ فيها بسبب ضغط الشبكة، أول ما الساعة تيجي 12 بليل، الـ Batch Layer هتصحى وتراجع كل المعاملات الأصلية من الهارد ديسك وتصلح الرقم وتخليه دقيق 100% لليوم الجديد.

تخيل لو السيستم "Batch بس"؟

العميل هيسحب فلوس ويفتح الأبليكيشن يلاقي رصيده لسه زي ما هو مسمعش! (وده كان بيحصل زمان في البنوك).

تخيل لو السيستم "Speed بس"؟

لو السيستم وقع أو حصلت غلطة حسابية، رصيد العميل ممكن يضيع أو يتحسب غلط للأبد لأن مفيش "دفتر كبير" (Batch) بيرجع يراجع ورا الحسابات اللحظية.

Comments

Post a Comment

Popular posts from this blog

Maxpooling vs minpooling vs average pooling

Image
Pooling is performed in neural networks to reduce variance and computation complexity. Many times, beginners blindly use a pooling method without knowing the reason for using it. Here is a comparison of three basic pooling methods that are widely used. The three types of pooling operations are: Max pooling: The maximum pixel value of the batch is selected. Min pooling: The minimum pixel value of the batch is selected. Average pooling: The average value of all the pixels in the batch is selected. The batch here means a group of pixels of size equal to the filter size which is decided based on the size of the image. In the following example, a filter of 9x9 is chosen. The output of the pooling method varies with the varying value of the filter size. The operations are illustrated through the following figures. Average, Max and Min pooling of size 9x9 applied on an image We cannot say that a particular pooling method is better over others generally. The choice of pooling operation is made...
Read more

Best Practices for Storing and Loading JSON Objects from a Large SQL Server Table Using .NET Core

 Best Practices for Storing and Loading JSON Objects from a Large SQL Server Table Using .NET Core Introduction JSON (JavaScript Object Notation) is widely used for storing structured data in SQL Server. However, when dealing with large tables, inefficient handling of JSON data can lead to performance bottlenecks, high storage costs, and slow queries. In this article, we will cover best practices for saving and loading JSON objects from large SQL Server tables using .NET Core. We will focus on storage strategies, indexing, efficient querying, and optimized data retrieval using Entity Framework Core (EF Core) and Dapper. --- 1. Choosing the Right Storage Strategy SQL Server supports JSON natively, but choosing the correct storage method depends on your use case. Option 1: Store JSON as NVARCHAR(MAX) (Best for Flexibility & Simplicity) ✔ Ideal for semi-structured or frequently changing data. ✔ Suitable when you need to store the entire JSON object but rarely query individual fiel...
Read more

Generative AI - Prompting with purpose: The RACE framework for data analysis

Image
  Prompting with purpose: The RACE framework for data analysis We've already established that the quality of your prompts directly influences the quality of your AI-generated outputs. A well-crafted prompt acts as a guiding light, leading the AI toward insightful and actionable results. But how can we consistently achieve this level of clarity and precision in our prompts? Let’s look into the RACE framework—an invaluable tool to elevate your prompts, ensuring they are clear, insightful, and evidence-based. This framework offers a structured approach to prompt engineering, helping you break down complex tasks into manageable steps and communicate your intentions effectively to the AI. This reading will assist you with developing a powerful methodology with generative AI for your data analysis tasks, leading to more accurate, relevant, and impactful results. What is the RACE framework? RACE is an acronym that stands for Research, Answer, Cite, and Expand. It serves as a valuable fram...
Read more