مقدمة
تخيّل قاعدة بيانات لا تخزن البيانات فحسب، بل تفهمها أيضًا. في السنوات الأخيرة، أحدثت تطبيقات الذكاء الاصطناعي ثورةً في جميع الصناعات تقريبًا، وغيّرت مستقبل الحوسبة.
تُغيّر قواعد البيانات المتجهة طريقة إدارتنا للبيانات غير المنظمة، مما يسمح لنا بتخزين المعرفة بطريقة تُوثّق العلاقات والتشابهات والسياق. بخلاف قواعد البيانات التقليدية، التي تعتمد بشكل أساسي على البيانات المنظمة المُخزّنة في جداول وتُركّز على التطابقات الدقيقة، تُتيح لنا قواعد البيانات المتجهة تخزين البيانات غير المنظمة - مثل الصور والنصوص والمقاطع الصوتية - بتنسيق يُمكن لنماذج التعلّم الآلي فهمه ومقارنته.
بدلاً من الاعتماد على التطابقات الدقيقة، تستطيع قواعد بيانات المتجهات إيجاد "أقرب" التطابقات وتسهيل استرجاع العناصر البديلة أو المتشابهة دلاليًا بكفاءة. في عصرنا الحالي، حيث يُدار كل شيء بالذكاء الاصطناعي، أصبحت قواعد بيانات المتجهات أساسية لتطبيقات تشمل نماذج اللغات الكبيرة ونماذج التعلم الآلي التي تُولّد وتُعالج التضمينات.
إذًا، ما هو التضمين؟ سنتناوله بالتفصيل في هذه المقالة.
سواء بالنسبة لأنظمة التوصية أو لتشغيل الذكاء الاصطناعي المحادثة، أصبحت قواعد البيانات المتجهة حلاً قويًا لتخزين البيانات يمكّننا من الوصول إلى البيانات والتفاعل معها بطرق جديدة ومثيرة.
الآن دعونا نلقي نظرة على قواعد البيانات الأكثر استخدامًا:
- SQL: يخزّن البيانات المهيكلة ويستخدم الجداول لتخزين البيانات بمخطط مُحدّد. أشهرها MySQL وOracle Database وPostgreSQL.
- NoSQL: قاعدة بيانات مرنة للغاية، ولا تعتمد على مخططات. كما أنها معروفة بمعالجة البيانات غير المنظمة أو شبه المنظمة. وقد أثبتت فعاليتها في العديد من تطبيقات الويب الفورية والبيانات الضخمة. أشهرها MongoDB وCassandra.
- الرسم البياني: ثم ظهر الرسم البياني الذي يخزن البيانات كعقد وحواف، وهو مصمم لإدارة البيانات المترابطة. مثال: Neo4j وArangoDB.
- المتجهات: قواعد بيانات مصممة لتخزين واستعلام المتجهات عالية الأبعاد، مما يتيح البحث عن التشابه وتوسيع نطاقه لمهام الذكاء الاصطناعي والتعلم الآلي. أشهرها Pinecone وWeaviate وChroma.
المتطلبات الأساسية
- معرفة مقاييس التشابه: فهم مقاييس مثل تشابه جيب التمام، أو المسافة الإقليدية، أو حاصل الضرب النقطي لمقارنة بيانات المتجهات.
- المفاهيم الأساسية للتعلم الآلي والذكاء الاصطناعي: معرفة نماذج وتطبيقات التعلم الآلي، وخاصة تلك التي تولد التضمينات (على سبيل المثال، معالجة اللغة الطبيعية، والرؤية الحاسوبية).
- المعرفة بمفاهيم قواعد البيانات: المعرفة العامة بقواعد البيانات بما في ذلك مبادئ الفهرسة والاستعلام وتخزين البيانات.
- مهارات البرمجة: الكفاءة في لغة بايثون أو اللغات المماثلة المستخدمة عادة في مكتبات التعلم الآلي وقواعد البيانات المتجهة.
لماذا نستخدم قواعد البيانات المتجهة وكيف تختلف؟
لنفترض أننا نخزن البيانات في قاعدة بيانات SQL تقليدية، حيث تُحوّل كل نقطة بيانات إلى تضمين وتُخزّن. عند بناء استعلام، يُحوّل أيضًا إلى تضمين، ثم نحاول إيجاد أكثرها صلةً بمقارنة تضمين هذا الاستعلام بالتضمينات المخزنة باستخدام تشابه جيب التمام.
ومع ذلك، يمكن أن تصبح هذه الطريقة غير فعالة لعدة أسباب:
- أبعاد عالية: عادةً ما تكون التضمينات عالية الأبعاد. قد يؤدي هذا إلى بطء في أوقات الاستعلام، إذ قد تتطلب كل مقارنة مسحًا كاملاً لجميع التضمينات المخزنة.
- مشاكل قابلية التوسع: تُصبح التكلفة الحسابية لحساب تشابه جيب التمام بين ملايين التضمينات باهظةً مع مجموعات البيانات الضخمة. قواعد بيانات SQL التقليدية غير مُحسّنة لهذه المهمة، مما يُصعّب تحقيق الاسترجاع الفوري.
لذلك، قد تواجه قواعد البيانات التقليدية صعوبة في إجراء عمليات بحث فعّالة وواسعة النطاق. علاوة على ذلك، فإن كمية كبيرة من البيانات المُولّدة يوميًا غير مُهيكلة ولا يُمكن تخزينها في قواعد البيانات التقليدية.
حسنًا، لمعالجة هذه المشكلة، نستخدم قاعدة بيانات متجهية. في قاعدة بيانات المتجهات، يوجد مفهوم الفهرس الذي يُمكّن من البحث الفعّال عن التشابه للبيانات عالية الأبعاد. من خلال تنظيم تضمينات المتجهات، يلعب الفهرس دورًا هامًا في تسريع الاستعلامات، ويسمح لقاعدة البيانات باسترجاع متجهات مشابهة لمتجه الاستعلام بسرعة حتى في مجموعات البيانات الكبيرة. تُقلّل فهارس المتجهات مساحة البحث، وتُتيح التوسع إلى ملايين أو مليارات المتجهات. هذا يُتيح استجابة سريعة للاستعلامات حتى في مجموعات البيانات الكبيرة.
في قواعد البيانات التقليدية، نبحث عن الصفوف التي تُطابق استعلامنا. نستخدم مقاييس التشابه في قواعد بيانات المتجهات للعثور على المتجه الأكثر تشابهًا مع استعلامنا.
تستخدم قواعد بيانات المتجهات مجموعة من الخوارزميات للبحث عن أقرب جار تقريبي (ANN)، والتي تُحسّن البحث من خلال التجزئة، والتكميم، والأساليب القائمة على الرسوم البيانية. تعمل هذه الخوارزميات معًا في مسار واحد لتوفير نتائج سريعة ودقيقة. ولأن قواعد بيانات المتجهات توفر مطابقة تقريبية، فهناك توازن بين الدقة والسرعة، إذ قد تؤدي الدقة العالية إلى إبطاء الاستعلام.
أساسيات تمثيل المتجهات
ما هي المتجهات؟
يمكن اعتبار المتجهات مصفوفات من الأرقام المخزنة في قاعدة بيانات. يمكن تحويل أي نوع من البيانات، مثل الصور والنصوص وملفات PDF والملفات الصوتية، إلى قيم عددية وتخزينها في قاعدة بيانات متجهة كمصفوفة. يتيح هذا التمثيل العددي للبيانات ما يُسمى بالبحث عن التشابه.
قبل فهم المتجهات، دعونا نحاول فهم البحث الدلالي والتضمينات.
ما هو البحث الدلالي؟
البحث الدلالي هو طريقة للبحث عن معنى الكلمات والسياق بدلًا من مطابقة العبارات بدقة. بدلًا من التركيز على الكلمة المفتاحية، يحاول البحث الدلالي فهم المعنى. على سبيل المثال، كلمة "بايثون". في البحث التقليدي، قد تُعطي كلمة "بايثون" نتائج لكلٍّ من برمجة بايثون وثعابين بايثون، لأنه يتعرف فقط على الكلمة نفسها. أما في البحث الدلالي، فيبحث المحرك عن السياق. إذا كانت عمليات البحث الأخيرة حول "لغات البرمجة" أو "التعلم الآلي"، فمن المرجح أن تُظهر نتائج حول برمجة بايثون. أما إذا كانت عمليات البحث حول "حيوانات غريبة" أو "زواحف"، فسيفترض أن البايثون ثعابين، ويُعدّل النتائج وفقًا لذلك.
من خلال تحديد السياق، يساعد البحث الدلالي على إظهار المعلومات الأكثر صلة استنادًا إلى القصد الفعلي.
ما هي التضمينات؟
تعتبر التضمينات طريقة لتمثيل الكلمات كمتجهات رقمية (في الوقت الحالي، دعنا نفكر في المتجهات كقوائم من الأرقام؛ على سبيل المثال، قد تصبح كلمة "قطة" [.1,.8,.75,.85]. في مساحة عالية الأبعاد، تعالج أجهزة الكمبيوتر بسرعة هذا التمثيل الرقمي للكلمة.
للكلمات معانٍ وعلاقات مختلفة. على سبيل المثال، في تضمين الكلمات، تحمل كلمتا "ملك" و"ملكة" متجهات مشابهة لـ "ملك" و"سيارة".
يمكن للتضمينات استيعاب سياق الكلمة بناءً على استخدامها في الجمل. على سبيل المثال، قد تعني كلمة "bank" مؤسسة مالية أو ضفة نهر، وتساعد التضمينات على إدراك هذه المعاني بناءً على الكلمات المحيطة. تُعد التضمينات طريقة أذكى لأجهزة الكمبيوتر لفهم الكلمات والمعاني والعلاقات.
إحدى طرق التفكير في التضمين هي ربط السمات أو الخصائص المختلفة للكلمة، ثم تعيين قيم لكل سمة. ينتج عن ذلك سلسلة من الأرقام تُسمى متجهًا. هناك تقنيات متنوعة يمكن استخدامها لإنشاء تضمينات الكلمات هذه. لذا، يُعد تضمين المتجهات طريقة لتمثيل جملة أو مستند من الكلمات بأرقام تُظهر معناها وعلاقاتها. تتيح تضمينات المتجهات تمثيل هذه الكلمات كنقاط في الفضاء حيث تكون الكلمات المتشابهة قريبة من بعضها البعض.
تتيح تضمينات المتجهات هذه إجراء عمليات رياضية مثل الجمع والطرح، والتي يمكن استخدامها لتحديد العلاقات. على سبيل المثال، يمكن لعملية المتجهات المعروفة "ملك - رجل + امرأة" أن تُنتج متجهًا قريبًا من "ملكة".
معايير التشابه في فضاءات المتجهات
لقياس تشابه كل متجه، تُستخدم أدوات رياضية لتحديد التشابه أو الاختلاف. فيما يلي بعض منها:
- تشابه جيب التمام: يقيس جيب التمام الزاوية بين متجهين، ويتراوح من -1 إلى 1. حيث -1 يعني متجهين متعاكسين تمامًا، و1 يعني متجهين متطابقين، و0 يعني متجهين متعامدين أو مختلفين.
- المسافة الإقليدية: تقيس المسافة المستقيمة بين نقطتين في فضاء متجه. تشير القيم الأصغر إلى تشابه أكبر.
- مسافة مانهاتن (المعيار L1): تقيس المسافة بين نقطتين عن طريق جمع الفرق المطلق لمكوناتهما المقابلة.
- مسافة مينكوفسكي: تعميم للمسافات الإقليدية ومانهاتن.
هذه هي مقاييس المسافة أو التشابه الأكثر شيوعًا المستخدمة في خوارزميات التعلم الآلي.
قواعد بيانات المتجهات الشائعة
فيما يلي بعض قواعد بيانات المتجهات الأكثر شيوعًا والتي تُستخدم على نطاق واسع اليوم:
- Pinecone: قاعدة بيانات متجهية مُدارة بالكامل، تتميز بسهولة استخدامها وقابليتها للتوسع وسرعة بحثها التقريبي عن أقرب جار (ANN). تتميز Pinecone بتكاملها مع سير عمل التعلم الآلي، وخاصةً أنظمة البحث الدلالي والتوصيات.
- FAISS (بحث التشابه بالذكاء الاصطناعي في فيسبوك): طُوِّرت FAISS بواسطة Meta (المعروفة سابقًا باسم فيسبوك)، وهي مكتبة مُحسَّنة للغاية للبحث عن التشابه وتجميع المتجهات الكثيفة. وهي مفتوحة المصدر، فعّالة، وتُستخدم على نطاق واسع في الأبحاث الأكاديمية والصناعية، وخاصةً لعمليات البحث عن التشابه واسعة النطاق.
- Weaviate: قاعدة بيانات متجهات مفتوحة المصدر، سحابية، تدعم إمكانيات البحث المتجهي والهجين. تشتهر Weaviate بتكاملها مع نماذج من Hugging Face وOpenAI وCohere، مما يجعلها خيارًا ممتازًا لتطبيقات البحث الدلالي ومعالجة اللغة الطبيعية.
- ميلفوس: قاعدة بيانات متجهية مفتوحة المصدر، قابلة للتطوير بشكل كبير، مُحسّنة لتطبيقات الذكاء الاصطناعي واسعة النطاق. تدعم ميلفوس أساليب فهرسة متنوعة، وتتميز بمنظومة تكامل واسعة، مما يجعلها شائعة الاستخدام في أنظمة التوصية الفورية ومهام الرؤية الحاسوبية.
- Qdrant: قاعدة بيانات متجهية عالية الأداء تُركز على سهولة الاستخدام، وتوفر ميزات مثل الفهرسة الفورية والدعم الموزع. صُممت للتعامل مع البيانات متعددة الأبعاد، مما يجعلها مناسبة لمحركات التوصية، والتخصيص، ومهام معالجة اللغة الطبيعية.
- كروما: مفتوح المصدر، مصمم خصيصًا لتطبيقات ماجستير الحقوق، يوفر كروما مخزن تضمين لبرامج ماجستير الحقوق، ويدعم عمليات بحث مماثلة. يُستخدم غالبًا مع LangChain في تطبيقات الذكاء الاصطناعي الحواري وغيرها من تطبيقات ماجستير الحقوق.
الأشياء التي يجب عليك استخدامها
الآن، دعونا نراجع بعض حالات استخدام قواعد البيانات المتجهة.
- يمكن استخدام قواعد بيانات المتجهات لوكلاء المحادثة الذين يحتاجون إلى تخزين في ذاكرة طويلة المدى. يمكن تنفيذ ذلك بسهولة باستخدام Langchain، مما يُمكّن وكيل المحادثة من الاستعلام عن سجل المحادثات وتخزينه في قاعدة بيانات متجهة. أثناء تفاعل المستخدمين، يستخرج البوت مقتطفات ذات صلة سياقية من المحادثات السابقة، مما يُحسّن تجربة المستخدم.
- يمكن استخدام قواعد بيانات المتجهات للبحث الدلالي واسترجاع المعلومات من خلال استرجاع مستندات أو نصوص متشابهة دلاليًا. فهي تبحث عن محتوى مرتبط نصيًا بالاستعلام، بدلًا من البحث عن الكلمات المفتاحية المتطابقة تمامًا.
- تستخدم منصات مثل التجارة الإلكترونية، وبث الموسيقى، ووسائل التواصل الاجتماعي قواعد بيانات المتجهات لتوليد التوصيات. من خلال تمثيل منتجات المستخدم وتفضيلاته كمتجهات، يمكن للنظام العثور على منتجات أو أغانٍ أو محتوى مشابه لاهتماماته السابقة.
- تستخدم منصات الصور والفيديو قواعد بيانات المتجهات للعثور على محتوى مشابه بصريًا.
التحديات التي تواجه قواعد بيانات المتجهات
- قابلية التوسع والأداء: مع استمرار نمو أحجام البيانات، قد يُصبح الحفاظ على سرعة قواعد بيانات المتجهات وقابليتها للتوسع مع الحفاظ على الدقة تحديًا. كما قد يُمثل تحقيق التوازن بين السرعة والدقة تحديًا محتملًا عند توليد نتائج بحث دقيقة.
- التكلفة وكثافة الموارد: يمكن أن تكون عمليات المتجهات عالية الأبعاد كثيفة الموارد، وتتطلب أجهزة قوية وفهرسة فعالة، مما قد يؤدي إلى زيادة تكاليف التخزين والحوسبة.
- التوفيق بين الدقة والتقريب: تستخدم قواعد بيانات المتجهات تقنيات أقرب جار (ANN) لتحقيق عمليات بحث أسرع، ولكنها قد تؤدي إلى تطابقات تقريبية بدلاً من تطابقات دقيقة.
- التكامل مع الأنظمة التقليدية: قد يكون دمج قواعد البيانات المتجهة مع قواعد البيانات التقليدية الموجودة أمرًا صعبًا، لأنها تستخدم هياكل بيانات مختلفة وطرق استرجاع مختلفة.
نتيجة
تُغيّر قواعد بيانات المتجهات طريقة تخزين البيانات المعقدة، كالصور والصوت والنصوص والتوصيات، والبحث عنها، من خلال إتاحة البحث القائم على التشابه في المساحات متعددة الأبعاد. بخلاف قواعد البيانات التقليدية التي تتطلب تطابقات دقيقة، تستخدم قواعد بيانات المتجهات التضمينات ودرجات التشابه للعثور على نتائج "قريبة بما فيه الكفاية"، مما يجعلها مثالية لتطبيقات مثل التوصيات الشخصية، والبحث الدلالي، واكتشاف الشذوذ.
