معالجة اللغات الطبيعية المحاضرة الثالثة PDF

‫معالجة اللغات الطبيعية‬ ‫قبل أن نخوض في ماهية معالجة اللغات الطبيعية سنتكلم عن اللغات الطبيعية بشكل‬ ‫عام‪ ،‬فما هي اللغات الطبيعية؟‬ ‫اللغات الطبيعية هي كل لغة يتحدوها بنو البشر ويتفاهمون بها‪.‬فنقول أن اللغة‬ ‫العربية واإلنجليزية والفرنسية...

‫معالجة اللغات الطبيعية‬ ‫قبل أن نخوض في ماهية معالجة اللغات الطبيعية سنتكلم عن اللغات الطبيعية بشكل‬ ‫عام‪ ،‬فما هي اللغات الطبيعية؟‬ ‫اللغات الطبيعية هي كل لغة يتحدوها بنو البشر ويتفاهمون بها‪.‬فنقول أن اللغة‬ ‫العربية واإلنجليزية والفرنسية واإلسبانية لغات طبيعية‪ ،‬بينما اللغات غير الطبيعية‬ ‫هي ما عداها من اللغات كلغات الجسد‪ ،‬ولغات البرمجة‪ ،‬وخالفهما‪.‬‬ ‫ما هي معالجة اللغات الطبيعية؟‬ ‫هي فرع من فروع علوم الكمبيوتر والذكاء الصناعي التي تهتم بمجال فهم أجهزة‬ ‫الكمبيوتر للغات الطبيعية البشرية‪ ،‬وذلك من خالل تحليل كميات هائلة من البيانات‬ ‫المستخرجة من اللغة الطبيعية البشرية‪.‬تتراوح المشاكل التي يمكن لمعالجة اللغات‬ ‫الطبيعية حلها من مشاكل بسيطة مثل اإلجابة على استفسار على شبكة اإلنترنت إلى‬ ‫مشاكل معقدة للغاية تتطلب عدة تيرابايت من البيانات للتدريب‪.‬‬ ‫أين تستخدم معالجة اللغات الطبيعية؟‬ ‫تستخدم معالجة اللغات الطبيعية في جميع البرامج التي تحتاج إلى تحليل البيانات‬ ‫النصية أو الصوتية‪ ،‬نذكر منها على سبيل المثال‪:‬‬ ‫‪. 1‬محركات البحث‪ :‬مثل جوجل وياهو وغيرها‪.‬مث ً‬ ‫ال عندما تبحث عن كتاب‬ ‫معين فإن محرك البحث سوف يظهر لك الكتاب باإلضافة إلى كتب أخرى‬ ‫تشبهه بالمحتوى أو العنوان‪.‬‬ ‫‪. 2‬تطوير الشبكات االجتماعية‪ :‬على سبيل المثال‪ ،‬إذا كنت تحب صفحات لها‬ ‫عالقة بتربية الحيوانات‪ ،‬فسيتم عرض اإلعالنات والمشاركات ذات الصلة‬ ‫بتربية الحيوانات‪.‬‬ ‫‪. 3‬روبوتات الدردشة‪ :‬مثل ‪ Apple’s Siri‬التي تسألها دائما ً على جهازك‬ ‫المحمول‪.‬‬ ‫‪. 4‬برامج التدقيق اإلمالئي‪.‬‬ ‫اآلمنة‪.‬‬ ‫فرز رسائل البريد اإللكتروني المزعجة وغير‬ ‫‪.5‬‬ ‫أهمية معالجة اللغة الطبيعية‪:‬‬ ‫أحد األسباب الرئيسية التي تجعل معالجة اللغة الطبيعية أمراً بالغ األهمية للشركات‬ ‫ت كبيرة من البيانات النصية‪ ،‬مثل تعليقات وسائل‬ ‫هو أنه يمكن استخدامها لتحليل كميا ٍ‬ ‫التواصل االجتماعي‪ ،‬وتذاكر دعم العمالء‪ ،‬والمراجعات عبر اإلنترنت‪ ،‬والتقارير‬ ‫اإلخبارية‪ ،‬والمزيد‪.‬‬ ‫تحتوي كل بيانات العمل هذه على ثروة من األفكار القيّمة‪ ،‬ويمكن أن تساعد معالجة‬ ‫اللغات الطبيعية بسرعة الشركات على اكتشاف ماهية تلك األفكار‪ ،‬وتقوم معالجة‬ ‫اللغات الطبيعية بذلك من خالل مساعدة اآللة على فهم لغة اإلنسان بطريق ٍة أسرع‬ ‫وأكثر دقة وأكثر اتساقا ً من العوامل البشرية‪.‬‬ ‫تعالج أدوات معالجة اللغة الطبيعية البيانات في الوقت الفعلي‪ ،‬على مدار الساعة طوال‬ ‫أيام األسبوع‪ ،‬وتطبّق نفس المعايير على جميع بياناتك‪ ،‬حتى تتمكن من ضمان دقة‬ ‫وخلوها من التناقضات‪ ،‬بمجرد أن تتمكّن أدوات معالجة اللغة‬ ‫ّ‬ ‫النتائج التي تتلقاها‬ ‫الطبيعية من فهم ماهية ج زء من النص‪ ،‬وحتى قياس أشياء مثل المشاعر‪ ،‬يمكن‬ ‫للشركات البدء في تحديد أولويات بياناتها وتنظيمها بطريق ٍة تناسب احتياجاتها وتتوافق‬ ‫مع أهدافها‪.‬‬ ‫كيف تعمل معالجة اللغات الطبيعية؟‬ ‫في معالجة اللغات الطبيعية‪ ،‬يتم فصل اللغة البشرية إلى أجزاء بحيث يمكن تحليل‬ ‫البنية النحوية للجمل ومعاني الكلمات وفهمها في السياق‪ ،‬يساعد هذا أجهزة الكمبيوتر‬ ‫في قراءة وفهم النص المنطوق أو المكتوب بنفس طريقة البشر‪.‬‬ ‫فيما يلي بعض المهام األساسية للمعالجة المسبقة في معالجة اللغات الطبيعية التي‬ ‫يحتاج علماء البيانات إلى تنفيذها قبل أن تتمكّن أدوات معالجة اللغة الطبيعية من فهم‬ ‫اللغة البشرية‪:‬‬ ‫الترميز‪ :‬يتم فيها تقسيم النص إلى وحدات داللية أصغر أو جمل منفردة‪.‬‬ ‫‪-‬‬ ‫وسم جزء من الكالم‪ :‬ترميز الكلمات كأسماء‪ ،‬أفعال‪ ،‬صفات‪ ،‬ظروف‪،‬‬ ‫‪-‬‬ ‫ضمائر… إلخ‪.‬‬ ‫االشتقاق‪ :‬توحيد الكلمات باختزالها إلى أشكالها الجذرية‪.‬‬ ‫‪-‬‬ ‫إزالة الكلمات الزائدة‪ :‬تصفية الكلمات الشائعة التي تضيف القليل من‬ ‫‪-‬‬ ‫المعلومات الفريدة أو ال تضيف أي معلومات فريدة‪ ،‬على سبيل المثال‪،‬‬ ‫حروف الجر‪.‬‬ ‫عندها فقط يمكن ألدوات معالجة اللغات الطبيعية تحويل النص إلى شيء يمكن لآللة‬ ‫فهمه‪ ،‬أما الخطوة التالية‪ ،‬فهي بناء خوارزمية معالجة اللغات الطبيعية‪.‬‬  ‫أمثلة على معالجة اللغات الطبيعية‪:‬‬ ‫تساعدك معالجة اللغات الطبيعية على أداء مجموعة متنوعة من المهام‪ ،‬من تصنيف‬ ‫النصوص واستخراج البيانات ذات الصلة‪ ،‬إلى ترجمة النصوص من لغة إلى أخرى‬ ‫وتلخيص أجزاء طويلة من المحتوى‪.‬‬ ‫‪ -1‬تصنيف النصوص ‪:‬‬ ‫ويتكون من تحديد‬ ‫ّ‬ ‫يعد تصنيف النصوص أحد أبسط مهام معالجة اللغات الطبيعية‪،‬‬ ‫الفئات أو العالمات المحدّدة لنص ما بنا ًء على محتواه‪ ،‬يمكن أن تخدم نماذج التصنيف‬ ‫أغراضا ً مختلفة‪ ،‬على سبيل المثال‪:‬‬ ‫‪ -‬تحليل المشاعر ‪:‬‬ ‫وهي عملية تحليل المشاعر داخل النص وتصنيفها على أنها إيجابية أو سلبية أو‬ ‫محايدة‪ ،‬وذلك من خالل إجراء تحليل المشاعر على منشورات وسائل التواصل‬ ‫االجتماعي ومراجعات المنتجات واالستطالعات وتعليقات العمالء‪ ،‬يمكن للشركات‬ ‫اكتساب رؤى قيّمة حول كيفية إدراك العمالء لعالمتهم التجارية‪.‬‬ ‫يمكن لمص ّنف المشاعر فهم الفروق الدقيقة في كل رأي ووضع عالمة تلقائيا ً على‬ ‫المراجعة األولى على أنها سلبية والثانية على أنها إيجابية‪ ،‬تخيل أن هناك ارتفاعا ً‬ ‫مفاجئا ً في التعليقات السلبية حول عالمتك التجارية على وسائل التواصل االجتماعي‪،‬‬ ‫ستكون أدوات تحليل المشاعر قادرة على اكتشاف ذلك على الفور حتى تتمكّن من‬ ‫اتخاذ إجراء قبل ظهور مشكلة أكبر‪.‬‬ ‫‪ -‬تصنيف الموضوعات‬ ‫يساعدك ذلك على تحديد العناوين أو الموضوعات الرئيسية داخل النص وتعيين‬ ‫عالمات محدّدة مسبقاً‪ ،‬لكن لتدريب مصنّف الموضوعات‪ ،‬يجب أن تكون على دراية‬ ‫بالبيانات التي تقوم بتحليلها‪ ،‬حتى تتمكّن من تحديد الفئات ذات الصلة‪.‬‬ ‫‪ -‬كشف النيّة ‪:‬‬ ‫تتكون مهمة التصنيف هذه من تحديد الغرض أو الهدف أو النية من وراء النص‪ ،‬إنها‬ ‫طريقة ممتازة لفرز استجابات البريد اإللكتروني للمبيعات الصادرة حسب المهتمين‪،‬‬ ‫وتحتاج إلى معلومات البريد‪ ،‬وإلغاء االشتراك‪ ،‬واالرتداد‪ ،‬وما إلى ذلك من بيانات‬ ‫الحمالت‪ ،‬يمكن أن تساعدك معالجة اللغات الطبيعية التي تحدد نيّة «االهتمام» على‬ ‫سبيل المثال في أحد نصوص الرسائل في تحديد فرصة بيع محتملة بمجرد دخول‬ ‫بريد إلكتروني إلى صندوق الوارد الخاص بك‬  ‫‪ - 2‬استخراج النصوص‬ ‫مثال آخر على معالجة اللغات الطبيعية‪ ،‬ويتكون من سحب أجزاء معينة من البيانات‬ ‫الموجودة بالفعل في النص‪ ،‬إنها طريقة مثالية لتلخيص النص تلقائيا ً أو البحث عن‬ ‫المعلومات األساسية‪ ،‬األمثلة األكثر شيوعا ً لنماذج االستخراج هي‪:‬‬ ‫‪ -‬استخراج الكلمات المفتاحية ‪:‬‬ ‫تستخرج معالجة اللغات الطبيعية تلقائيا ً أهم الكلمات والتعبيرات داخل النص‪ ،‬ويمكن‬ ‫أن يوفّر لك ذلك نوعا ً من معاينة المحتوى وموضوعاته الرئيسية‪ ،‬دون الحاجة إلى‬ ‫قراءة كل جزء‪.‬‬ ‫التعرف على الكيانات ال ُمس ّماة ‪ (NER):‬تسمح لك هذه التقنية باستخراج أسماء‬ ‫ّ‬ ‫‪-‬‬ ‫األشخاص والشركات واألماكن وما إلى ذلك‪.‬‬ ‫‪ - 3‬الترجمة اآللية‬ ‫كانت هذه واحدة من أولى المشاكل التي تناولها مجتمع معالجة اللغات الطبيعية‪.‬إذ‬ ‫تستخدم أدوات الترجمة عبر اإلنترنت( مثل )‪ Google Translate‬تقنيات مختلفة‬ ‫لمعالجة اللغة الطبيعية لتحقيق مستويات الدقة البشرية في ترجمة الكالم والنصوص‬ ‫صين في مجال معيّن لزيادة‬‫إلى لغات مختلفة‪ ،‬إذ يمكن تدريب نماذج المترجمين المخت ّ‬ ‫دقة النتائج‪.‬‬ ‫‪ - 4‬نموذجه الموضوعات‬ ‫أم ٌر مشابه لتصنيف الموضوعات‪ ،‬يجد هذا المثال الخاص بمعالجة اللغة الطبيعية‬ ‫الموضوعات ذات الصلة في النص عن طريق تجميع النصوص ذات الكلمات‬ ‫والتعبيرات المتشابهة‪ ،‬وعندما ال تكون بحاجة إلى إنشاء قائمة بالتصنيفات المحدّدة‬ ‫مسبقا ً أو وضع بيانات تحت أي تصنيفات‪ ،‬فهو خي ار جيد للتحليل االستكشافي‪ ،‬أي‬ ‫عندما ال تكون على دراية ببياناتك بعد‪.‬‬ ‫‪ - 5‬توليد اللغة الطبيعية‬ ‫يتكون ذلك من تحليل البيانات غير المهيكلة واستخدامها كمدخل إلنشاء المحتوى‬ ‫ّ‬ ‫تلقائياً‪ ،‬ويمكن استخدامها إلنشاء إجابات آلية وكتابة رسائل بريد إلكتروني‪.‬‬ ‫أفضل أدوات معالجة اللغات الطبيعية‪:‬‬ ‫تعد معالجة اللغة الطبيعية من أكثر المجاالت تعقيداً في مجال الذكاء االصطناعي‪،‬‬ ‫لكن تجربة بعض مهام معالجة اللغة الطبيعية مثل تحليل المشاعر أو استخراج الكلمات‬ ‫الرئيسية بيدك ال يلزم أن يكون صعبا ً للغاية‪ ،‬هناك العديد من أدوات معالجة اللغة‬ ‫الطبيعية عبر اإلنترنت التي تجعلها متاحةً للجميع‪ ،‬م ّما يسمح لك بتحليل كميات كبيرة‬ ‫من البيانات بطريقة بسيطة للغاية وبديهية‪.‬‬ ‫تعد األنظمة األساسية «‪ » SaaS‬أي البرامج التي تُقدّم على شكل خدمات‪ ،‬بدائل رائعة‬ ‫للمكتبات مفتوحة المصدر‪ ،‬ألنها توفّر حلوالً جاهزة لالستخدام غالبا ً ما تكون سهلة‬ ‫االستخدام وال تتطلّب معرفة في البرمجة أو التعلم اآللي‪ ،‬أما إذا كنت ترغب في دمج‬ ‫األدوات مع أدواتك الحالية‪ ،‬فإن معظم هذه األدوات تقدم واجهات برمجة تطبيقات‬ ‫صة لمعالجة اللغة الطبيعية باستخدام لغة بايثون‪ ،‬مما يعني أنها تتطلّب منك‬ ‫‪ API‬خا ّ‬ ‫إدخال بضعة أسطر من التعليمات البرمجية‪.‬‬ ‫إليك ‪ 8‬من أفضل أدوات معالجة اللغة الطبيعية‪:‬‬ ‫‪Google Cloud NLP‬‬ ‫‪IBM Watson‬‬ ‫‪Lexalitics‬‬ ‫‪Aylien‬‬ ‫‪Amazon Comprehend‬‬ ‫‪Clarabridge‬‬ ‫‪MeaningCloud‬‬ ‫ستعتمد أداة المعالجة التي تختارها على مقدار الراحة التي توفّرها لك هذه األداة‪،‬‬ ‫إضافةً إلى نوعية المهام التي تريد تنفيذها‪.‬‬