הנדסת הנחיות: יצירת הנחיות מדויקות

בטח, הנה הערות לימוד מפורטות שלך:

• אין צורך להיות מדען נתונים או מהנדס למידת מכונה כדי לכתוב הנחיה.
• הנדסת הנחיות היא תהליך איטרטיבי, שבו הנחיות לא מספיקות יכולות להוביל לתגובות לא מדויקות או לעכב את יכולתו של המודל לספק פלט משמעותי.

הנדסת הנחיות

• LLM הוא מנוע חיזוי שלוקח טקסט רציף כקלט ולאחר מכן מנבא איזה טוקן צריך להיות הבא, בהתבסס על הנתונים שאומן עליהם.
• LLM תוכנן לבצע זאת שוב ושוב, ולהוסיף את הטוקן שחזה קודם לסוף הטקסט הרציף על מנת לחזות את הטוקן הבא.
• חיזוי הטוקן הבא מבוסס על הקשר בין הטוקנים הקודמים ומה שה-LLM ראה במהלך ההכשרה שלו.
• כאשר כותבים הנחיה, מנסים להגדיר את ה-LLM לחזות את רצף הטוקנים הנכון.
• הנדסת הנחיות היא תהליך של עיצוב הנחיות באיכות גבוהה המכוונות LLM לייצר תפוקות מדויקות.
• תהליך זה כולל התעסקות כדי למצוא את ההנחיה הטובה ביותר, אופטימיזציה של אורך ההנחיה והערכת סגנון הכתיבה והמבנה של ההנחיה ביחס למשימה.
• בהקשר של עיבוד שפה טבעית ו-LLM, הנחיה היא קלט שמספק למודל כדי ליצור תגובה או חיזוי.
• ניתן להשתמש בהנחיות אלה כדי להשיג סוגים שונים של משימות הבנה ויצירה, כגון סיכום טקסט, חילוץ מידע, שאלות ותשובות, סיווג טקסט, תרגום שפה או קוד, יצירת קוד ותיעוד או נימוקים של קוד.
• הנחיות אולי צריכות לעבור אופטימיזציה עבור המודל הספציפי שלך, לא משנה אם אתה משתמש במודלי שפה של Gemini ב-Vertex AI, GPT, Claude או מודל קוד פתוח כמו Gemma או LLaMA.
• בנוסף להנחיה, יהיה עליך גם לשחק עם התצורות השונות של LLM.

תצורת פלט LLM

• לאחר שתבחר את המודל שלך, יהיה עליך להבין את תצורת המודל. לרוב ה-LLM יש אפשרויות תצורה שונות השולטות בפלט של ה-LLM.
• הנדסת הנחיות יעילה דורשת הגדרה מיטבית של תצורות אלה עבור המשימה שלך.
• הגדרה חשובה של תצורה היא מספר הטוקנים ליצירה בתגובה.
• יצירת טוקנים נוספים דורשת יותר חישוב מה-LLM, מה שמוביל לצריכת אנרגיה גבוהה יותר, זמני תגובה איטיים יותר ועלויות גבוהות יותר.
• צמצום אורך הפלט של ה-LLM לא גורם ל-LLM להיות יותר סגנוני או תמציתי מבחינה טקסטואלית בפלט שהוא יוצר, הוא רק גורם ל-LLM להפסיק לחזות טוקנים נוספים כאשר ההגבלה מגיעה.
• הגבלת אורך הפלט חשובה במיוחד עבור כמה טכניקות הנחיית LLM, כמו ReAct, שבהן ה-LLM ימשיך לפלוט טוקנים חסרי תועלת לאחר התגובה שאתה רוצה.

בקרות דגימה

• LLM לא חוזים רשמית טוקן בודד. במקום זאת, LLM חוזים הסתברויות לגבי מה הטוקן הבא יכול להיות, כאשר כל טוקן באוצר המילים של ה-LLM מקבל הסתברות.
• לאחר מכן, הסתברויות טוקנים אלה נדגמות כדי לקבוע מה יהיה הטוקן המופק הבא.
• טמפרטורה, top-K ו-top-P הם הגדרות התצורה הנפוצות ביותר שקובעות כיצד הסתברות טוקנים צפויות מעובדות כדי לבחור טוקן פלט בודד.

טמפרטורה

• הטמפרטורה שולטת במידת האקראיות בבחירת טוקנים.
• טמפרטורות נמוכות טובות להנחיות שמצפות לתגובה דטרמיניסטית יותר, בעוד שטמפרטורות גבוהות יותר יכולות להוביל לתוצאות מגוונות או בלתי צפויות יותר.
• טמפרטורה של 0 (פענוח חמדני) היא דטרמיניסטית: תמיד נבחר הטוקן עם ההסתברות הגבוהה ביותר (אף על פי שימו לב שאם לשני טוקנים יש את אותה הסתברות חזויה גבוהה ביותר, בהתאם לאופן שבו שוויון מיושם, אתה עשוי לא תמיד לקבל את אותו פלט עם טמפרטורה 0).
• טמפרטורות הקרובות למקסימום נוטות ליצור פלט אקראי יותר. וככל שהטמפרטורה עולה ועולה, כל הטוקנים הופכים להיות סבירים באותה מידה כאסימון החזוי הבא.

טופ-ק ולמעלה-פ

• Top-K ו-top-P (המכונה גם דגימת גרעין) הן שתי הגדרות דגימה המשמשות ב-LLM כדי להגביל את הטוקן הבא החזוי להגיע מהטוקנים עם הסתברויות החיזוי המובילות.
• כמו הטמפרטורה, הגדרות דגימה אלה שולטות באקראיות ובמגוון של טקסט שנוצר.
• דגימת Top-K בוחרת את ה-K הטוקנים הסבירים ביותר מהתפלגות החיזוי של המודל. ככל שה-top-K גבוה יותר, כך הפלט של המודל יצירתי ומגוון יותר; קיזוז ה-top-K הנמוך יותר, כך הפלט של המודל יהיה שקט ועובדתי יותר. top-K של 1 שווה לפענוח חמדני.
• דגימת Top-P בוחרת את הטוקנים העליונים שההסתברות המצטברת שלהם אינה עולה על ערך מסוים (P). ערכים עבור P נעים בין 0 (פענוח חמדני) ל-1 (כל האסימונים באוצר המילים של ה-LLM).
• הדרך הטובה ביותר לבחור בין top-K ל-top-P היא להתנסות בשתי השיטות (או שתיהן יחד) ולראות איזו מהן מייצרת את התוצאות שאתה מחפש.
• הבחירה בין top-K, top-P, טמפרטורה ומספר הטוקנים ליצירה, תלויה באפליקציה הספציפית ובתוצאה הרצויה, וההגדרות משפיעות זו על זו.
• אם הטמפרטורה, top-K ו-top-P זמינים כולם (כמו בסטודיו Vertex), טוקנים העומדים הן בקריטריוני top-K והן בקריטריוני top-P הם מועמדים לטוקן החזוי הבא, ולאחר מכן מוחלת טמפרטורה לדגימה מהטוקנים שעברו את קריטריוני top-K ו-top-P.
• בנקודת התחלה כללית, טמפרטורה של 0.2, top-P של 0.95 ו-top-K של 30 ייתנו לך תוצאות עקביות יחסית שיכולות להיות יצירתיות אך לא מוגזמות מדי. אם אתה רוצה תוצאות יצירתיות במיוחד, נסה להתחיל עם טמפרטורה של 0.9, top-P של 0.99 ו-top-K של 40. ואם אתה רוצה תוצאות פחות יצירתיות, נסה להתחיל עם טמפרטורה של 0.1, top-P של 0.9, ו-top-K של 20. לבסוף , אם למשימה שלך תמיד יש תשובה נכונה אחת (לדוגמה, מענה על בעיה מתמטית), התחל עם טמפרטורה של 0.

טכניקות הנחיה

• LLM מותאמים לבצע את ההוראות שלהם ואומנו על כמויות גדולות של נתונים כדי שיוכלו להבין הנחיה וליצור תשובה.
• ככל שהטקסט המהיר שלך ברור יותר, כך LLM יכול לחזות טוב יותר את הטקסט הסביר הבא.
• ניתן להשתמש בטכניקות ספציפיות המנצלות את האופן שבו ה-LLM מאומנים ואת האופן שבו ה-LLM עובדים, כדי לקבל את התוצאות הרלוונטיות מה-LLM.

הנחיה כללית / אפס יריות

• הנחיית אפס יריות היא הסוג הפשוט ביותר של הנחיה. הוא מספק רק תיאור של משימה וטקסט כלשהו כדי שה-LLM יתחיל איתו.
• קלט זה יכול להיות כל דבר: שאלה, התחלה של סיפור או הדרכה. השם אפס יריות מייצג 'ללא דוגמאות'.

ירייה אחת וירייה מעטה

• כאשר יוצרים הנחיות עבור מודלי AI, מועיל לספק דוגמאות. דוגמאות אלה יכולות לעזור למודל להבין מה אתה מבקש. דוגמאות מועילות במיוחד כאשר אתה רוצה לכוון את המודל למבנה או דפוס פלט מסוים.
• הנחיית ירייה אחת מספקת דוגמה בודדת, ומכאן השם ירייה אחת. הרעיון הוא שלמודל יש דוגמה שהוא יכול לחקות כדי להשלים בצורה הטובה ביותר את המשימה.
• הנחיית צילומים בודדים מספקת דוגמאות מרובות למודל. גישה זו מראה למודל דפוס שהוא צריך לבצע. הרעיון דומה לירייה בודדת, אך דוגמאות מרובות לדפוס הרצוי מגדילות את הסיכוי שהמודל יעקוב אחר הדפוס.

הנחיית מערכת, הקשר ותפקיד

• הנחיית מערכת, הקשר ותפקיד הן כל הטכניקות המשמשות כדי להנחות כיצד LLM יוצר טקסט, אך הן מתמקדות בהיבטים שונים:
  • הנחיית מערכת מגדירה את ההקשר והמטרה הכוללת של מודל השפה. הוא מגדיר את ה'תמונה הגדולה' של מה שהדגם צריך לעשות, כמו תרגום שפה, סיווג סקירה וכו'.
  • הנחיית הקשר מספקת פרטים ספציפיים או מידע רקע הרלוונטי לשיחה או למשימה הנוכחית. זה עוזר למודל להבין את הניואנסים של מה שמבקשים ממנו ולהתאים את התגובה בהתאם.
  • הנחיית תפקידים מקצה תפקיד או זהות ספציפיים למודל השפה לצורך אימוץ. זה עוזר למודל ליצור תגובות עקביות עם התפקיד המוקצה והידע וההתנהגות הנלווים לו.
• יכולה להיות חפיפה ניכרת בין הנחיית מערכת, הקשר ותפקידים. לדוגמה, הנחיה המקצה תפקיד למערכת, יכולה להיות גם הקשר.
• כל סוג של הנחיה משרת מטרה ראשונית שונה במקצת:
  • הנחיית מערכת: מגדירה את היכולות הבסיסיות של המודל ומטרה כוללת.
  • הנחיית הקשר: מספקת מידע מיידי וספציפי למשימה כדי להנחות את התגובה. זה מאוד ספציפי למשימה או לקלט הנוכחי, שהוא דינמי.
  • הנחיית תפקידים: ממסגרת את סגנון הפלט של המודל ואת הקול שלו. זה מוסיף שכבה של ספציפיות ואישיות.

הנחיית צעד אחורה

• הנחיית צעד אחורה היא טכניקה לשיפור הביצועים על ידי הנחיית ה-LLM לשקול תחילה שאלה כללית הקשורה למשימה הספציפית שעל הפרק ולאחר מכן הזנת התשובה לשאלה הכללית הזו להנחיה עוקבת למשימה הספציפית.
• 'צעד אחורה' זה מאפשר ל-LLM להפעיל ידע רקע רלוונטי ותהליכי נימוקים לפני שהוא מנסה לפתור את הבעיה הספציפית.
• התחשבות בעקרונות רחבים ובסיסיים יותר, LLM יכול לייצר תגובות מדויקות ומלאות תובנות יותר.
• הנחיית צעד אחורה מעודדת את ה-LLM לחשוב בצורה ביקורתית וליישם את הידע שלהם בדרכים חדשות ויצירתיות.
• זה משנה את ההנחיה הסופית שעושה את המשימה על ידי שימוש בידע רב יותר בפרמטרים של ה-LLM מאשר היה מגיע לידי ביטוי אם ה-LLM היה מונחה ישירות.
• הנחיית צעד אחורה יכולה לעזור להפחית הטיות בתגובות LLM, על ידי התמקדות בעקרונות כלליים במקום פרטים ספציפיים.

שרשרת מחשבה (CoT)

• הנחיית שרשרת מחשבה (CoT) היא טכניקה לשיפור יכולות הנימוק של LLM על ידי יצירת שלבים מתווכים של נימוקים. זה עוזר ל-LLM ליצור תשובות מדויקות יותר.
• אתה יכול לשלב אותו עם הנחיית צילומים בודדים כדי לקבל תוצאות טובות יותר במשימות מורכבות יותר הדורשות הנמקה לפני מענה מכיוון שזה אתגר עם שרשרת מחשבה של אפס צילומים.
• ל-CoT יש יתרונות רבים. ראשית כל, זה דל מאמץ תוך שהוא יעיל מאוד ועובד היטב עם LLM זמינים (כך שאין צורך לכוונן עדין).
• אתה גם מקבל פרשנות עם הנחיית CoT, מכיוון שאתה יכול ללמוד מהתגובות של ה-LLM ולראות את שלבי הנימוק שבוצעו.
• שרשרת מחשבות נראית כאילו היא משפרת את החוסן כאשר עוברים בין גרסאות LLM שונות. מה שאומר שהביצועים של ההנחיה שלך צריכים לסטות פחות בין LLM שונים מאשר אם ההנחיה שלך לא משתמשת בשרשראות נימוקים.
• תגובת ה-LLM כוללת את השרשרת של הנמקות, מה שאומר יותר טוקני פלט, מה שאומר שחיזויים עולים יותר כסף ולוקחים יותר זמן.
• CoT יכול להיות שימושי למקרי שימוש שונים. חשבו על יצירת קוד, לצורך פירוק הבקשה לכמה שלבים, ומיפוי אלה לשורות קוד ספציפיות.

עקביות עצמית

• בעוד שמודלי שפה גדולים הראו הצלחה מרשימה במשימות NLP שונות, היכולת שלהם לנמק נתפסת לעתים קרובות כמגבלה שלא ניתן להתגבר עליה אך ורק על ידי הגדלת גודל המודל.
• כפי שלמדנו בסעיף ההנחיה של Chain of Thought הקודם, ניתן להנחות את המודל ליצור שלבי הנמקה כמו אדם הפותר בעיה. עם זאת CoT משתמש באסטרטגיית 'פענוח חמדני' פשוטה, המצמצמת את האפקטיביות שלה.
• עקביות עצמית משלבת דגימה והצבעת רוב כדי ליצור נתיבי נימוק מגוונים ולבחור את התשובה העקבית ביותר. זה משפר את הדיוק והעקביות של תגובות שנוצרו על ידי LLM.
• עקביות עצמית נותנת הסתברות פסאודו-תכונה של תשובה נכונה, אבל ברור שיש לה עלויות גבוהות. היא עוקבת אחר השלבים הבאים:
  • יצירת נתיבי הנמקה מגוונים: ה-LLM מקבל את אותה הנחיה מספר פעמים. הגדרה גבוהה של טמפרטורה מעודדת את המודל ליצור נתיבי נימוקים ופרספקטיבות שונים על הבעיה.
  • חלץ את התשובה מכל תגובה שנוצרה.
  • בחר את התשובה הנפוצה ביותר.

עץ מחשבות (ToT)

• עץ מחשבות (ToT) מכליל את הרעיון של הנחיית CoT מכיוון שהוא מאפשר ל-LLM לחקור מספר נתיבי נימוקים שונים בו-זמנית, ולא רק לעקוב אחר שרשרת מחשבות ליניארית בודדת.
• גישה זו הופכת את ToT למתאים במיוחד למשימות מורכבות הדורשות חקירה. היא פועלת על ידי תחזוקה של עץ מחשבות, כאשר כל מחשבה מייצגת רצף שפה קוהרנטי שמשמש כשלב ביניים לקראת פתרון בעיה.
• לאחר מכן יכול המודל לחקור נתיבי נימוקים שונים על ידי הסתעפות מצמתים שונים בעץ.

ReAct (נמק ופעל)

• הנחיית נימוק ופעולה (ReAct) היא פרדיגמה המאפשרת ל-LLM לפתור משימות מורכבות באמצעות הנמקות שפה טבעית בשילוב עם כלים חיצוניים (חיפוש, מתורגמן קוד וכו'), המאפשרת ל-LLM לבצע פעולות מסוימות, כגון אינטראקציה עם ממשקי API חיצוניים לצורך אחזור מידע שהוא רצון ראשון לקראת מידול סוכן.
• ReAct מחקה כיצד בני אדם פועלים בעולם האמיתי, כפי שאנו מנמקים מילולית ויכולים לנקוט פעולות כדי לקבל מידע. ReAct מבצעת ביצועים טובים מול גישות הנדסת הנחיות אחרות במגוון תחומים.
• הנחיית ReAct פועלת על ידי שילוב נימוקים ופעולה לתוך לולאת מחשבה-פעולה. ה-LLM תחילה מנמק את הבעיה ומייצר תוכנית פעולה. לאחר מכן הוא מבצע את הפעולות בתוכנית ומתבונן בתוצאות.
• לאחר מכן ה-LLM משתמש בתצפיות כדי לעדכן את הנימוקים שלו וליצור תוכנית פעולה חדשה. תהליך זה נמשך עד שה-LLM מגיע לפתרון של הפתרון.
• הנחיית ReAct בפועל דורשת הבנה שאתה צריך ללא הרף לשלוח מחדש את ההנחיות/תגובות הקודמות (ולעשות חיתוך של התוכן הנוסף שנוצר) כמו גם להגדיר את המודל עם דוגמאות/הדרכות מתאימות.

הנדסה אוטומטית

• הנדסה אוטומטית (APE) לא רק מפחיתה את הצורך בקלט אנושי אלא גם משפרת את ביצועי המודל במשימות שונות.
• תנחה מודל ליצור הנחיות נוספות. הערך אותם, אולי תשנה את אלה הטובות. וחזור על זה.
• ניתן להשתמש בהנדסה מהירה אוטומטית שתעזור באימון צ'אטבוט לחנות מקוונת לחולצות טריקו עם מוצרים נלווים.
• כתוב את ההנחיה שתייצג את גרסאות הפלט.
• הערך את כל המועמדים להדרכה על ידי ניקוד המועמדים בהתבסס על מדד נבחר.
• בחר את מועמד ההוראה עם ניקוד ההערכה הגבוה ביותר. זה יהיה ההנחיה הסופית שבה תוכל להשתמש ביישום התוכנה או בצ'אטבוט שלך.

קידוד הנחיות

• Gemini מתמקד בעיקר בהנחיות מבוססות טקסט, הכוללות גם כתיבת הנחיות להחזרת קוד.
• Gemini יכול גם להיות מפתח ולעזור לך בכתיבת קוד בכל שפת תכנות שתבחר. כמפתח זה יכול לעזור לך להאיץ את תהליך כתיבת הקוד.

הנחיות להסברת קוד

• כמפתח כשאתה עובד בצוותים אתה צריך לקרוא קוד של מישהו אחר. Gemini יכול לעזור לך גם בזה.
• קח את פלט הקוד, הסר את ההערות ובקש ממודל השפה הגדול להסביר מה קורה.

הנחיות לתרגום קוד

• ה-LLM יכולים לעזור בתרגום של קוד משפה אחת לאחרת.

הנחיות לניפוי באגים ובדיקה

• יכול לפקח על קוד שנכשל.

שיטות עבודה מומלצות

• חלק משיטות העבודה המומלצות עבור הנדסת הנחיות: מכיוון שזהו כלי הוראה רב עוצמה, התרגול הטוב ביותר הוא לספק (ירייה אחת / ירייה מעטה).
  • שמור הנחיות ברורות, תמציתיות ופשוטות. ככל שההנחיה פחות מעורפלת, כך ה-LLM יציע תשובות טובות יותר.
  • תן הנחיות ספציפיות. תן פרטים ספציפיים כדי לא לגרום ל-LLM להיות מודלים גנריים.
  • השתמש בהקשר של הנחיות המגבירות את איכות ה-LLM.
  • עליך לפקח על מאמצי ההנחיה השונים מכיוון שהפלט יכול להשתנות בדגמים, בהגדרות הדגימה השונות ואפילו באותן הנחיות.
  • להישאר בראש השינויים בקישוריות, הוספת נתונים וארכיטקטורת מודלים. גם כדאי להתנסות עם גרסאות מודל חדשות יותר
  • בנוסף לפורמט קלט ההנחיה, מומלץ לשנות פורמטים של פלט. קל יותר לעבוד, לבחור ולנתח נתונים לא יצירתיים מחוויית עצמך החזיר אותו בפורמט מובנה כמו JSON או XML.

למה לצפות

• כשמבקשים לבצע שרשרת מחשבות, חיוני לשים את התשובה אחרי שהסתיימה הנמקה מכיוון שזה משנה אסימונים שהמודל מקבל בשימוש.
• כדאי להצליח לשלוף את התשובה הסופית מהמסמך שלך ולנמק במקרים כאלה של CoT ועקביות עצמית בצירוף
• חשוב לכוון את הטמפרטורה של מערכת נימוקים ל-0. ההנחיה של שרשרת המחשבות תלויה בקידוד הנמקה והמערכת משתמשת במערכת זו ליצירת מגוון תגובות.

אשמח לעזור לך בהיבטים נוספים אם תצטרך.