הפורטפוליו ש-Claude ניהל הכה את S&P 500 בשבע נקודות

ב-3 במרץ נפתח חשבון מסחר על סך 50 אלף דולר וחובר אליו סוכן Claude. ההוראה היחידה שהוא קיבל הייתה לנצח את מדד S&P 500. חמישה חודשים אחר כך פורסם מסלול התשואה, 19.04 אחוז מול 12.24 אחוז למדד באותו חלון. מאחורי החשבון כבר עמדו יותר מ-27 מיליון דולר של משקיעים פרטיים ששכפלו את העסקאות בזמן אמת דרך אפליקציית מסחר. רוב הסיקור התייחס לתוצאה כאל הוכחה שמודל שפה יודע להשקיע.

הניסוי הדגים משהו אחר, פחות זוהר, ושימושי הרבה יותר למי שמנסה להפעיל סוכן על תהליך אמיתי בעסק.

מי הריץ את הניסוי ואיפה הוא רץ

מאחורי התיק עומד אלחנדרו לופס לירה (Alejandro Lopez-Lira), חוקר מימון בפקולטה למינהל עסקים של אוניברסיטת פלורידה (University of Florida). העבודה שלו עם יואהואה טאנג (Yuehua Tang), Can ChatGPT Forecast Stock Price Movements?, התקבלה ל-Journal of Financial Economics וזכתה בפרס BlackRock למאמר הטוב ביותר בניהול קרנות לשנת 2023. הדף האקדמי שלו מונה עליה קרוב ל-900 ציטוטים. שווה לקבע את זה מראש, כי שום דבר ממה שיבוא כאן אינו טענה שמישהו רימה או שהעבודה חובבנית.

זמן קצר אחרי שהמאמר התפרסם פנתה אליו Autopilot, אפליקציה שמאפשרת למשתמשים לשכפל אוטומטית תיקים של דמויות ציבוריות, כלומר לבצע בחשבון שלכם את אותן עסקאות בזמן אמת. משם הניסוי עבר מהאקדמיה אל השוק החי. היום רצים שם שבעה תיקים ציבוריים שנבנו על מודלים שונים, ChatGPT, Claude, DeepSeek ו-Grok, וכ-52 אלף משקיעים הקצו אליהם כ-200 מיליון דולר. כל תיק בונה מדי חודש דירוג של נכסים ובוחר את 15 המובילים לחודש הבא. התיק של Claude הוא אחד מהשבעה.

המספר שפורסם בתחילת אוגוסט הוא 19.04 אחוז מאז 3 במרץ, מול 12.24 אחוז למדד באותו חלון. הפער הוא כשבע נקודות אחוז בקצת פחות מחמישה חודשים, על כסף שנסחר באמת. שני הנתונים אמיתיים, ובדיוק בגלל זה שווה לדייק במה הם מודדים.

מה באמת היה כתוב בהוראה

הניסוח “הוראה אחת” הוא החלק שכמעט כל הסיקור בלע בלי ללעוס. המפעיל נשאל איך זה עובד בפועל, והוא השיב שהפרמטרים אמיתיים ושהוא זה שכתב את רובם. המשפט שנמסר למודל אכן היה שורה אחת, אבל הסביבה שבתוכה הוא פעל היא מסמך שאדם ניסח מראש.

מה שיש במסמך הזה הוא בדיוק המנגנונים שמונעים מתיק השקעות להתפוצץ:

• מגבלת גודל לכל פוזיציה
• תקרה על מחזור המסחר
• פיזור כפוי על 15 החזקות
• איסור על ריכוז יתר בנכס בודד
• חובה לצרף לכל החלטה תזה כתובה שאפשר להוכיח שהיא שגויה

זה משנה לחלוטין את מה שנמדד. סוכן שחייב להחזיק 15 נכסים, לאזן אחת לחודש ולנמק כל מהלך בכתב יתקשה מאוד להשמיד את התיק, גם אם השיפוט שלו בינוני. באותה מידה הוא יתקשה לייצר פער עצום לטובה. המעטפת הזו דוחסת את טווח התוצאות לכיוון האמצע, וזו בדיוק הסיבה שמנהלי סיכונים אוהבים אותה. חמישה חודשים של ביצוע נקי הם לכן קודם כל עדות לכך שהמעטפת עבדה כמתוכנן.

שווה לשים לב גם למה שהמודל לא עשה שם. הוא לא בחר את חוקי הסיכון, לא קבע את תדירות האיזון ולא החליט כמה החזקות יהיו בתיק. הוא גם לא הגדיר מה נחשב תזה תקפה. הוא מילא תבנית שמישהו אחר עיצב, ורוב האנרגיה ההנדסית בפרויקט מהסוג הזה יושבת בתבנית ולא במי שממלא אותה.

10,000 קופים אקראיים מגיעים לאותן תוצאות

הבעיה השנייה סטטיסטית, והיא חמורה יותר. אנליסט שרצה לבדוק כמה מרשימות באמת התוצאות של סוכני מסחר הריץ סימולציה של 10,000 סוחרים אקראיים לחלוטין. הם קנו ומכרו את אותן מניות באותם שמונה חודשים, בלי שום היגיון. הנה מה שיצא:

• התשואה החציונית של קוף אקראי: 8.5 אחוז
• 90 האחוזים האמצעיים: בין מינוס 6 לפלוס 30 אחוז
• הקוף בר המזל ביותר: 98 אחוז

ואז הוא דירג שמונה קופים בטבלת מובילים, בדיוק כמו שעושים בהשוואות בין מודלים. הזוכה החציוני הגיע לכ-25.9 אחוז, כפול מהמדד, בלי טיפת מיומנות. קוף שקנה פשוט את המניות שעלו הכי הרבה ברבעון הקודם הגיע לחציון של 21.5 אחוז, והיכה שישה מתוך שמונה מודלים.

הביקורת הזו לא מגיעה רק מבלוגים. עבודת CLQT של בו צ’ו (Bo Chu) ומינגגואנג צ’ן (Mingguang Chen), שפורסמה ביוני 2026, קובעת שדירוג סוכנים לפי תשואה בחלון קבוע הוא מדד חלש. הסיבה פשוטה, מסלול השוק שולט בתשואת התקופה. הם מוסיפים שהאלפא לכאורה מתמוססת ברגע שמנטרלים דליפת מידע עתידי, כלומר גישה לנתונים שלא היו זמינים ברגע ההחלטה. בבדיקה שלהם, היתרון של הסוכן שהוביל בטבלה נבע מחמישה סבבי מסחר בלבד מתוך 26.

מתודולוגיה אחרת מייצרת תמונה הפוכה לגמרי. בתחרות בחירת מניה בודדת ל-90 יום שארגנה MarketBeat התייצבו אותם מודלים בדיוק:

• Claude Opus: מינוס 34.3 אחוז
• Grok: מינוס 82.9 אחוז
• המנצח הכללי: משתתף אנושי עם 120 אחוז

אותה משפחת מודלים, כללי משחק אחרים, ודירוג שאין בינו לבין הדירוג של Autopilot שום קרבה.

מה שלא פורסם על התיק

לזכותו של לופס לירה ייאמר שהוא הזהיר בעצמו. בראיון על התיקים הוא אמר שיכול לקחת עשור כדי לדעת אם אסטרטגיה מפוזרת באמת מכה את השוק, אמירה שסותרת ישירות את הדרך שבה התוצאה שלו שווקה. גם המאמר האקדמי שלו מסויג הרבה יותר ממה שנהוג לצטט ממנו. שיעור הפגיעה הגבוה שדווח בו מתייחס לתגובת השוק הראשונית, שאי אפשר לסחור עליה. האפקט חזק במיוחד במניות קטנות, שם עלויות המסחר גבוהות, והתשואות של האסטרטגיה נשחקות ככל ששימוש במודלי שפה מתרחב בשוק.

מעבר לכך יש שורה של דברים שפשוט לא פורסמו, סטיית תקן, מדד שארפ, ירידה מקסימלית מהשיא, וביקורת של גורם שלישי בלתי תלוי על התשואות או על הביצוע בפועל. אותו גוף מריץ במקביל כמה תיקים מתחרים, ומטבע הדברים זה שמוביל הוא זה שמקבל את הבמה. אפילו תאריך הפתיחה לא אחיד בין המקורות. דיווח מאפריל תיאר את התיק כאילו יצא לדרך בתחילת אותו חודש עם 15 מניות, בעוד מסלול התשואה שפורסם נמתח אחורה עד 3 במרץ. סקירה נוספת הצביעה על כך שהתיקים האלה פעלו כולם בתוך שוק שורי בטכנולוגיה, כלומר תקופה ממושכת של עליות, שהם מרוכזים סקטוריאלית, ושהפרומפטים המדויקים מעולם לא פורסמו.

מה שווה להעתיק לעסק שלכם

המסקנה המעשית כאן רחוקה משוק ההון. עסק ישראלי לא הולך למסור את תיק ההשקעות שלו לסוכן. ממילא ניהול תיקים וייעוץ השקעות בישראל הם עיסוקים ברישיון, כך שסוכן שממליץ על ניירות ערך ללקוחות הוא שאלה רגולטורית הרבה לפני שהוא שאלה טכנית. המבנה שהניסוי חושף רלוונטי לכל החלטה חוזרת שנוגעת בכסף, הקצאת תקציב מדיה בין קמפיינים, אישור הנחה מעל סף מסוים, החלטת הזמנה מחדש למלאי, תעדוף גבייה.

מה שכדאי להעתיק משם הוא רשימת האילוצים:

• תקרה קשיחה לגודל כל החלטה בודדת, כדי שטעות אחת לא תמחק לכם את החודש
• תקרה על קצב השינויים, כי סוכן שמותר לו לשנות הכל כל יום מייצר רעש ועלויות במקום תוצאה
• חובה לצרף לכל החלטה נימוק כתוב שניתן להפריך

השלישי הוא זה שהכי הרבה אנשים מדלגים עליו, והוא זה שהופך יומן פעולות לחומר שאפשר לבקר בדיעבד. בעוד חודשיים, כשתסתכלו על החלטה שהתבררה כשגויה, תרצו לדעת למה היא נעשתה. ההבדל בין לדעת לבין לנחש הוא ההבדל בין מערכת שאפשר לשפר לבין קופסה שחורה שאפשר רק לכבות.

שימו לב שאף אחד משלושת האילוצים אינו קשור למודל שבחרתם, לגודל חלון ההקשר או לאיכות הפרומפט. הם שכבה שיושבת מסביב, והם שקובעים כמה נזק אפשרי ביום גרוע. עסק שמתלבט אם הוא בשל להפעיל סוכן על תהליך שנוגע בכסף מגלה בדרך כלל שהחסם יושב במקום אחר לגמרי. התהליך הקיים מעולם לא הוגדר מספיק טוב כדי שיהיה אפשר לכתוב לו תקרות.

ויש עוד דבר אחד שקל לפספס, קו הבסיס. אם סוכן מקצה לכם תקציב פרסום, ההשוואה הנכונה אינה אפס ואינה הממוצע בענף. היא מה שחלוקת התקציב הקבועה הקיימת שלכם הייתה מייצרת באותו חלון זמן בדיוק. חודש שבו הסוכן עקף את התהליך הקיים מכיל בערך אותה כמות מידע שיש בקוף אחד מתוך עשרת אלפים.

מה הניסוי כן מוכיח

סוכן פעל חמישה חודשים על כסף אמיתי, בתוך מעטפת אילוצים שאדם ניסח, ולא עשה שום דבר הרסני. כל פוזיציה וכל עסקה היו גלויות לציבור. כל מהלך הגיע עם נימוק שאפשר לבדוק מולו בדיעבד, והתוצאה נחתה בטווח סביר. יש כאן ממצא אמיתי על אמינות תפעולית תחת אילוץ, והוא שימושי מאוד לכל מי שבונה מערכות שפועלות בלי השגחה רציפה.

יכולת השיפוט עצמה נשארה בדיוק היכן שהייתה. שיפוט תחת אי ודאות נמדד בעשרות מחזורי החלטה בלתי תלויים, ולאורך משטרי שוק שונים. חמישה חודשים של שוק עולה, עם אותם אילוצים בכל חודש, לא נותנים את זה. כל עוד האופק הזה חסר, כל טענה שהמודל “מבין שווקים” נשענת על אותה סטטיסטיקה שמייצרת קופים מנצחים בסימולציה.

מה שכדאי לעקוב אחריו בחודשים הבאים הוא לא המספר הבא שיפורסם, אלא מה יתפרסם לצידו, סטיית תקן, ירידה מקסימלית מהשיא, וביקורת חיצונית על הביצוע בפועל. עד שאלה יגיעו, הצד שאפשר לשכפל מהניסוי הוא הצד המשעמם. אדם יושב מראש, כותב תקרות, מחליט מה נחשב נימוק תקף, וקובע מה קורה כשמשהו חורג. את זה אפשר לעשות בעסק שלכם החודש, בלי לדעת אם המודל חכם ובלי לחכות עשור.