המתודולוגיה

איך זה עובד

בכל סבב אנחנו מנסחים שאלה שאין לה תשובה נכונה אחת, ומציגים אותה לשניים: מומחה אנושי בתחומו ומודל AI.

הכללים

1. שתי תשובות, עד 500 תווים כל אחת. שתי התשובות נערכות לאחידות צורנית בלבד (אורך, מבנה, משלב) — התוכן אינו משתנה.
2. הגרלת מיקום. בכל סבב מוגרל אם תשובת ה-AI תוצג כתשובה 1 או 2, כדי לנטרל הטיית מיקום.
3. פרוטוקול AI קבוע. מודל אחד קבוע, פרומפט אחיד, ניסיון אחד בלבד — ללא בחירה בין נסיונות. שדרוג מודל מתועד במדד.
4. מודל נפרד לניסוח. המודל שמסייע בניסוח השאלות אינו המודל המתחרה.
5. המומחה אנונימי. המומחה מוצג לפי תחום וניסיון בלבד; שמו נחשף רק בהסכמתו.
6. ההצבעה ברשתות. ההצבעה מתבצעת בתגובות (1 או 2) בלינקדאין ובפייסבוק. אנחנו מתעדים צילומי מסך לפני חשיפת התוצאות.
7. סף מדגם. סבב עם פחות מ-100 הצבעות מסומן כ"מדגם קטן".

מגבלות ידועות

ההצבעה פומבית ולכן חשופה להטיית עדר; הקהל המצביע אינו מדגם מייצג של האוכלוסייה אלא של עוקבי הסדרה. המדד מודד את העדפות הקהל הזה — בשקיפות מלאה.