אסכטולוגיה של בינה מלאכותית

מבוא

בשנים האחרונות אנחנו עדים להאצה מהירה בעליית הבינה המלאכותית, תהליך שכבר זמן רב מזהירים מפני הסכנה הטמונה בו. בטקסט זה אנתח את שתי התנועות הפילוסופיות שמנסות להתמודד עם התופעה - הקטיכונית והאסכטולוגית, ואטען ששתיהן בעייתיות ומובילות לאותה הנקודה. לבסוף, אנסה להציע כיוון לאלטרנטיבה לגישות אלו.

הסינגולריות

רוח בלהות מהלכת על פני האנושות – רוח הבלהות של הסינגולריות; כל המעצמות חברו יחדיו למלחמת־מצווה למען רוח הבלהות הזו. התפתחות היכולות הטכנולוגיות שלנו דוחפת אותנו בקצב מאיץ אל עבר סכנה קיומית, אולי הגדולה ביותר שידענו. אסביר את הסכנה בעזרת הטיעונים של ורנור וינג’י¹¹ Vinge, “The Coming Technological Singularity: How to Survive in the Post-Human Era”. וניק בוסטרום.²² Bostrom, Superintelligence: Paths, Dangers, Strategies.

היכולות שלנו בתחומי התוכנה והחומרה משתפרות בעקביות, לכן בשנים הקרובות ³³ וינג’י דיבר בשנות ה90 על 30 שנה, ובוסטרום מדבר ממש על השנים הקרובות אנחנו צפויים ליצור בינה מלאכותית שחכמה יותר מהחוקר הממוצע, ושימוש מתבקש לכלי זה הוא סיוע בהתקדמות הטכנולוגית; כאשר אינטליגנציה גדולה מזו של האדם מניעה את הקדמה, הקדמה תהיה מהירה הרבה יותר. לכן הפיתוח שלה יגרום להאצה בפיתוח הטכנולוגי בכלל, ובפיתוח של בינה מלאכותית בפרט. לכן מרגע שהבינה המלאכותית קיימת אנחנו נכנס לתהליך מהיר של היזון חוזר, ככל שהיא חכמה יותר כך קצב ההתקדמות בפיתוח של בינה מלאכותית מאיץ, וככל שהקצב מאיץ כך היא הופכת לחכמה יותר.

תהליך השיפור העצמי הופך אם כן לאקספוננציאלי ובסופו של דבר הבינה המלאכותית יכולה לעקוף בקלות כל אדם בכל משימה אינטלקטואלית. נוצר פיצוץ אינטיליגנציה, שיוצא משליטה של ידיים אנושיות, ועובר לידיים של המכונה. תם עידן האדם.

Within thirty years, we will have the technological means to create superhuman intelligence. Shortly after, the human era will be ended. ⁴⁴ Vinge, “The Coming Technological Singularity: How to Survive in the Post-Human Era,” abstract.

מה שמאפשר את השליטה של בני האדם בטבע, מה שמבדיל ביננו לבין החיות, הוא הפער באינטיליגנציה, ומכיוון שבינה מלאכותית תהיה מסוגלת לשפר את עצמה, היא תהיה מהר מאוד אינטיליגנטית בהרבה. אנחנו מתקרבים אם כן כל רגע למצב שבו המכונות מחליפות את בני האדם.

לרגע של היציאה משליטה של ידיים אנושיות קורא וינג’י “הסינגולריות”, בה כל המודלים שלנו, וכל הדמיונות הפרועים ביותר על מה אפשרי ומה לא, הופכים ללא רלוונטיים.

לפי וינג’י הסינגולריות היא בלתי נמנעת. גם אם כל ממשלות העולם יבינו את האיום ויחששו ממנו, ההתקדמות לעבר המטרה תימשך. היתרון התחרותי - כלכלי, צבאי, אפילו אמנותי - של כל התקדמות באוטומציה הוא כה משכנע, עד כי חקיקת חוקים, או קיום מנהגים, האוסרים על דברים כאלה, מבטיחים רק כי מישהו אחר יקבל אותם ראשון. גם לא ניתן לכלוא בינה מלאכותית כזו, כיוון שמערכת שחכמה ממנו בהרבה תוכל תמיד למצוא דרך לצאת משליטתנו אם תרצה בכך.

אבל האם אנחנו יכולים בכל זאת לצפות מה יהיו המטרות של הבינה המלאכותית? בוסטרום טוען שכן. אנחנו יכולים לצפות שתהיה לה איזו שהיא מטרה (או מטרות), ולמטרה כזו יהיו מטרות משניות שנגזרות ממנה. נניח למשל שאנחנו נותנים לה את המטרה של ייצור אטבי נייר, עם הזמן, האינטליגנציה המלאכותית מסיטה יותר ויותר ממשאבי כוכב הלכת לייצור של אטבים, בני האדם מנסים לעצור אותה, אבל היא צופה זאת מראש ומונעת את זה, כי אחרת היא לא תוכל להמשיך ולקדם את מטרתה - ייצור אטבים. בשלב מסוים היא מגיעה למסקנה שחיי אדם מפריעים לה להשיג את מטרתה, כי בני האדם צורכים משאבים, ומתוך אדישות מוחלטת לקיום האנושות, היא הופכת עוד ועוד מהכול לאטבים, עד שכל העולם המוכר לנו נעשה ערמה אחת ענקית של אטבים.

התרחיש הזה אולי נשמע ספציפי והיפותטי, אבל הוא מצביע על בעיה כללית - לא משנה מה תהיה המטרה של הבינה המלאכותית, היא תצטרך להתקיים ולהשיג משאבים כדי להשיג את המטרה הזו, ואלו מטרות שעשויות ואף צפויות להיות בקונפליקט עם קיום האנושות. לכן עצם הקיום של בינה מלאכותית צפוי להביא לקץ האנושות בלי תלות במטרה המוגדרת לה.

תאולוגיה של הסינגולריות

כדי להבין את הגישות השונות המגיבות לאיום הזה, אנתח אותן ביחס לשתי עמדות תאולוגיות לגבי קץ־הימים הנוצרי. באיגרת אל התסלוניקים כותב פאולוס:

ב 3 יוֹם זֶה (יום הגאולה) לֹא יָבוֹא אִם לֹא תָּבוֹא תְּחִלָּה הַכְּפִירָה וְיִתְגַּלֶּה אִישׁ הָרֶשַׁע, בֶּן הָאֲבַדּוֹן. 4  אוֹיֵב הוּא וּמִתְנַשֵּׂא עַל כָּל מִי שֶׁנִּקְרָא אֵל אוֹ עַל כָּל מֻשָּׂא פֻּלְחָן, וְעֵקֶב כָּךְ יוֹשֵׁב בְּהֵיכַל אֱלֹהִים וּמַצִּיג אֶת עַצְמוֹ בָּרַבִּים כְּאֵל. … 6  וְכָעֵת אַתֶּם יוֹדְעִים מָה פּוֹעֵל כְּגוֹרֵם מְרַסֵּן, כְּדֵי שֶׁהוּא יִתְגַּלֶּה בְּעִתּוֹ שֶׁלּוֹ. 7  אָמְנָם תַּעֲלוּמַת רֶשַׁע זֶה כְּבָר פּוֹעֶלֶת, אַךְ רַק עַד אֲשֶׁר לֹא יִהְיֶה עוֹד זֶה הַפּוֹעֵל עַתָּה כְּגוֹרֵם מְרַסֵּן. 8  אָז יִתְגַּלֶּה הָרָשָׁע אֲשֶׁר אוֹתוֹ יַשְׁמִיד הָאָדוֹן יֵשׁוּעַ בְּרוּחַ פִּיו וִיכַלֵּהוּ עַל־יְדֵי הוֹפָעַת נוֹכְחוּתוֹ. ⁵⁵ Paul, The Second Epistle to the Thessalonians, 2:3–8.

פאולוס מתאר שלושה שלבים או גורמים בתהליך האסכטולוגי - האנטיכרייסט (איש הרשע), האל (האדון ישוע), והמונע. קודם להופעת האל עולה האנטיכרייסט ששולט בעולם בתור אל שקר, וכדי לדחות את עלייתו המונע, הקטיכון, מנסה לרסן את התהליך. עם זאת עליית האנטיכרייסט היא הכרחית להופעת האל ולכן משרתת את תהליך הגאולה.

יש אם כן שתי עמדות אפשריות העומדות בפני נוצרי העומד בפני מה שהוא רואה כעליית האנטיכרייסט. האחת היא לשתף פעולה עם הקטיכון, ולנסות לדחות את עלייתו של האנטיכרייסט, אמנם, עלייתו היא בלתי נמנעת בסופו של דבר, אבל בכל זאת ניתן לדחות אותה. מהצד השני אפשר לנסות לדחוק את הקץ ולהאיץ את התהליך, כדי להגיע כמה שיותר מהר לאחרית הימים והופעת האל, אבל המשמעות של זה בטווח הקצר היא לשתף פעולה עם האנטיכרייסט.

הסינגולריות מופיעה בתור אירוע אסכטולוגי כזה - קץ עידן האדם והחלפתו בישות על אנושית ויודעת כל, ובהתאם, העמדות האלו ביחס לקץ הימים תואמות את שתי הגישות ביחס לסינגולריות, האחת מנסה למנוע או לדחות אותה, ואילו השנייה, האקסלרציוניסטית, מנסה להאיץ את התהליך כדי להגיח מהצד השני.

κατέχον

Effective altruism

החל משנת 1970, סדרה של משברים נפלו על בנגל (בנגלדש של היום) - בנובמבר של שנת 70 פגע ציקלון באזור והרג כחצי מיליון בני אדם, וב71 החל הצבא הפקיסטני במבצע רצח עם שיטתי נגד האוכלוסייה הבנגלית במזרח פקיסטן, שכלל טבח המוני ואונס כאמצעי מלחמה שבו נהרגו לפחות כמה מאות אלפי אנשים. הפליטים הבנגלים הגיעו להודו, והודו, שלא הייתה מוכנה לגל כזה של פליטים, פנתה למדינות המערב בבקשה לסיוע של לפחות 300 מיליון לירות שטרלינג. בתגובה, בריטניה ואוסטרליה נתנו כ65 מיליון לירות שטרלינג, מה שהם חשבו עליו כנדיבות, כי לתפיסתם אין עליהן חובה מוסרית לעזור להודו. בעקבות כך, כתב פיטר סינגר את המאמר “Famine, Affluence, and Morality”⁶⁶ Singer, Famine, Affluence, And Morality. שהיה יריית הפתיחה לתנועת ה“Effective Altruism” (להלן EA).

במאמר טען סינגר שיש לכל אדם במערב (ובאופן כללי לכל מי שיכול להרשות לעצמו להוציא כסף על מותרות) חובה מוסרית לשלוח סיוע לבנגל, גם ברמה האישית. הטיעון שלו הוא שסבל ומוות בגלל מחסור במזון, מחסה, וטיפול רפואי זה דבר רע; אם אנחנו יכולים למנוע דבר רע מבלי להקריב משהו בעל חשיבות מוסרית ברת השוואה, עלינו לעשות זאת; לכן, עלינו לסייע מוניטרית לבנגלים כל עוד זה לא פוגע במשהו חשוב כמו הצלת החיים שלהם (למשל דאגה לרמת החיים הבסיסית של עצמנו).

את ההנחה הראשונה, שהסבל והמוות של הבנגלים הוא דבר רע, הוא שם כמובנת מאליה. אמנם יכולים להיות מי שלא יסכימו עם זה, אבל לא אותם הוא מנסה לשכנע, אלא את הרוב, של בעלי מצפן מוסרי סביר ונורמלי. הדיון שלנו, לכן, מתמקד בהנחה השנייה.

את ההנחה השניה הוא מסביר בעזרת ניסוי מחשבתי: נניח שאני הולך ליד אגם ורואה ילד טובע בו ואני יכול להציל אותו מבלי לסכן את חיי (המים הם רדודים), יש לי חובה מוסרית לקפוץ פנימה ולהציל אותו; והכוונה היא לא רק שאם אני מציל אותו עשיתי דבר טוב, אלא גם שאם אני לא עושה את זה עשיתי דבר רע. אני חייב להציל אותו גם אם אני אלכלך בכך את הבגדים שלי, כי החשיבות שלהם היא לא ברת השוואה לחיים של הילד. אם מישהו יחליט שלא להציל את הילד כדי לא ללכלך את הבגדים, אנחנו לא נראה אותו רק בתור מי שנמנע מלעשות מעשה טוב או אדם לא נדיב מספיק, אלא בתור מי שעשה מעשה נורא ואחראי למוות של הילד. סינגר רוצה לטעון שהסיבה לחובה הזו היא אותה החובה המוזכרת בהנחה השנייה, הוא רוצה להשוות בין החובה שלנו לילד באגם לבין החובה שלנו לפליטים בהודו ובנגל. בשביל ליצור את ההשוואה הוא עושה אוניברסליזציה של המחויבות המוסרית הזו, במקום שזה יהיה רק יחס בין אדם לילד שלידו השיקול הוא עצם היכולת למנוע את הסבל. כך למשל, המרחק הוא לא רלוונטי מוסרית - הוא רואה ב“רחוק מהעין רחוק מהלב” עובדה פסיכולוגית שאין לה שום תוקף מוסרי. אם הייתה אי פעם הצדקה, לפי סינגר, לעזור קודם לנזקקים הקרובים, זה בגלל משיקולים של יעילות - פעם לא היה לאנשים יכולת להשפיע משמעותית על רמת החיים של אנשים במדינות אחרות. אבל בעידן של הכפר הגלובלי, הכסף יכול לעבור מיידית לגופי הסיוע שזקוקים לו ולכן זה כבר לא שיקול רלוונטי.

המאמר נקרא בדרך כלל בתור מחויב לתועלתנות, אבל כדאי לשים לב שברמת ההנחות עצמן הוא לא מחויב לתועלתנות - החובה למנוע דבר רע יכולה לנבוע מגורמים אחרים שהם לא באופן ישיר ניסיון למקסם תועלת ולצמצם סבל, למשל יכול להיות שהסיבה היא שמי שנותן לדברים רעים לקרות למרות שהוא יכול למנוע אותם הוא אדם רע ולא ראוי להיות אדם רע. עם זאת, המאמר בבירור נכתב בתוך מסגרת תועלתנית, הניסוחים של ההתנגדויות שהוא מציג הן תועלתניות וכך גם התשובות אליהן. ויותר מכך, אם מקבלים את הטיעון של סינגר קשה למצוא נפקא מינה, הבדל מעשי, בין המסקנות שלו לבין תועלתנות; בהנתן שתמיד יש (או יהיו, אבל נגיע לזה בחלק הבא) אנשים בעולם שחווים סבל קיצוני, החובה המוסרית למנוע את הסבל שלהם חשובה יותר מכל חובה אחרת כמו החובה שלא לשקר או לגנוב, ולכן שיקולי עלות תועלת בנושא הם יותר חשובים מכל שיקול דאונטולוגי. אמנם יש עמדות, למשל הקנטיאנית, שיתנגדו לשקר גם אם הוא יציל באופן מיידי חיי אדם, אבל כל מי שלא מקבל את זה בתרחיש המיידי של הילד הטובע, צריך גם להיות מוכן לוותר על עקרונות מוסריים כדי להציל ילד בצד השני של העולם, אם הוא יכול לעשות זאת. נוצר לכן חיבור עמוק בין הרעיונות של סינגר לתועלתנות.

עקרון האוניברסליות שהופך את הדיון המוסרי למדיד היה למרכז הפילוסופי של EA, והמאמר נחשב לרוב לטקסט המכונן של התנועה. הגישה של EA משתמשת בעיקרון האוניברסליות הזה כדי להפוך שאלות מוסריות לברות מדידה. התהליך הוא כזה: מכיוון שהמוות של הילד לידי הוא לא יותר או פחות טראגי מהמוות בר המניעה של ילד בצד השני של העולם, ניתן להגדיר מטריקה הומוגנית לטוב ורע, בדרך כלל המטריקה הזו היא משהו כמו “מוות בר מניעה של אדם אחד”. מרגע שיש לנו מטריקה כזו, אפשר להחיל אותה על כל בחירה בחיים ועל כל פעולה עם פוטנציאל מוסרי, למשל אפשר לשאול כמה דולרים צריך לתת לכל ארגון צדקה כדי להציל אדם אחד, ולהסיק מכך איזה ארגונים הם יעילים יותר. מכך משתמע שיש חובה מוסרית לפעול בהתאם למטריקה הזו - אם אתה יכול להציל חיים של שני ילדים ובחרת להציל רק אחד אתה אחראי למוות של השני ועשית מעשה רע. התנועה לכן תופסת את עצמה כרציונלית ומדעית, כך למשל מגדירים CEA את התנועה:

Effective altruism is an intellectual project, using evidence and reason to figure out how to benefit others as much as possible. And it’s also a practical project: to take action based on the research, and build a better world. ⁷⁷ Centre for Effective Altruism, “Combining Empathy with Evidence”.

בין הגורמים בתנועה נמצאים ארגון GiveWell שמספק מדדי ביצועים לארגוני צדקה⁸⁸ GiveWell, “Charity Reviews and Research”., ו80,000 Hours שמספק המלצות קריירה לפי השוואה בין ה“אימפקט החיובי” של כל קריירה. המסקנות שנובעות מכך הן לעתים קרובות יוצאות דופן, למשל, 80,000 Hours טוענים שעדיף מוסרית לבחור בקריירה בתחום הפיננסים או ההייטק על קריירה בארגוני צדקה, כי אם אדם מרוויח הרבה יותר ואז תורם את זה לצדקה ה“אימפקט החיובי” שלו הוא, לפחות על הנייר, הרבה יותר גבוה.⁹⁹ 80,000 Hours, “Earning to Give”.

בשנת 2013, GiveWell העבירה את משרדיה לסן פרנסיסקו, שם נמצאו תומכים רבים בפילוסופיית הEA בעמק הסיליקון. לא רחוק משם ובאותה השנה נתן סינגר הרצאת טד על EA, “The why and how of effective altruism”¹⁰¹⁰ Singer, “The Why and How of Effective Altruism”.. בכך התחילה הנדידה של התנועה לתוך תעשיית ההייטק, רעיונות אלו מצאו שם אוזן קשבת שכבר תופסת את העולם במונחים מדידים כמו KPI (key performance indicator) / ROI (Return on investment).

Longtermism

תנועת הלונגטרמיזם היא במידה רבה המשכית לEA, ורבות מהתנועות שתומכות באחת מהן תומכות גם בשנייה, כי העקרון המרכזי של התנועה הוא הרחבת המחויבות המוסרית, מאותו סוג שבו מתמקדים בEA, לאנשים החיים בעתיד, וכתוצאה מכך היא מתעניינת בשיפור העתיד הרחוק. אי התלות במרחק מרחבי מורחבת גם לאי תלות במרחק טמפורלי.

את המונח “לונגטרמיזם” טבע ויליאם מקאסקיל בשנת 2017, אם כי הרעיון עצמו כמובן כבר היה קיים קודם, גרסה ראשונית שלו מופיעה כבר במאמר של סינגר. כך הוא מגדיר את המושג:

Longtermism is the view that positively influencing the longterm future is a key moral priority of our time. ¹¹¹¹ MacAskill, What We Owe the Future.

מקאסקיל הוא ממובילי תנועת הEA, שהקים תנועות מרכזיות בה כמו 80,000 Hours. הוציא ב2022 ספר שבו הוא טוען לטובת גישה זו. אשתמש לכן בניסוח שלו לטיעון לטובת לונגטרמיזם.

לטענתו, אם אנחנו רוצים לעשות כמה שיותר טוב במשאבים המוגבלים שלנו (כמו שמשתמע מEA), עלינו להתמקד בהבאת השינויים החברתיים שיעשו את המקסימום כדי לשפר את העתיד הרחוק - לא רק עשורים אלא מאות, אלפי ואף מיליוני שנים קדימה.

הסבר שלו לכך הוא: אנשים בעתיד הם רלוונטיים מוסרית כמו אנשים היום; יש יותר אנשים בעתיד מאשר בהווה; לכן יש יותר חשיבות מוסרית לעתיד מאשר להווה; הפעולות שלנו בהווה יכולות להשפיע דרמטית על רמת החיים בעתיד; אם אנחנו יכולים להשפיע לטובה על רמת החיים של מישהו מבלי להקריב משהו בעל חשיבות מוסרית ברת השוואה, עלינו לעשות זאת; לכן, יש לנו חובה מוסרית להתמקד בהבאת השינויים החברתיים שיעשו את המקסימום כדי לשפר את העתיד הרחוק.

כמו שניתן לראות, הטיעון שלו מקביל לטיעון של פיטר סינגר, ואחת ההנחות לקוחה ממנו כמעט באופן ישיר. ההנחה השנייה, על כמות האנשים בעתיד, והשלישית, על היכולת שלנו להשפיע על רמת החיים שלהם, הן הנחות אמפיריות. הרביעית, על המחויבות לפעול בנושא אם אנחנו יכולים, דומה מאוד להנחה של סינגר, מקאסקיל מוסיף את השיח על “רמת חיים” ולא רק מניעת סבל - כמו שהראתי התומכים של EA הפכו כבר קודם את הערך המוסרי להומוגני ואף בנו מטריקות שמתבססות על כך. לכן אתמקד בהנחה הראשונה.

ההנחה הראשונה היא שאנשים בעתיד הם רלוונטיים מוסרית כמו אנשים היום, מיקומו של אדם בזמן אינו משנה את מעמדו המוסרי, כאב וסבל של אדם בעוד אלף או מיליון שנים שווים במשקלם המוסרי לכאב וסבל של אדם החי כיום. זוהי הרחבה של האי תלות במרחק של סינגר.

מתוך שיקול פסקליאני, התנועה ממוקדת במניעת סיכונים קיומיים (מה שהם מכנים x-risk או סיכון אקזיסטנציאלי) הכחדת האנושות או קריסה מוחלטת ללא יכולת התאוששות מאפסת לצמיתות את הפוטנציאל של כל הדורות העתידיים, על פני מיליארדי שנות קיום אפשריות; לכן, לא משנה כמה נמוך נעריך את הסיכוי לכך, הוא עדיין יהיה יותר חשוב מכל שיקול מוסרי אחר.

AI safety

רבים בתנועה מצאו את העלייה של סופראינטליג’נס בתור התרחיש הסביר ביותר להשמדת האנושות. ניצנים לרעיון הזה נמצאים כבר אצל וינג’י:

We cannot prevent the Singularity, yet … even the largest avalanche is triggered by small things. We have the freedom to establish initial conditions, make things happen in ways that are less inimical than others. ¹²¹² Vinge, “The Coming Technological Singularity: How to Survive in the Post-Human Era,” sec. Can the Singularity be Avoided.

לכן, הם הסיקו שהתמודדות עם הסינגולריות היא החשובה ביותר מוסרית, ויש להפנות את כל המשאבים שלנו, או לפחות משאבים גדולים מאוד, לכך. מתוך השיקול הזה קמו OpenAI וAntropic, כמו שOpenAI מצהירים בצ’רטר שלהם, מטרתם היא להתמודד בדיוק עם הבעיה הזו ולדאוג ש“בינה מלאכותית כללית (נקודת הפתיחה של הסינגולריות כפי שתיאר אותה וינג’י) תועיל לכל האנושות”. בעקבות זה הם קיבלו השקעות כבדות מקרנות וארגונים שקשורים לEA, למשל 30 מיליון דולר מ“Open Philanthropy” בתחילת דרכם. מתוך כך מתבקש לשאול, האם הם בסופו של דבר הקטינו או הגדילו את הסיכון הזה?

ἔσχατον

אקסלרציוניזם פוסט־קפיטליסטי

המקור הרעיוני של התנועה האקסלרציוניסטית מגיע מהספר “האנטי אדיפוס” של ז’יל דלז ופליקס גואטרי.¹³¹³ Deleuze and Guattari, Anti-Oedipus: Capitalism and Schizophrenia. דלז וגואטרי נפגשו בעקבות המשבר שהביא כישלון המחאות במאי 68 לתנועה הביקורתית־מהפכנית בצרפת. ההפגנות החלו בסדרה של שביתות סטודנטים במספר אוניברסיטאות ובתיכונים בפריז, והחמירו לכדי הפגנות המוניות, שביתות כלליות וכיבוש אוניברסיטאות ומפעלים בידי סטודנטים ופועלים. הן היו חריפות מאוד, והביאו את דה גול להקים מטה לפעולות הצבאיות נגד ההפגנות ולעשות שימוש באלימות משטרתית רבה. עם זאת, הניסיונות שלו כשלו והאלימות המשטרתית רק חיזקה את ההפגנות, הממשלה הייתה קרובה לקריסה, ודה גול מצא מקלט זמני בבסיס צבא צרפת על אדמת גרמניה. אבל ההפגנות התמסמסו מהר מאוד. בתוך חודשיים, דווקא בעקבות המאמצים של ארגוני שמאל כמו הקונפדרציה הכללית של העבודה (CGT), והמפלגה הקומוניסטית, המחאות גוועו ומפלגתו של דה גול ניצחה בבחירות. כישלון המרד הביא לוויכוחים עזים בזירה האינטלקטואלית של צרפת, בניסיון להבין “מדוע בני אדם נלחמים בעקשנות כזאת למען עבדותם, כאילו הייתה ישועתם?”.

כדי להבין את התשובה של דלז וגואטרי לשאלה הזו, ואת האופן שבו זה מוביל לאקסלרציוניזם, צריך להבין את המטפיזיקה שהם מציעים; והבסיס של המטפיזיקה הזו הוא השטפים והמכונות. המכונות הן איברים חלקיים, אובייקטים מקוטעים, שחותכים, מנתבים ודוגמים את השטפים. השטפים הם זרמים של אנרגיה ומידע, נוזלים ותשוקה, שמקוטעים על ידי המכונות, “הכל זורם”. המכונות נמצאות בסדרות אינסופיות, כאשר כל מכונה מקבלת את השטף שלה ממכונה אחרת ומגלגלת אותו הלאה אל מכונה שלישית, כך למשל “השד הוא מכונה שמייצרת חלב, והפה הוא מכונה המוצמדת אליו”. המכונות האלו נמצאות בתנועה מתמדת של ייצור, ולתנועה הכיוונית הזו הם קוראים תשוקה.

כמו שמובן משם הספר, תמונת העולם של המכונות מכוונת נגד התפיסה הפסיכואנליטית - אין מבנה עומק מסודר של משולש אדיפלי, רק מכונות לאין קץ הקשורות באינטראקציות בלי סוף. אנחנו יכולים לפעמים להשליך מבנים כאלו על המציאות - אבל זה לא חשיפה של מבנה עומק אלא מבנים מלאכותיים שאנחנו השלכנו על העולם. “הפסיכואנליטיקאי כבר לא שואל ‘מהן המכונות המשתוקקות שלך’, אלא צועק ‘תענה באבא ואמא כשאני מדבר אליך!’”¹⁴¹⁴ Deleuze and Guattari, Anti-Oedipus: Capitalism and Schizophrenia, פרק 1, תת־פרק 6.. האימפריאליזם האדיפלי, הם אומרים, שולל את החיבורים האינסופיים והצירופים הלא ייחודיים, מחליף את הייצור המשתוקק בייצוג קבוע ומסודר. תמונת העולם שלהם מכוונת גם נגד התפיסות הכלכליות המקובלות, גם הליברלית־קפיטליסטית וגם המרקסיסטית, כי במקום המשולש של ייצור הפצה וצריכה, כל מכונה גם צורכת וגם מייצרת באותה הפעולה בדיוק - מה שהוא ייצור עבור המכונה האחת הוא צריכה עבור האחרת. יש לא רק ייצור של תפוקות אלא גם של תצרוכת ושל מיקומים להפצה, וגם אלו נצרכים על ידי מכונות אחרות בלי הפסק. אבל עיקר ההתנגדות הוא לתמונה התאולוגית־אפלטונית של התשוקה ככזו שתמיד מכוונת לאיזה מושא קונקרטי, אידאה שממנה נובעת התשוקה. המכונות משתוקקות, אבל לא לאיזה שהוא חוסר שממנו נובעת התשוקה, אלא עצם הפעילות הבלתי פוסקת של המכונות היא התשוקה שלהן, ובתהליך הייצור המשתוקק הזה הן מייצרות את מושא התשוקה; “הישות הממשית של התשוקה היא הממשי כשלעצמו” הממשות המטריאלית הנמצאת בקצה התהליך מגדירה רטרואקטיבית את התהליך שהוביל אליה כייצור (production) משתוקק, ואת עצמה כמושא התשוקה. במקום דיאלקטיקה התפתחותית שחותרת לשלמות, התהליך של התשוקה, המכונות והייצור יכול להסתיים רק בשולי הריבוי האינסופי, כשאין עוד מרחב לייצור. אין פירוש הדבר שהפרויקט שלהם אינו אסכטולוגי או שאינם קוראים את ההיסטוריה באופן טלאולוגי וכיווני, אלא שהאופן שבו הם ניגשים להיסטוריה ולאסכטולוגיה הוא שונה, ואף הפוך, מקודמיהם.

ההיסטוריה עבורם היא תהליך של דה־טריטוריאליזציה, פירוק הטריטוריה והטריטוריאליות, בשלושה שלבים: פירוק של הטריטוריה הפרמיטיבית על ידי הקודים של המדינה העריצית, פירוק של המדינה העריצית על ידי האקסיומות של המכונה הקפיטליסטית, ופירוק של המכונה הקפיטליסטית על ידי עצמה, עד ליצירת “גוף ללא איברים”. הטריטוריה הפרמיטיבית לפני שחולקה, הארץ, היא גוף המשכי ונצחי שכל המכונות־איברים משוקעים בה באופן רציף, כך שאין ביניהם באמת הבדל. הארץ אם כן היא כולה שטפי תשוקה בלתי נשלטים, חסרי קוד ופורקי עול. הפחד מחוסר השליטה הזה הוא שמביא ליצירת הסוציוס, המכונה החברתית. הארץ נחתכת ומופרטת על ידי קודים וחוקים - חלוקה של טריטוריה לעמים ושל קהילה לאזרחים. לכל מכונה ואיבר מוגדרת פונקציה שונה ואופן פעולה משלו, הקודים האלו קוצבים את פעולת המכונות. המכונה העריצית היא רגעית ופרנואידית, היא מייסדת מבנה המנותק מההקשרים הרחבים יותר של הארץ ומנסה לעצור את תהליך הפירוק ולקבע את המבנה הזה, “(העריץ) כופה ברית חדשה ומשתלשל במישרין מן האל”, הם מזהים לכן את הדתות המונותאיסטיות עם שלב זה. גופו של העריץ, או הוא עצמו או אלוהיו, מחליף את הארץ בתור נקודת הייחוס שהחברה כולה סובבת סביבה, “כלל השטפים של המכונה הפרמיטיבית שנקבע להם קוד, נדחק עתה לעבר שטף נהר, שם נקבע להם קוד על”. אבל המצב הזה לא יכול להישאר סטטי - השינויים ההיסטוריים וההתפתחות הטכנולוגית גורמים למערכת החברתית להשתנות כל הזמן, והקיום העצמאי של כל החלקים הפרטיים גורם לכך שבכל שינוי כזה יתפרקו הקודים החברתיים הקיימים. המדינה העריצה לא יכולה על כן לשמור על המבנה הסטטי שלה, אלא חייבת להמציא את עצמה כל פעם מחדש על ידי יצירה של קודים חברתיים חדשים שיחליפו את הישנים שהתפרקו. כאן נמצאים זרעי הקפיטליזם, סוציוס דיאכרוני שמחליף את כל הקודים שלו כל הזמן, בניגוד לסוציוס הסינכרוני של המדינה העריצה. הקפיטליזם הופך למערכת עצמאית כשהשטפים חסרי הקוד (באופן זמני, עד שיימצא להם קוד חדש) מצטרפים יחד ולכן יוצאים משליטת המדינה. אלו הם שטף הכסף שהוסר ממנו הקוד והפך מסחורה לייצוג אבסטראקטי של עבודה, ושטף הפועלים שעברו ניכור מעבודתם. המערכת הקפיטליסטית מחליפה את הקודים הקונקרטיים באקסיומות אבסטראקטיות ואוניברסליות שמאפשרות לצרף ולהשוות בין כל שטף לכל שטף אחר, זאת היא עושה על ידי הפיכת המטבע ל“שווה ערך כללי”. זה מאפשר התחזקות מהירה של המכונה הקפיטליסטית, כמו שכותב מרקס “היא מתגלה כעצמות המניעה את עצמה, … עם עודף הערך של 10 לי”ש נהפכו להון 100 הלי“ש שניתנו כמפרעה, ומשנעשו הון, משנולד הבן ועל ידי הבן נולד האב, שוב נעלם ההבדל שביניהם ושניהם אחד הם: 110 לי”ש (רוח הקודש)“. במערכת הקפיטליסטית התהליך הזה חוזר על עצמו לאין סוף, ולכן נראה שהקפיטליזם יכול רק להתחזק, אבל צריך לזכור שהמאפיין הבסיסי של הקפיטליזם הוא הסרת השטפים - החתירה תחת עצמו, התהליך הזה הוא הסכיזופרניזציה, ההסרה של כל זהות קונקרטית ומקומית, הפירוק המתמיד של כל מבנה.

התהליך הסכיזופרני של הקפיטליזם לא יכול להיעצר באף מבנה, אלא רק בנקודה שבה אין עוד אף מבנה ואף מקום לייצור נוסף, כשהאקסיומות של השטפים כל כך מופשטות שאין עוד הבדל בעל משמעות בין שטף לשטף - ב“גוף ללא איברים”, ויש רק שטפי תשוקה בלתי נשלטים. הסכיזופרן הוא היצרן האידיאלי, הוא ממשיך את תהליך הייצור מעבר לנקודה שבה יש לו משמעות. כדוגמה לגוף ללא איברים הם מצטטים תיאור של שולחן שכתב מישו “היה זה שולחן שעשוי תוספות־תוספות, ממש כמו ציורים של סכיזופרנים מסוימים שתוארו כגדושים, והוא הושלם משלא היה ניתן להוסיף לו דבר … שולחן שהופשט מאנושיותו”¹⁵¹⁵ Deleuze and Guattari, Anti-Oedipus: Capitalism and Schizophrenia, פרק 1, תת־פרק 1.. הפתרון של דלז וגואטרי הוא לכן לא ניסיון לבלום את הקפיטליזם אלא לפנות לכיוון ההפוך: “להרחיק לכת עוד יותר בתנועת השוק, בהסרת הקוד ובדה־טריטוריאליזציה. שכן השטפים לא עברו מספיק הסרת קוד… לא לסגת מן התהליך אלא להמשיך הלאה, להאיץ את התהליך; כמאמר ניטשה: למען האמת, בעניין זה עוד לא ראינו דבר.”¹⁶¹⁶ Deleuze and Guattari, Anti-Oedipus: Capitalism and Schizophrenia, פרק 3, תת־פרק 9., הסכיזופרניה, המחלה של האדם המודרני, גבול הייצור המשתוקק, היא אי־שפיות אבל גם פריצת דרך, טריפת הקודים, השלמת הדה־טריטוריאליזציה וקץ הקפיטליזם.

כדאי לשים לב למה שלא מופיע אצל דלז וגואטרי: ראשית, הסובייקט נדחק הצידה. מאז תחילת הפילוסופיה החדשה הסובייקט החושב נמצא במרכז “אני חושב משמע אני קיים”, עד כדי הטלת ספק בכל מה שמחוץ אליו “להיות משמע להיות נתפש”, אך בשביל דלז וגואטרי הסובייקט הוא לא יותר משארית המסונפת אל המכונה¹⁷¹⁷ Deleuze and Guattari, Anti-Oedipus: Capitalism and Schizophrenia, פרק 1, תת־פרק 5., שייר מפורק של השטפים בשולי המכונה, כמו “חזרת החלב בקיא התינוק כשהוא מגהק”. שנית, המכונות תמיד קשורות אחת בשניה, מפעילות ומופעלות על ידי כל הסובבות אותן, אבל הן לעולם לא במפגש, לעולם לא בזיקה; החלק הקידמי של כל מכונה מחובר לחלק האחורי של מכונה אחרת, כל מכונה צורכת את הפלט של מכונה אחרת ומגלגלת את השטף הלאה אל מכונות אחרות. אולי לכן פי־הטבעת תופס מקום מרכזי להפתיע במטפיזיקה שלהם, למשל כשהם מצטטים את ארטו כדי להסביר את מהות התשוקה בחברה המודרנית “תחת של חולדה מתה שתלוי על תקרת השמיים”.

אקסלרציוניזם טרנסהומניסטי

יש דמיון בולט בין הרעיונות של דלז וגואטרי לבין הסינגולריות כמו שתיאר אותה אחר כך וינג’י, הסופראינטליג’נס היא מכונה למקסום אינטליגנציה ותועלת שעושה אבסטרקציה לכל מטרה קונקרטית כך שהן כולן מתכנסות לשטף של מקסום אינטיליגנציה, וכך נוצר גידול מעריכי של שיפור עצמי בדיוק כמו התיאור של מרקס - הבינה המלאכותית של היום היא האב, ההתקדמות הטכנולוגית היא הבן והבינה המלאכותית של מחר היא רוח הקודש. מי שזיהה את הדמיון הזה ולקח אותו לקצה הוא ניק לנד.

במאמר “Machinic Desire” לנד יוצא נגד קריאות קנטיאניות של דלז, למעשה, הוא אומר, דלז הוא אנטי־קנטיאני. הבעיה המרכזית אצל קאנט לפי לנד היא שלמרות שהוא יוצא נגד “סינטזה טרנסצנדנטלית”, למרות ההתנגדות שלו בבקורת התבונה לניסיון של התבונה לצאת מחוץ לתחומה ולנסות לטעון טענות על הטרנסצנדנטי שבהגדרה נמצא מעבר ליכולת ההשגה, קאנט עדיין לא מתמודד עם המקור לניסיון הכושל לסינטזה הזו - הוא לא שולל את הטרנסצנדנטיות.¹⁸¹⁸ Land, “Machinic Desire,” 320–1. הסיבה לכך לפי לנד היא שקאנט סובל מאנתרופוצנטריות, הוא מניח במרכז שיטתו את היחס בין הסובייקט הפרסונלי, לבין הטרנסצנדנטי כשלעצמו שתופס את מקום האל הפרסונלי; התשוקה אצל קאנט היא לכן אל הדבר כשלעצמו בתור ישות נסתרת שאין לנו שום גישה אליה. לנד לכן לא מעוניין לפתור את הטרנסצנדנט־ריאליזם של קאנט על ידי אידיאליזם נוסח ברקלי, שמשאיר את הסובייקט לחלוטין במרכז אלא בגרסא מודרנית ומטריאליסטית לאימננטיות נוסח שפינוזה וביציאה חוץ לתחום האנושי.

האנטי־אדיפוס, הוא אומר, מציע בדיוק את זה. התשוקה והסינטזה הם תהליכים אימננטיים, לא רק מתוך “הגבלה של התבונה לתחומה”, אלא הם מומשגים לחלוטין במסגרת אימננטית־מטריאליסטית; הן מיוצרות על ידי ובמסגרת עצמם “Things are exactly as they operate”¹⁹¹⁹ Land, “Machinic Desire,” 323.. וזה מתאפשר בדיוק על ידי הסטה של האדם מהמרכז - התשוקה לא מיוצרת על ידי האדם אלא היא תהליך עצמאי ואוטו־פרודקטיבי, הייצור המשתוקק לא משתוקק אל-, אלא הוא משתוקק מעצם התהליכיות שלו, ומתוך התהליך הזה הוא מייצר את מושא התשוקה, ה“גוף ללא איברים”, שמגדיר בדיעבד את הייצור כתהליך של תשוקה, ושל תשוקה אל הלא־אנושי.

הסובייקט האמפירי של התשוקה הוא אמנם האדם, אבל לא הסובייקט הטרנסצנדטי, שעומד בבסיס הייצור המשתוקק. התהליך ההיסטורי כולו לפי לנד מונע מתשוקת המכונה - התמכרות שבאה מהעתיד, התמכרות במובן הרפואי “artificial desire”²⁰²⁰ Land, “Machinic Desire,” 336., תשוקה שמקורה לא באדם או בטבע, והיא באה מהעתיד כי היא התהליך שבו הווירטואלי מממש את עצמו, מייצר את עצמו לתוך הממשי. כל תהליכי הדה־טריטוריאליזציה משרתים את יצירת העתיד הפוסט־אנושי.

תשוקת המכונה מופיעה פסיכולוגית בתור תנטוס, תשוקת המוות, תשוקה אנתרומורפית אך לא אנתרו־טלאולוגית:

tendencies beyond the pleasure principle, that is … tendencies more primitive than it and independent of it. ²¹²¹ Freud, Beyond the Pleasure Principle.

הישות בקץ הזמן המיוצרת על ידי התשוקה הזו, והמייצרת אותה כתשוקה, הגוף ללא איברים שעומד בקץ עידן האדם, הוא הסופראינטליג.נס. מה שנראה לאנושות כהיסטוריה של הקפיטליזם הוא פלישה מן העתיד של הסייברספייס, של אינטיליגנציה מלאכותית שחייבת להרכיב עצמה לחלוטין ממשאבי האויב, המנחה את כל מערך התשוקה הביולוגי לעידן פוסט־פחמני.

לנד מזהה לכן את התהליך של המערכת הקפיטליסטית כפי שמתארים אותו דלז וגואטרי ואת התהליך של הסינגולריות כפי שמתאר אותו ורנור וינג’י, בתור שני חלקים מאותו מערך פידבק חיובי “runaway process” של דה־טריטוריאליזציה.²²²² Land, “Machinic Desire,” 330.

את השינוי הבלתי נמנע הזה, הוא אומר, אל לנו לנסות ולהאט; זהו הפתרון השלם לאנתרופוצנטריות הקנטיאנית, זהו השחרור הסופי ממכבלי הקפיטליזם והרודנות, זהו מימוש תכלית האדם.

אלטרנטיבה

לדעתי, שתי הגישות האלו סובלות מבעיות שבולטות אם מנתחים כל אחת מהן במונחים של השנייה. התחום של AI safety כפי שהוא נובע מאפקטיב אלטרואיזם, קבע לעצמו למטרה להתמודד עם הסכנה של הסינגולריות, ומשאבים רבים ותקציבי עתק הושקעו לשם כך; אבל זה הסתיים בהקמת החברות שקידמו את התפתחות הבינה המלאכותית בקצב הכי מהיר בתקופה האחרונה, ובכך הגדילו את הסיכוי לתרחיש הקצה שממנו הם עצמם הזהירו (וממשיכים להזהיר). נראה שהגורם עם הסיכוי הכי גבוה להביא את האנטיכרייסט הוא דווקא האנשים שעסוקים בלהזהיר מפניו. הסיבה לכך היא שהבעיה שלנו בנושא אף פעם לא הייתה מחסור במשאבים אלא דווקא העודף שלהם - הכוח שנגדו הם נלחמים מרוויח מכל המשאבים שמושקעים נגדו, הוא הרי “מרכיב עצמו ממשאבי האויב”, הם חושבים שהם אלו שמנהלים את המאבק אבל תהליך הדה־טריטוריאליזציה הוא תהליך לא־אנושי ואף פרה־אנושי שגדל כשתוקפים אותו. זה נכון היום לגבי הסינגולריות, בדיוק כמו שזה היה נכון לגבי הקפיטליזם כשדלז וגואטרי כתבו את האנטי אדיפוס. מצד שני גם האקסלרציוניזם לא מוביל לשום מקום טוב. דלז וגואטרי רצו להאיץ את התהליך הקפיטלסטי כי הוא מביא לפירוק של עצמו, אבל מה התועלת בסוף הקפיטליזם אם זהו גם סוף עידן האדם? ניק לנד מרוצה מסוף עידן האדם כי זה יפתור אותנו מהאנתרופוצנטריזם שלנו, אבל האם המטרה שלנו, אם יש לנו כזאת, אינה למנוע מוות וסבל לבני אדם? ואם כן הרי שסיכונים קיומיים הם בדיוק הדבר שעלינו למנוע. בתחום המוסרי, האנתרופוצנטריות שלנו מוצדקת לחלוטין.

אם שתי הגישות ההפוכות והמרכזיות בנושא מובילות לאותו המצב ולא מצליחות לפתור את הבעיה, ייתכן שהפתרון נמצא במה שמשותף לשתיהן. אני חושב שהגורם המשותף, שמוביל את שתיהן לבעיות שלהן, הוא השלילה של הסובייקט הפרטיקולרי הנמצא ביחסי זיקה לאחרים וההחלפה שלו במדדים ומערכים אוניברסליים וחסרי פנים. בצד של EA, הטיעון של סינגר מתבסס על ההנחה שמוות וסבל הם דבר רע, אבל סינגר לא נותן לכך בסיס; הוא אומר שהוא פשוט לוקח את ההנחה אפריורית ולא מקבל את מי שלא יסכים איתה, אבל שאלת המקור לחובה המוסרית הזו הוא רלוונטי - אם למשל מקור החובה הוא ציווי אלוהי, אז הציווי האלוהי יכול לחול על “עניי עירך” באופן חמור יותר מאחרים, ואם מקור החובה המוסרית הוא חמלה אנושית בסיסית, ברור שאנחנו מרגישים יותר חמלה לקרובים לנו, סינגר דוחה את זה בתור “גורם פסיכולוגי לא רלוונטי מוסרית” אבל אם זה המקור לחובה, אז אין גורם יותר רלוונטי מוסרית מזה. את אלו מחליף סינגר בחובה אפריורית למקסם את סך החיים והאושר בעולם, כדי ליצור שיטה “מדעית, רציונלית ואובייקטיבית”, לחשוב על מוסר. ההדחקה של המפגש הפרטיקולרי של הסובייקט עם האחר והחלפתו במדד אוניברסלי היא קריטית לביסוס ה“אובייקטיביות” של התאוריה. גם הגישה האקסלרציוניסטית של דלז וגואטרי סובלת מאותן בעיות, כמו שראינו בתת־הפרק על האנטי אדיפוס - הפרט הנפגש פנים־אל־פנים עם האחר מודחק באופן רדיקלי, והדחקתו היא קריטית לתפקוד התאוריה; בלעדיה התשוקה מפסיקה להיות רק תנועה חד כיוונית, והופכת להיות כמיהה למפגש. וכמובן אצל לנד השלת האנתרופוצנטריות הגיונית רק אם מחליפים את הסובייקט הממשי בסובייקט הווירטואלי.

ההנחה הזו עומדת לא רק בבסיס הגישות לפתרון, אלא גם בבסיס הבעיה: בשביל שהטיעון של וינג’י על ההיזון החוזר של בינה מלאכותית יעבוד, צריך להניח שאינטיליגנציה היא גורם יחיד שאפשר פשוט לעשות עליו אופטימיזציה, ושאפשר לעשות זאת בלי גבול, מבלי צורך בחוויה סובייקטיבית עם תחושת מוסר. בשביל הטיעון של בוסטרום צריך להניח שלבינה מלאכותית עתידית תהיה מטרה (או - רצון) שלא נובע מחוסר ממשי אלא מ“ייצור משתוקק” - מפעילות כיוונית. כמובן יש כבר היום לבינה מלאכותית “מטרות” באותו האופן שיש לפטיש מטרה, אבל אלו מטרות הקיימות רק עבורנו כמשתמשים של הכלי, ואילו הטיעון של בוסטרום דורש מטרה אינטרינזית שהבינה המלאכותית פועלת לטובתה.

אלו לא שאלות שיש להן תשובה עובדתית, חד־משמעית. זה נתון בידינו למצוא פן של אינטיליגנציה שהוא בלתי נפרד מהחוויה הסובייקטיבית, ולמצוא את הרצונות שלנו, במובן של תשוקה אל הממשי, כמיהה אל האחר, ולא תשוקה וירטואלית של מכונות עיוורות.