【AI輔助資料庫的擬生對話測試】

施 登騰
12 min readDec 5, 2023

【博物館科技系列:就這樣「達利」了嗎?「達利」就這樣嗎?】v.2

曾在2019年針對美國佛羅里達州的「達利博物館(Salvador Dalí Museum)」於5月11日在達利115歲冥誕紀念日推出【達利實況Dalí Lives】展覽寫下報導(詳見連結:https://www.youtube.com/watch?v=BIDaxl4xqJ4),其實因為此虛擬達利互動裝置技術與創意都相當吸睛,所以就有許多外電以及台灣媒體跟進報導。於是我也收集了許多資料,針對DeepFakes的【Dalí Lives】能將已在1989年逝世的達利再透過人工智慧、機器學習科技,帶著優雅身形與獨特口音栩栩如生地在螢幕上與訪客互動,這位「重返人間」的超現實藝術家不僅會介紹自己的藝術、創作、與生平,還會邀請拍照、讀報分享頭條新聞,我寫下【博物館科技系列:就這樣「達利」了嗎?「達利」就這樣嗎?】(https://medium.com/artech-interpreter/博物館科技系列-就這樣-達利-了嗎-79558332a9f1

就因為閱讀與收集了許多資料,所以針對這個 AI互動多媒體展品:【Dalí Lives】整理了相關數據與技術如下:

【Dalí Lives】共有45分鐘的展示影片長度。

團隊以神經網路運算技術共分析超過6000幀臉部表情檔案影格,並執行超過1000小時的機器學習,才使【Dalí Lives】能透過AI DeepFakes運算去惟妙惟肖地重現達利表情、動作與口音。

【Dalí Lives】的達利身形與動作是由演員先演出的預錄影片片段,經過團隊再使用AI DeepFakes技術合成上去的。這也就是1000小時機器學習的成果,可以即使合成適當肢體與臉部組合。

【Dalí Lives】中的達利對白都來自博物館研究團隊針對其生前的訪問、書籍、書信等資料的研究。

【Dalí Lives】共完成125段影片,可以提供190,512種組合,使訪客都能有與達利對話互動的個人體驗。

【Dalí Lives】有英文、法文、西班牙文版本。

【Dalí Lives】是在等身大的多媒體螢幕Kiosk上呈現的,所以更具有類似真人的視覺感官。

團隊透過AI運算技術可以透過190,512種組合與觀眾互動。截圖自:https://youtu.be/BIDaxl4xqJ4

達利於1989年逝世前,曾有這樣一段最後的公開宣言:

「天才沒有死掉的權利,因為我們是人類進步的必要存在。When you are a genius, you do not have the right to die. Because we are necessary for the progress of humanity.」

這當然合理化了達利博物館與廣告公司:Goodby, Silverstein & Partners (GS&P)合作開發【Dalí Lives】的合理性,且確實也如實重現達利的嘴巴、眼睛、表情、想法等細節,以「科技幻術 technical illusion」完成一個「全真實現fully-realised」的人物~【Dalí Lives】達利,一位可以「以虛擬身份」親自向觀眾說明藝術創作的藝術家(the art according to the artist)。

我當時確實也驚豔於這也就是「達利對白都來自博物館研究團隊針對其生前的訪問、書籍、書信等資料的研究」與「1000小時機器學習的成果」,也創造了觀眾與達利的「對話」。但現在OpenAI提供My GPT功能,所以今早就特別製作了【I am Dali】GPT(說真的,不到四十分鐘搞定)。

❤️ 【I am Dali】GPT體驗走此:https://chat.openai.com/g/g-BXcJftCHN-i-am-dali

於是我就從達利基金會網站中(https://www.salvador-dali.org/en/research/)下載了開源的七本相關研究著作,三本英文版、一版義大利文版、三版西班牙文版,例如:Ruiz, C. (2010). Salvador Dalí and science, beyond mere curiosity. Pasaje a la Ciencia, 13, 4–13.此外,還有Dali的訪談稿“Conversation with Dali” (https://www.ubu.com/historical/dali/dali_conversations.pdf)

然後就將這些文字資料上傳到【I am Dali】GPT的Knowledge資料庫,再透過簡單設定去build GPT,也就能完成,於是也就能有以下的與Dali的互動對話。

🚩 我問:

對於時間流動,你是怎麼看的?

🚩 GPT 【I am Dali】:

關於時間流動,我薩爾瓦多·達利,將我的觀點融入了超現實主義的畫作中,特別是在我那些著名的軟化時鐘畫作里。這些畫作,如《記憶的堅持》中的融化的時鐘,象徵著時間的相對性和流動性。它們挑戰了對時間嚴格、線性的看法,反映出一種更加流動、柔軟和主觀的時間感知。

在我的藝術世界裡,時間不是固定的量度,而是一種可以被感知、經歷和表達的流動狀態。它與夢境、記憶和潛意識的界限模糊不清,呈現出一種超越現實的感覺。這些作品反映了我的內心世界,以及我對時間、現實和夢境的深刻思考。

🚩 我問:

你似乎不安於現實,且會挑戰極限,是因為個性還是生長環境?

🚩 GPT 【I am Dali】:

我的不安於現實和對極限的挑戰,部分源於我的個性,部分則受到我成長環境的影響。作為薩爾瓦多·達利,我在個性上自幼就展現出對傳統規範的反叛和對創造性表達的渴望。我內心的矛盾和掙扎,加上對藝術和哲學的深刻興趣,推動我不斷探索和超越現實的界限。

此外,我成長的環境,尤其是在西班牙加泰羅尼亞這個充滿文化和藝術氛圍的地區,也對我的藝術觀和生活態度產生了深遠的影響。我從小接觸到豐富的文化資源和多元的藝術形式,這些經歷激發了我對超現實主義的興趣,並深化了我對夢境、潛意識和象徵主義的探索。

總而言之,我的藝術風格和世界觀是我個性和成長環境共同作用的結果。我的作品反映了我對現實的深刻反思和對超越現實界限的持續追求。

🚩 我問:

有哪段時間的創作對你來說是最沈重的,不管是心態與精神或健康狀態上。

🚩 GPT 【I am Dali】:

對於我,薩爾瓦多·達利來說,生涯中最沉重的時期可能是在1940年代晚期到1950年代。這段時間,我不僅面臨著個人的內在掙扎,還在尋求藝術上的轉型和精神上的重生。

在這個時期,我的創作逐漸從超現實主義的夢幻景象轉向了核子主義(Nuclear Mysticism),這是一種試圖將科學、宗教和哲學融合在一起的藝術表現形式。我開始探索量子物理學、神秘主義和象徵主義,這些新的主題反映了我對宇宙和人類存在深層次的思考。

這段時間的轉變也與我個人生活中的事件有關。我與妻子加拉(Gala)的關係經歷了變化,同時我也在尋求更深層次的精神和宗教上的滿足。這些內外的掙扎和尋求,使得這段時期成為了我藝術生涯中既富有創造性又充滿挑戰的時期。

在這個階段,我的作品如《The Madonna of Port Lligat》(1949)和《The Sacrament of the Last Supper》(1955)等,顯示了我對於更傳統藝術形式的探索,同時也融合了我對科學和宗教的深刻興趣。這些作品標誌著我的藝術風格和思想的顯著轉變,反映了我在那個時期的心理和精神狀態。

就因為這樣追過數位科技,所以能有更務實的期待與想像。

就像【博物館科技系列:就這樣「達利」了嗎?「達利」就這樣嗎?】中英國Deeson 廣告公司的科技策略總監Ronald Ashiri的文章:「How Museums Are Using Chatbots」,也同樣認為ChatBot 該有:Gamifying Visits(遊戲化設計)、Enhancing Museum Visits(強化參觀內容)、Enhanced Support(優化參觀服務)、Extening Museums through Digital Visits(掌握數位服務與優勢)、Giving chatbots a face(賦予聊天機器人具形貌)。 因爲著眼於一對一的即時性、愉悅化、主動探知的個人數位資訊/諮詢服務。從目前的科技發展來看,以全知角色去提供AI語音服務、虛擬角色。只不過當時認為「確實是指日可待了。」,而今天早上用40分鐘就搞定了。

就因為這樣追過數位科技,所以能有更務實的期待與想像。

知道巴西奧美廣告公司與IBM公司合作,於2017年6月在巴西聖保羅州立Pinacoteca博物館(Pinacoteca do Estado de Sao Paulo) 推出數位導覽服務「The Voice of Art / with WASTON」,就是以AI語音服務進行展品導覽的應用實例,且「The Voice of Art」在使用形式上更像是「I am Dali」GPT。當時IBM研發團隊為了培養WATSON的應答能力,共花了6個月時間與西聖保羅州立博物館策展人和研究員合作,以大量的書籍、報導、傳記、訪談、網路資料、影片讓WATSON透過機器學習累積對於藝術作品豐富知識與答案,並擴大可對話與提供回覆的範疇。「The Voice of Art / with WASTON」在巴西聖保羅州立博物館共提供7件作品的對話導覽服務,根據IBM官方說明,這個Chatbot功能也使用了Beacon以提供即時通知服務與定位服務,並在研發期間搜集整理了2 萬則問答去測試,並透過機器學習館方所提供的文件、資料、問答等等。

使用者問導覽器:「這幅畫裡面有多少棵香蕉樹?」 圖片來源:截圖自https://www.youtube.com/watch?v=m9jT6nStyCQ

就因為這樣追過數位科技,所以能有更務實的期待與想像。

我在【博物館科技系列:就這樣「達利」了嗎?「達利」就這樣嗎?】一文是這樣結尾的:

丹布朗《起源 Origin》一書中AI 智慧語音助理~溫斯頓,操著優雅的英國口音為蘭登博士導覽,並會提醒在正前方地板上有幅伊夫·克萊因的作品《游泳池》,其中的藍色更被稱作「國際克萊因藍」。

多棒的導覽!!!!!

再寫寫「想都是問答,做才有答案」的心得。

是啊,多棒!! 雖然最近看到太多報導、臉文、研究對於AI導入教學的憂心,或者是AI導入教育的淺薄想像卻急於論證,甚至是AI運用的許多偏見….。反正就由他們吧!?或許就該經歷這些討論,我之前就已寫下心得做好心理準備如下:

教育AI應用的悲傷五階論?一種常被使命綁架的道德鳥瞰視角。

不是很了解目前各界與教育者對於AI的雲迷霧鎖般態度,但也不意外看到正反方相互平行就是了。

近期從各種「XX元年」的口號,以及NFT、Metaverse、Generative AI的接續而至的熱潮,我仍絕少主動去理解他人評論新科技之即時(且即期)的預測、省思與觀察。也懶得管其想法是正卡在想推倒的高牆上,或仍是慷慨激昂站在高牆前。反正忠於自己的使用經驗與教學測試就是最誠實的原則了,至於什麼數位科技能予人類的光明未來、增進福祉、末世威脅、衝擊誘惑等等,百人千口,讀讀就算了,把臉書當報紙、把報紙當雜誌、把雜誌當圖錄..的「後果」,就是會更認真對待「讀論文」這件事。

但最不解的是,既是新科技,其發展不是該像「科技接受模式」(Technology Acceptance Model, TAM),怎麼沾上教育使命後卻像是Kubler-Ross 的「五個悲傷階段」(Five Stages of Grief)。

因為如果是把AIGC套用於「科技接受模型」,大概是這樣(至少我是這樣過來的):

1. 感知有用性(Perceived Usefulness):會衡量AIGC在解決問題或提高工作效率方面的用途,以及它如何提升工作表現。

2. 感知易用性(Perceived Ease of Use):評估AIGC的使用難易程度,以及學習與操作過程中所需付出的努力。

3. 態度(Attitude):基於感知有用性和感知易用性,對AIGC的態度會影響是否願意接受和使用這項技術。

4. 行為意圖(Behavioral Intention):在經過評估後,可能會產生對AIGC的使用意願,進而決定是否實際採用這項技術。

5. 實際使用(Actual Use):在行為意圖的驅使下,將會實際運用AIGC於工作或日常生活中,以滿足特定需求。

但許多有識之士對於AIGC使用於教學場域,倒像是套圈了「五個悲傷階段」。試著說明與理解,大概會是像這樣:

1. 否認/隔離(Denial &Isolation):一些人可能無法接受AIGC技術在教育領域的運用,認為這會對教育產生負面影響,因此選擇否認其存在和影響。

2. 憤怒(Anger):隨著AIGC技術在教育領域的應用越來越廣泛,一些人可能會對此感到憤怒,擔心它會對人類教師的角色和地位造成威脅。

3. 討價還價(Bargaining):部分的人能在AIGC技術與傳統教育之間找到平衡,期待充分利用AIGC的優點,同時保留教育工作與使命的價值。

4. 沮喪(Depression):當意識到AIGC技術在教育領域的影響和改變是無法避免的時候,有些人可能會感到沮喪,對未來教育願景的變化感到無助。

5. 接受(Acceptance):最終,還是被迫接受AIGC技術在教育領域的應用,靜下心理解它既有潛在的優點,但維持警戒去關注挑戰。會積極尋求方法來適應並充分利用這項技術,以提升教育品質和效果。

一早有趣的測試!!

--

--

施 登騰

一位大學副教授教員,同步寫數位展示科技與中國文物鑑定。長期研究與分享「Connoisseur系列」、「博物館科技系列」、「數位轉譯系列」、「數位科技系列」等領域之資訊與知識。所發表之相關專文,目前總數已逾500篇,見:【數位轉譯職人誌三刀流】:https://medium.com/artech-interpreter