之前有一份工作是在產品中導入 AI 做長文摘要,突然有一天一個老客戶 A 怒氣衝衝的拿著一張截圖跑來問我們為什麼摘要裡出現一個簡體字(查了字典之後發現其實是通同字,例如「強」跟「强」,這裡只是舉個例子,並不是當時實際出問題的字)。客戶 A 這麼生氣的原因是他的客戶 B 因為這個字,懷疑 A 使用了中國的技術而產生疑慮(可能是禁運規定之類的,反正對 B 來說如果業務跟中國扯上關係會很麻煩)。當時 AI team 的同事排查了好久,就是沒辦法給客戶 A 一個滿意的答案,因為就算餵同樣的資料,也不保證能重現客戶 B 當時遇到的狀況——客戶 A 可不會接受 「AI 就是一個黑箱無法產生穩定輸出」的說法。最後雖然有安撫下來,但還是給我留下了很深刻的印象。
回到 Zircuit,如果是一般使用者發出的 transaction,因為被 AI 判定為惡意 transaction 而被放到隔離區,那就算最後還使用者清白,執行了 transaction,他接下來要接著執行的操作可能都要被迫延後了。身為使用者,每次發 transaction 的時候,那我就都會懷疑這個 transaction 到底能不能發出去,這就很難建立信任。最嚴重的就是如果 AI 針對某個已知的攻擊模式有時可以擋下有時又不能擋下,那 Zircuit 該怎麼補強?
我有看到明恩在其他留言回覆的第一批被吸引過來的會是開發者,但就算以開發者的角度出發,如果我的使用者的 transaction 有可能被 AI 判定有問題而被隔離,那我的使用者會不會「遷怒」到我的產品上?另外我不同意審計的成本會變成 0,現在大部分人對 AI 還是抱持半信半疑的態度,我認為無法全然取代審計(開個玩笑:審計你至少還有人可以追究責任,如果是 AI 錯放那要找誰負責)。再加上生態系突然多出一個無法被審計的「黑箱」,怎麼想都不會提升信任度。
但推動科技進步的永遠都是膽大的人,如果 OpenAI 覺得產品可能會犯錯就不願意公開,那就不知道我們要到等到什麼時候才能用到 ChatGPT。或許 Zircuit 會因為某次 AI 沒擋下的攻擊而黯然退場,但至少我們知道有人曾經嘗試過了。
安全跟限制總是一體兩面,一但為了安全而限制或是干擾太多就很容易降低 UX ,像是 XX 360 防毒,總是說是為了用戶的安全,但用戶只覺得在干擾。
如果 Zircuit 有個一戰成名的機遇,那用戶應該會快速的增加。
雖然文章裡我一直說 Zircuit 能保障用戶的安全性,不過開發者可能才是最容易被 Zircuit 安全功能吸引過來的第一批人
例如之前 Curve 被駭,因為是壞在程式語言的 compiler 層級。常規的審計貴鬆鬆,很難發現這種完全出乎意料之外的 bug。但如果 Zircuit 靠 AI 把專案審計的費用降到幾乎是零元,而且還可以做更廣泛的把關。最買單的可能是那些沒錢做審計的開發團隊,反正這裡有 60 分或 80 分的把關,而且不用付錢。在 Zircuit 上的開發者變多,就有機會吸引喜歡嘗鮮的使用者
上面有網友提到 AI 穩定性問題,但我其實看法相反,作為部份工作跟 AI 有關的工程師,我覺得 classify 類型的 AI 與 creation 用途的 AI 是很不同的,classify 類型的 AI 是非常強的,穩定性也相對高很多。
真正讓我懷疑的部分反而是,對於已經有過的攻擊手法,也許能防過,但真正大條的攻擊常常都是新的手法,沒學過的攻擊 pattern 究竟有多少可以防得住呢?
真是喜歡寫文章釣出高手的感覺,完全是我在寫這篇沒想過的東西,到時會一起拿來問 Zircuit
3/5 對我來說 AI 的介入反而是巨大的 red flag
之前有一份工作是在產品中導入 AI 做長文摘要,突然有一天一個老客戶 A 怒氣衝衝的拿著一張截圖跑來問我們為什麼摘要裡出現一個簡體字(查了字典之後發現其實是通同字,例如「強」跟「强」,這裡只是舉個例子,並不是當時實際出問題的字)。客戶 A 這麼生氣的原因是他的客戶 B 因為這個字,懷疑 A 使用了中國的技術而產生疑慮(可能是禁運規定之類的,反正對 B 來說如果業務跟中國扯上關係會很麻煩)。當時 AI team 的同事排查了好久,就是沒辦法給客戶 A 一個滿意的答案,因為就算餵同樣的資料,也不保證能重現客戶 B 當時遇到的狀況——客戶 A 可不會接受 「AI 就是一個黑箱無法產生穩定輸出」的說法。最後雖然有安撫下來,但還是給我留下了很深刻的印象。
回到 Zircuit,如果是一般使用者發出的 transaction,因為被 AI 判定為惡意 transaction 而被放到隔離區,那就算最後還使用者清白,執行了 transaction,他接下來要接著執行的操作可能都要被迫延後了。身為使用者,每次發 transaction 的時候,那我就都會懷疑這個 transaction 到底能不能發出去,這就很難建立信任。最嚴重的就是如果 AI 針對某個已知的攻擊模式有時可以擋下有時又不能擋下,那 Zircuit 該怎麼補強?
我有看到明恩在其他留言回覆的第一批被吸引過來的會是開發者,但就算以開發者的角度出發,如果我的使用者的 transaction 有可能被 AI 判定有問題而被隔離,那我的使用者會不會「遷怒」到我的產品上?另外我不同意審計的成本會變成 0,現在大部分人對 AI 還是抱持半信半疑的態度,我認為無法全然取代審計(開個玩笑:審計你至少還有人可以追究責任,如果是 AI 錯放那要找誰負責)。再加上生態系突然多出一個無法被審計的「黑箱」,怎麼想都不會提升信任度。
但推動科技進步的永遠都是膽大的人,如果 OpenAI 覺得產品可能會犯錯就不願意公開,那就不知道我們要到等到什麼時候才能用到 ChatGPT。或許 Zircuit 會因為某次 AI 沒擋下的攻擊而黯然退場,但至少我們知道有人曾經嘗試過了。
當然空投還是要領的,謝謝明恩。(喜)
讚讚,我會在 Devcon 約 Zircuit 來拷問關於不穩定性、AI 介入的負面影響,這則是很好的素材 👌👌
現在好像要先取得invite code,請問明恩要從哪裡拿到~~
啊,我都忘記! 【VG97XF】
這裏 https://app.zircuit.com/?ref=vg97xf
謝謝明恩~馬上動手試試,感謝分享~~