兩個人開同一個模型,同一個任務,prompt 差不多。一個拿到一份可以直接用的草稿。另一個拿到一堆聽起來頭頭是道、拆開重做要一小時的東西。
兩次之間,模型沒有變。變的是用的人。
AI 助手的邊界在兩邊:放甚麼進去,信甚麼出來。兩邊都不歸模型管。兩邊都是要自己練的習慣,而且每一次模型換代之後,兩邊都還在。
公開場合吵「AI 有沒有用」,多數在吵講話那個人有沒有練成這兩個習慣。「效率快十倍」那類故事,通常只做了上半場:上下文放對了,沒有查證,bug 留到生產環境才被人發現。「AI 無用」那類故事,通常只做了下半場:出來的每一行都查過,但放進去的本身就是垃圾。
兩邊,值得各自起一個名。
入:博觀約取
第一個習慣,是替助手揀「該看甚麼」,更要緊的是「不該看甚麼」。
聽起來理所當然。看人實際下手,就會見到兩邊都會走歪。
全部塞進去。整個 repo 一次過貼上,整段對話一次過貼上,整份規格一次過貼上——訊號就被雜訊埋住。模型抓不住主線,錨錯了地方,最後交出一段技術上對着輸入講、但早就不對着問題講的答案。
講得太省。一句「修一下」,沒有上下文,沒有約束,沒有失敗的測試。空白的位置,模型會用自己的先驗補上。出來的東西聽起來很有底子。解決的是另一個問題,不是你那個。
中間那份工夫,是揀。
把上下文視窗當成一張書桌。桌面上放甚麼,事情就被那些東西塑造。堆到亂,做不出事。整張清空,等於用一份你並不擁有的記憶做事。
落到手上,是一些細小、沉悶的選擇——
- 釘住那一份相關文檔,不是釘住整個 repo。模型不需要你手上每一個檔案。需要的是這次改動真正有關的那三個。
- 把約束在這一句訊息裡再講一次。不要假設前幾輪仍然生效。對話愈長,模型對「那條約束」的記憶愈淡。數據庫要保持向後相容,就在你問 migration 那一輪講出來,不是五輪之前。
- 上下文一污染,就開新對話。同一件事連續失敗三次,那三次失敗本身已經是上下文的一部分。帶着你真正學到的東西重開,好過在那個坑裡繼續爬。
視窗愈大,這份工夫愈值錢。一張更大的書桌,代表更多亂的空間、更多搶注意力的東西、更多把真正問題埋掉的方法。「只放對的東西進去」,是愈用愈值錢的本事。
出:審問明辨
第二個習慣,是不要相信任何一個你查不到的輸出。
陷阱是流暢。今日的助手,不論答案對錯,都會用一段自信、結構完整的話回應你。對的時候和錯的時候,那段話讀起來一模一樣。語氣裡沒有信號可以倚靠。流暢的錯答案,和流暢的對答案,一樣令人舒服——所以該不信的,正是那種舒服。
流暢讀起來像正確。陷阱就在這裡。
工夫的核心,是令查證比信任便宜。具體做甚麼,看模型給了你甚麼,動作就那幾個——
- 跑一次那段程式。「應該行」和「我跑過了」是兩件事。中間那段不對稱,就是這份工作的全部。
- 打開那條引用。模型給你出處的時候,把出處打開。一半的時候,出處真的存在,講的東西也接近。另一半很有趣——是壞的那種有趣。
- 把那個數字驗一次。一個由自信句子產生的數字,仍然只是一個由自信句子產生的數字。答案是「這個 API 每次呼叫 0.003 美元」,去定價頁核對。答案是「省了 30%」,找一份實測來比。
- 問它反方意見。「有人會在哪裡反駁這件事?」「最強的反對版本長甚麼樣?」這類問法,會把模型自己不會主動指出的軟肋翻出來。
不對稱才是整個重點。一個自信的錯答案,代價遠大過一個遲疑的對答案——遲疑會觸發查證,自信會跳過查證。一條工作流程,不論輸出幾自信都照樣去查;那條工作流程,才配得起自己聲稱的生產力提升。
不只是「prompt 寫得好」
有一整類建議——prompt engineering、prompt frameworks、prompt patterns——由另一個角度指着同一塊地。多數內容都是上面兩個習慣的下游。所謂「好的 prompt」,不過是一段能把對的上下文遞進去、又令答案查得到的文字。那個框法本身沒有錯,只是比自己宣傳的窄。
把這把傘叫做「prompting」,會把真正要緊的兩件事蓋住。Prompt 是把上下文遞進去的載具。輸出格式是把查證做出來的載具。只調外面那一層、沒有動底下那兩件事,等於把 token 重新排了一次——回來的東西,沒有變。
兩個習慣熬得過模型
模型會變。視窗會更大。幻覺率會更低。工具整合會更順。外面那層 agent 框架,會繼續吸收新能力。
這些都不會令用的人那份工作退役。剛好相反——
- 視窗愈大,搶注意力的東西愈多。揀的本事更重要,不是更不重要。
- 幻覺率愈低,失敗就愈微妙、愈難捉。查證的本事更重要,不是可有可無。
- 工具愈強,一個錯誤在被人攔截之前跑得愈遠——那個會跑程式的助手,一樣會跑錯的程式。查證,反而更加要緊。
兩個習慣會互相加成。模型升級,只是繞着這兩個習慣發生的邊際改良。
這跟其他每一件「上限很高」的工具,是同一個型。槓桿是真的。槓桿不會代替用的人。
值得討論的地方
公共空間的 AI 爭論,多數是模型爭論——哪個最好、哪個被高估、這個月誰排第一。這些問題會在某個論壇 thread 裡被回答一次,下一季排名一變,又重新吵一次。
真正值得討論的,在私人領域。
這一週,有了助手,比沒有的時候好嗎?
如果是——你做到了甚麼,是沒有助手的那個你做不到的?如果不是——是哪一邊斷了?入那邊,還是出那邊?
用哪個模型都好,會愈滾愈大的,是這條問題,不是模型。