近期，后發制人蘋果悄悄放出一條不起眼的蘋果消息：其研發部門發布了一篇題為《閃存中的大型語言模型：在有限內存下高效的大型語言模型推理》的論文。冗長的大模標題下，掩藏著大模型落地端側的型能續技術亮點。業內人士紛紛猜測：在“AIGC元年”里始終保持著沉默的否持蘋果，是后發制人否終于要在大模型領域出手了？
蘋果大模型“浮出水面”？
近年來，在新技術方面的蘋果“后發先至”已經成為了蘋果身上的獨特標簽：不是行業首發，卻能憑借更加優越的大模技術能力、設計理念與生態體系重新定義產品甚至整個產業生態。型能續這一特質早在iPhone、否持Macbook等系列產品上就有所顯現，后發制人去年6月發布的蘋果MR頭顯初次進入人們視野之時，更是大模蘋果“后發制人”的高光時刻。
基于此，型能續雖然蘋果始終對百舸爭流的否持大模型保持緘默，業內卻認為蘋果在暗自“憋大招”。多位業內專家對《中國電子報》記者表示，在大模型領域，蘋果手握“門票”卻遲遲沒有“入場”，或許也是其“后發制人”習慣的延續。
這也解釋了為何蘋果在大模型方面的任何風吹草動，都格外引人注目。去年7月，首次傳出蘋果暗中測試大模型工具“Ajax”，并推出代號為“Apple GPT”的內部聊天機器人的消息。人們紛紛猜測，“Apple GPT”將為蘋果的人工智能助手Siri帶來革命性的升級。然而，這一猜測迄今尚未成為現實，“Apple GPT”最廣為大眾接受的解釋落定為“工作人員在開發層面開始使用能夠適配蘋果系統的人工智能工具”。
去年11月，踏著“AIGC元年”的尾聲，蘋果悄然推出一款名為Ferret的開源多模態大語言模型。據了解，這款大模型擁有70億和130億兩個參數版本，從測試結果上看，其圖像處理技術走在行業前列。然而，這款大模型由于僅面向研究機構開放，最終并沒有走入大眾視野。
圖說：蘋果發布Ferret大模型，圖像處理能力優越
去年12月，隨著上述論文的發布，“蘋果大模型”再次被推上風口浪尖。略過晦澀的文字表述和復雜的技術原理，論文的結論是：大參數模型，終于有望在“內存有限”的端側設備中落地了。
蘋果大模型另辟蹊徑
大語言模型要實現普及，落地智能手機是一條必經之路。當下，榮耀、Vivo、OPPO、小米、華為等智能手機廠商紛紛推出“大模型手機”，大模型在手機終端的適配與落地已成大勢所趨。
然而，訓練參數大、體量龐大、難以部署在端側離線使用，是大模型“走入用戶掌心”的一大難題。記者了解到，在當下主流智能手機市場，16GB運存是較為廣泛的終端配置，這樣的運存處理手機日常運行綽綽有余，但要實現模型的加載與數據分析，就顯得捉襟見肘。
為此，谷歌、Meta、微軟等頭部企業均選擇了“讓模型適應終端”的路線，紛紛推出了訓練參數更少、體量更小的“小模型”。以微軟為例，去年12月，微軟正式發布了參數規模僅有27億的“小模型”Phi-2，并宣稱該模型性能夠“吊打”體量在其25倍以上的大模型。
圖說：微軟CEO Satya Nadella在微軟Ignite 2023現場發布Phi-2
而面對著這條“卷起來”的“小模型”之路，蘋果卻另辟蹊徑，首次提出利用閃存技術創新來突破大模型端側部署的難點的概念。蘋果發布的論文指出，利用其創新的閃存技術，可以讓模型的運行規模達到iPhone 可用內存的兩倍。在該技術的加持之下，大模型的推理速度在Apple M1 Max CPU 上提高了4-5 倍，在GPU 上提高了20-25 倍。“這一突破對于在資源有限的環境中部署先進的大語言模型至關重要，極大地擴展了它們的適用性和可訪問性。”研究人員寫道。
具體而言，論文中提到了兩種關鍵技術：一是“窗口化”技術，允許模型重復使用部分已處理的數據，從而減少頻繁讀取內存的需要，提高大模型運行效率；二是“行-列捆綁”技術，通過對數據進行更有效的分組，令大模型能夠更快地從閃存中讀取數據，從而加速AI 理解和生成語言的能力。
圖說：圖解兩項核心技術
從論文內容看，大模型在端側的部署難題似乎可以迎刃而解。但也有業內專家指出，閃存技術仍有“漏洞”，離實際應用尚有距離。專家表示，閃存技術可用的核心假設是大模型所處理的相鄰數據前后具有相似性，但論文中蘋果并未對這一必要條件展開論證。閃存技術能否成為大模型端側部署的“轉折點”，還有待驗證。
蘋果大模型蓄勢待發
蘋果公司CEO庫克曾說過：“蘋果有計劃在更多產品中加入AI，但要‘深思熟慮’”。
過去一年，蘋果雖未對“AI”大書特書，但卻處處可見AI的影子。在2023蘋果全球開發者大會上，庫克始終強調ML（機器學習）概念，稱無論是硬件領域還是軟件領域，蘋果都早已為ML做足了準備。一方面，蘋果最新推出的M2 Ultra芯片可以負擔大規模ML的性能需求，在某些場景和需求下甚至可以部分替代獨立圖形處理器；另一方面，從系統到軟件，蘋果將ML的應用重點放在提升用戶體驗上。比如iOS17輸入法方面的更新，其本質就是大語言模型的應用。
在技術層面的準備之外，蘋果在內容方面也逐漸開始了動作。去年12月，有消息傳出，蘋果正就“價值至少5000萬美元的多年期合作協議”展開討論，并與康泰納仕、NBC新聞和IAC等媒體接洽，獲取他們過往新聞文章的使用授權，以作大模型訓練之用。相比同期微軟、OpenAI被紐約時報因版權原因起訴的尷尬，蘋果的這筆“版權投資”更顯示了其在內容生成領域的計劃性。
圖說：OpenAI被紐約時報因侵權問題起訴
硬件準備方面，香港海通國際證券分析師Jeff Pu發布報告稱，2023年蘋果可能已經建造了幾百臺AI服務器，而這個數量在2024年還將顯著增加。他還指出，蘋果計劃最早于2024年末在iPhone和iPad上采用生成式AI技術。這意味著，如果該計劃得以實現，用戶有望在于2024年末發售的下一代的iPhone和iPad上親身體驗蘋果大模型。
責任編輯：張琪瑋
