2024世界人工智能大會暨人工智能全球治理高級別會議7月4日-6日在上海舉行。
7月5日下午，由中國信息通信研究院承辦的WAIC 2024 “邁向AGI：大模型煥新與產業賦能”論壇在上海徐匯西岸拉開帷幕。小紅書技術副總裁王曉博在論壇上發表主題演講，分享了小紅書在大模型領域的最新布局與探索。
目前小紅書社區擁有超過三億的月活用戶，越來越多新一代年輕人因為共同的興趣愛好在這里相聚，小紅書上海量的UGC構成了一部豐富的生活指南。
在演講中，王曉博從“搜”、“推”、“創”、“美”、“伴”等多個技術應用場景闡述了大模型將如何助力小紅書這本“生活指南”更便捷、更鮮活、更美好。
王曉博指出：”我們希望通過多模大模型的能力增強，讓AI能夠越來越像人一樣，能夠理解小紅書的內容，不僅僅可以看懂筆記，看懂圖片和文字，能夠進行內容的整理和問答，也能夠輔助用戶進行更便捷的內容創作，同時通過對內容和用戶的深度理解，更好地建立內容和用戶之間的關聯和匹配效率。“
搜索一直是用戶在小紅書上高頻使用的功能，70%的小紅書活躍用戶有主動搜索行為。小紅書目前正在探索將大模型引入搜索的技術鏈路，未來能夠給用戶帶來更便捷的搜索體驗。
據王曉博介紹，在日常使用中，用戶查詢一些復雜問題時，往往需要多步搜索才能獲得想要的答案。而有了大模型的加持之后，小紅書將使用Search Agent來模擬用戶的多次搜索過程，通過大模型代理用戶的查詢過程，直接交付答案給用戶，大大提升了搜索效率。
在推薦上，大模型則可以幫助小紅書更好地理解內容和用戶興趣。王曉博表示，傳統推薦系統依賴行為數據對用戶和內容進行建模，會導致新筆記分發難，缺乏推理能力導致信息繭房等問題。
在小紅書的推薦系統中，率先將大模型作為筆記的語義編碼器來使用，通過語義壓縮提示詞（prompt）結合對比學習技術，讓大模型能夠把筆記轉化為推薦系統可理解的向量表征，在新筆記分發上取得了非常大的提升。同時，大語言模型（LLM）的推理能力能夠更好地建模用戶興趣，小紅書通過讓大模型從歷史行為中推理用戶潛在的新興趣，有效的緩解了信息繭房問題，提升了用戶留存。
AI智能創作同樣是小紅書與大模型擦出火花的重要探索領域。今年小紅書內部孵化的創新項目InstantID，通過人臉ID注入方式，成功在技術上兼顧了風格的保持和人臉ID的一致性，它不僅風格多樣，同時無需模型訓練，實現秒級出圖，為用戶提供了“發現不一樣的自己”的創作方式。
目前，該項目已向業界開源，為商業應用如電子商務、廣告和娛樂產業創造了新的可能性。
此外，王曉博還認為，大模型不僅可以為用戶提供信息和創意，也可以提供很多情緒價值。為此，小紅書在寵物世界、社區群聊、官號私信這幾個主要場景下，分別搭建了AI寵物、AI群聊、AI助手這一類聊天BOT產品，為用戶提供泛娛樂功能。
以AI寵物為例，每位用戶都可以領養一個虛擬寵物，通過對話的方式與它交互，在線上互動中獲得樂趣與情感陪伴。在群聊場景，AI 通過角色扮演的方式將自有性格生動的表達，AI助手也可以將生硬的官方活動信息幽默有趣的傳遞給用戶。
“針對陪伴類聊天應用里記憶、人格情緒等技術難點，小紅書采取了基于記憶網絡、世界體系和驅動飛輪等技術相結合的解決方案。通過精細化記憶建模，對歷史對話進行語義分析、重要性判斷、節點因子建模，從而深入理解用戶行為，構建個性化互動，實現越交互越聰明，越聰明越交互的良性循環。”王曉博說道。
在演講中，王曉博也指出，應用場景的落地離不開基礎能力的建設。
目前，小紅書技術團隊同時針對語言模型和多模態能力進行了綜合研發，結合小紅書自身的業務場景和需求，更早做了視覺理解大模型方向的技術攻關：在多模模型架構、多模態alignment和整個數據體系和視覺感知能力上，都做了一定的探索和優化；并基于多種類型的圖文數據，通過端到端多模態訓練和優化，訓練了對業務場景跟友好的視覺理解大模型，兼顧了圖像分辨率、OCR、長尾語義識別等能力。
目前小紅書在引擎技術上逐步完備布局，在訓練方面對于大模型的工程體系做了完備建設，包括預訓練、SFT、RLHF都做了針對模型和硬件的改造加速，自研了推理框架，對量化壓縮、投機采樣等技術都做了進一步優化。”
其中，比較有亮點的前沿技術，一是在MoE框架下，做了5D并行的高效率訓練，同時自研了RLHF框架，相較于開源框架性能和收斂穩定性都有提升。推理上我們做了W4A8模型壓縮，結合算子優化整體性能超過開源框架20%左右。“王曉博介紹道。
最后，王曉博表示：“人工智能技術在多模態、Agent、算力層都有望持續進步，小紅書也將借助大模型的能力，進一步拉近社區鏈接的距離，更好賦能小紅書之城的用戶們。”
小紅書于2013年在上海創立，以“Inspire Lives”為使命，形成了內容社區、商業廣告和電商交易三大業務板塊。截至2023年底，小紅書月活用戶數量超過3億，超50%用戶為95后；同時，小紅書社區擁有超過1億分享者，他們在小紅書上分享經驗、記錄生活。自成立以來，小紅書一直以技術為驅動力，目前持有和申請中的專利、商標、版權超過4000項，自研的“珠璣”大模型也已通過算法備案。