機器之心報道

編輯：陳萍

看來論文搜尋工具也開始捲了！

對於天天查詢論文的小夥伴來說，有一個好用的搜尋工具，那簡直不要太開心，效率妥妥的上升。

但現實結果卻是，要麼搜尋工具不給力，要麼自己輸入的關鍵詞不起作用，反正，自己腦海裡想找尋的論文和搜尋出來的結果不能說毫無關係，簡直是天差地別。

下面我們將要介紹的這個網站，可以幫你搞定論文搜尋遇到的難題，網站名為 arXiv Xplorer，專門用於對 arXiv 上的論文進行語義搜尋。根據專案作者介紹，該網站的內部演算法使用了 OpenAI 的最新嵌入模型，可以為使用者進行搜尋查詢，從而找到最相關的論文。

arXiv Xplorer地址：https：//arxivxplorer。com/

專案作者表示：OpenAI 新的嵌入 API 給他留下了深刻的印象，因此他想看看該嵌入是如何在實踐中使用的。所以他花了幾天時間來構建這個專案，到目前為止，它工作得非常好。除此以外，他還用 ChatGPT 編寫了 80% 的 UI，用 pinecone 來儲存向量資料庫，並用 googlecloud 函式來嵌入查詢並執行查詢。

想要了解嵌入模型更多內容，可以前去網站檢視。

嵌入模型：https：//openai。com/blog/new-and-improved-embedding-model/

藉助 arXiv Xplorer，你可以找到所需論文，即使是你的描述非常模糊，甚至只是輸入「有趣的 ML 論文」這種沒有資訊含量的描述，該引擎也能幫你完成。如下所示，輸入幾個關鍵字後該網站展示的查詢結果。

在此過程中，相比谷歌或 arXiv 自己的搜尋等傳統搜尋工具來說，你還能發現以前從未見過的有趣論文，相比來說，似乎 arXiv Xplorer 效果更勝一籌。

你也可以透過貼上 arxiv url 直接搜尋類似的論文，舉例來說，下圖的輸入是論文《A Generalist Agent》的地址，搜尋結果顯示（紅框），A Generalist Agent 相似度為 100%，其他的搜尋結果按照得分依次展開。

除此以外，你還可以點選上圖紅框中的小三角，之後介面變成下圖所示，顯示論文參與者和摘要，下面還有兩個功能：「More Like This」將會顯示更多相似論文；「View」會連結到論文在 arXiv 的主頁

看到這個功能齊全的網站，網友的好奇心也是憋不住了，問道「你用到了 OpenAI 的嵌入技術，但是這項技術是收費的，那你為此交了多少錢？」。專案作者表示：「將所有論文嵌入 CS 類別（約 50 萬篇）需要 40 美元。」

還有網友對技術展開了一系列問題，例如：「這個網站是嵌入了所有 arXiv 的標題嗎？」專案作者表示：「他把所有論文的標題和摘要都嵌入了，最初手動做餘弦相似度和排序，但 pinecone 使它超級簡單！」

還有網友建議到：「這個工具搜尋功能做得很好！如果能夠按釋出日期檢視和排序，那就太酷了。」對於這一點，專案作者表示之後會不斷最佳化，爭取實現更完美的功能。

參考連結：https：//twitter。com/tomtumiel/status/1611729847700570118？s=20&t=sW31zy64CvhMH81ntcxzXw