如果要在 Machine Learning / Deep Learning 上面應用文字資料,其中一個很麻煩的過程是 Word Embedding ,還有對於 LSTM 的設定、文字資料的清理往往都令 Data Scientist 花很多時間。不少人都希望有一個通用式的框架可以處理 NLP 需求,而 Facebook 亦正式回應這個訴求。早前他們把內部的 NLP 框架 PyText 開源,除了令文字學習更簡單,亦可以結合 Caffee2 應用在不同產品上面。
PyText 是基於 PyTorch 的一個 NLP 專用框架,可以用簡單的指令進行訓練。Facebook AI Research 公佈這個開源框架是用於 Facebook 本身的 Portal 語音通話以及 Facebook Messenger 的推薦功能,換句話說這是Facebook 內部亦使用的一個 Machine Learning Model 。
在 PyText 現有的框架內,已經可以實現大量不同的功能例如是資料分類,內容重點抓取等等,同時可以結合現有的 AWS / Google Cloud 平台進行學習,畢竟這是一個很簡單的 Python Library ,能在不同的裝置上面運作。官方也有利用 Flask + PyText 去設計 Web App 的例子。
如果你是大量使用 ONNX and Caffe2 ,PyText 更支援直接的 API 接口,令你開發更容易,有興趣的開發者可以到這個 GitHub 直接下載程式碼。
引用來源:Facebook
這篇文章 Facebook 把自家 NLP 框架 PyText 開源,開發 AI 對答更簡單了(附 GitHub) 最早出現於 TechApple.com。