Python 語言檢測

Python 中有多種優(yōu)秀的語言識別工具，以下是一些常用的工具和庫：

1. langdetect

? 簡介: langdetect 是一個(gè)非常流行的語言檢測庫，基于 Google 的 language-detection 項(xiàng)目。它可以檢測多種語言，并且對于短文本也有不錯的識別效果。

? 安裝:

pip install langdetect

? 使用示例:

from langdetect import detect

text = “Bonjour tout le monde”

language = detect(text)

print(language)  # 輸出: ‘fr’ (法語)

2. langid

? 簡介: langid 是另一個(gè)非常強(qiáng)大的語言識別庫，支持97種語言。它的特點(diǎn)是完全自包含且無需外部依賴。

? 安裝:

pip install langid

? 使用示例:

import langid

text = “Hola, ?cómo estás?”

language, _ = langid.classify(text)

print(language)  # 輸出: ‘es’ (西班牙語)

3. polyglot

? 簡介: polyglot 是一個(gè)支持多語言處理的庫，它不僅提供語言識別功能，還支持情感分析、實(shí)體識別等多種自然語言處理任務(wù)。

? 安裝:

pip install polyglot

? 使用示例:

from polyglot.detect import Detector

text = “Ceci est un exemple de texte en fran?ais”

detector = Detector(text)

language = detector.language.code

print(language)  # 輸出: ‘fr’ (法語)

4. TextBlob

? 簡介: TextBlob 是一個(gè)簡潔易用的自然語言處理工具包，雖然它主要用于情感分析、詞性標(biāo)注等任務(wù)，但也支持語言識別。

? 安裝:

pip install textblob

? 使用示例:

from textblob import TextBlob

text = “Hello, how are you?”

blob = TextBlob(text)

print(blob.detect_language())  # 輸出: ‘en’ (英語)

5. FastText (by Facebook)

? 簡介: FastText 是一個(gè)由 Facebook 提供的開源庫，除了高效的詞向量表示外，它也能很好地進(jìn)行語言識別。它支持多達(dá)170多種語言。

? 安裝:

pip install fasttext

? 使用示例:

import fasttext

model = fasttext.load_model(‘lid.176.bin’)  # 下載預(yù)訓(xùn)練模型

text = “Ceci est un texte en fran?ais”

prediction = model.predict(text)

print(prediction)  # 輸出: (‘__label__fr’,)

6. cld3 (Compact Language Detector v3)

? 簡介: cld3 是一個(gè)高效的語言檢測庫，基于 Google 的 Compact Language Detector v3。它對短文本和多語言文本都有不錯的支持。

? 安裝:

pip install cld3

? 使用示例:

import cld3

text = “Hola, ?cómo estás?”

language = cld3.get_language(text)

print(language)  # 輸出: Language: es (西班牙語)

總結(jié)：

? 如果需要一個(gè)簡單、易用的工具，langdetect 和 langid 都是不錯的選擇。

? 如果對處理多語言的文本和需要其他 NLP 功能有需求，可以考慮使用 polyglot 或 TextBlob。

? 如果需要更高精度的檢測，尤其是在短文本的情況下，F(xiàn)astText 和 cld3 是更強(qiáng)大的選擇。

你可以根據(jù)具體需求選擇適合的工具！