El procesamiento del lenguaje natural (PNL) es el método de inteligencia artificial (IA) para comunicarse con un sistema mediante el lenguaje natural. En palabras simples, es la combinación de informática, inteligencia artificial y lenguaje humano. Las aplicaciones de NLP se pueden presenciar en chatbots, asistentes de voz como Siri, Cortana, Google Translate y similares. Python es uno de los lenguajes más utilizados y está implementado en casi todos los campos y dominios.
En este artículo, enumeramos 10 bibliotecas de lenguaje Python NLP importantes.
1. Kit de herramientas de lenguaje natural (NLTK)
NLTK es una de las plataformas líderes para crear programas Python que pueden trabajar con datos de lenguaje humano. Presenta una introducción práctica a la programación para el procesamiento de lenguajes. NLTK viene con una gran cantidad de bibliotecas de procesamiento de texto para detección de oraciones, tokenización, lematización, derivación, análisis, fragmentación y etiquetado POS.
NLTK proporciona interfaces fáciles de usar para más de 50 corpus y recursos léxicos. La herramienta tiene las funcionalidades esenciales necesarias para casi todo tipo de tareas de procesamiento de lenguaje natural con Python.
2. Gensim
Gensim es una biblioteca de Python diseñada específicamente para "modelado de temas, indexación de documentos y recuperación de similitudes con grandes corpora". Todos los algoritmos en gensim son independientes de la memoria, con respecto al tamaño del corpus y, por lo tanto, pueden procesar entradas más grandes que la RAM. Con interfaces intuitivas, gensim permite implementaciones eficientes de múltiples núcleos de algoritmos populares, incluido el análisis semántico latente en línea (LSA / LSI / SVD), la asignación de Dirichlet latente (LDA), las proyecciones aleatorias (RP), el proceso de Dirichlet jerárquico (HDP) o word2vec deep aprendizaje.
Gensim incluye una extensa documentación y tutoriales de Jupyter Notebook. Depende en gran medida de NumPy y SciPy para la informática científica. Por lo tanto, debe instalar estos dos paquetes de Python antes de instalar gensim.
3. CoreNLP
Stanford CoreNLP comprende una variedad de herramientas de tecnología del lenguaje humano. Su objetivo es hacer que la aplicación de herramientas de análisis lingüístico a un texto sea fácil y eficiente. Con CoreNLP, puede extraer todo tipo de propiedades de texto (como reconocimiento de entidad con nombre, etiquetado de parte de la voz, etc.) en solo unas pocas líneas de código.
Dado que CoreNLP está escrito en Java, exige que Java esté instalado en su dispositivo. Sin embargo, ofrece interfaces de programación para muchos lenguajes de programación populares, incluido Python. La herramienta incorpora numerosas herramientas de PNL de Stanford, como el analizador sintáctico, el análisis de sentimientos, el aprendizaje de patrones de arranque, el etiquetador de parte del discurso (POS), el reconocedor de entidades con nombre (NER) y el sistema de resolución de correferencia, por nombrar algunos. Además, CoreNLP admite cinco idiomas además del inglés: árabe, chino, alemán, francés y español.
4. SpaCy
spaCy es una biblioteca NLP de código abierto en Python. Está diseñado explícitamente para uso en producción: le permite desarrollar aplicaciones que procesan y comprenden grandes volúmenes de texto.
spaCy puede preprocesar texto para el aprendizaje profundo. Se puede utilizar para construir sistemas de comprensión del lenguaje natural o sistemas de extracción de información. spaCy está equipado con modelos estadísticos previamente entrenados y vectores de palabras. Puede admitir la tokenización en más de 49 idiomas. spaCy cuenta con velocidad de vanguardia, análisis, reconocimiento de entidades con nombre, modelos de redes neuronales convolucionales para etiquetado e integración de aprendizaje profundo.
5. TextBlob
TextBlob es una biblioteca de Python (2 y 3) diseñada para procesar datos textuales. Se enfoca en brindar acceso a operaciones comunes de procesamiento de texto a través de interfaces familiares. Los objetos TextBlob se pueden tratar como cadenas de Python que se entrenan en el procesamiento del lenguaje natural.
TextBlob ofrece una API ordenada para realizar tareas comunes de PNL, como etiquetado de parte del discurso, extracción de frases nominales, análisis de sentimientos, clasificación, traducción de idiomas, inflexión de palabras, análisis, n-gramas e integración con WordNet.
6. Pattern
Pattern es una herramienta de procesamiento de texto, minería web, procesamiento de lenguaje natural, aprendizaje automático y análisis de redes para Python. Viene con una serie de herramientas para la minería de datos (Google, Twitter, API de Wikipedia, un rastreador web y un analizador DOM HTML), NLP (etiquetadores de parte del discurso, búsqueda de n-gramas, análisis de sentimientos, WordNet), máquina aprendizaje (modelo de espacio vectorial, agrupamiento, SVM) y análisis de redes mediante centralidad y visualización de gráficos.
El patrón puede ser una herramienta poderosa tanto para un público científico como para un público no científico. Tiene una sintaxis simple y directa: los nombres de las funciones y los parámetros se eligen de manera que los comandos se explican por sí mismos. Si bien Pattern es un entorno de aprendizaje de gran valor para los estudiantes, sirve como un marco de desarrollo rápido para los desarrolladores web.
7. PyNLPl
Pronunciado como piña, PyNLPl es una biblioteca de Python para el procesamiento del lenguaje natural. Contiene una colección de módulos Python personalizados para tareas de PNL. Una de las características más notables de PyNLPl es que cuenta con una extensa biblioteca para trabajar con FoLiA XML (Formato de anotación lingüística).
PyNLPl se divide en diferentes módulos y paquetes, cada uno de los cuales es útil para tareas de PNL estándar y avanzadas. Si bien puede usar PyNLPl para tareas básicas de PNL, como la extracción de n-gramas y listas de frecuencia, y para construir un modelo de lenguaje simple, también tiene tipos de datos y algoritmos más complejos para tareas avanzadas de PNL.
8. Vocabulary
Vocabulary es una biblioteca de Python para el procesamiento del lenguaje natural, que es básicamente un diccionario en forma de módulo de Python. Con esta biblioteca, para una palabra determinada, puede obtener su significado, sinónimos, antónimos, parte del discurso, traducciones y otra información similar. Esta biblioteca es fácil de instalar y es un sustituto decente de WordNet.
9. Quepy
Quepy es un marco de Python para transformar preguntas de lenguaje natural en consultas en un lenguaje de consulta de base de datos. Se puede personalizar fácilmente para diferentes tipos de preguntas en lenguaje natural y consultas de bases de datos. Quepy usa una semántica abstracta como una representación independiente del lenguaje que luego se asigna a un lenguaje de consulta. Esto permite que sus preguntas se asignen a diferentes lenguajes de consulta de manera transparente.
10. MontyLingua
MontyLingua está diseñado para hacer las cosas lo más fáciles posible. Se alimenta en texto sin procesar y recibirá una interpretación semántica de ese texto, lista para usar. En lugar de depender de técnicas complejas de aprendizaje automático, viene equipado con el llamado conocimiento de sentido común, es decir, reglas y conocimiento sobre contextos cotidianos que enriquecen las interpretaciones del sistema. Bueno, para ser justos, estas reglas se basan en el proyecto Open Mind Common Sense, que se basa en gran medida en la IA.
Las herramientas, escritas en Python y también disponibles en Java, constan de seis módulos que proporcionan capacidades de tokenización, etiquetado, fragmentación, extracción de frases, lematización y generación de lenguaje.
fuente: discover.bot
No hay comentarios:
Publicar un comentario
Nota: solo los miembros de este blog pueden publicar comentarios.