Retos ¿Qué hace a estas tareas especialmente difíciles?
Fuerte dependencia con el contexto y con el dominio
Importancia fundamental de la estructura del discurso
Necesidad de disponer de conocimiento del mundo
Ambigüedad inherente
Fenómenos pragmáticos
…
Tareas Algunas de las tareas englobadas dentro del término Sentiment Analysis
Clasificación de documentos de opinión Binaria (Sentiment polarity) Multiclases (Rating inference) Detección de subjetividad Extracción de opiniones Clasificación de la perspectiva Determinación de la intensidad de las opiniones Clasificación de las emociones Detección de humor
Clasificación de documentos de opinión Documento de opinión Clasificador Opinión positiva Opinión negativa Clasificador binario
Clasificación de documentos de opinión Documento de opinión Clasificador 5 1 Rating Inference Puntuación
Thumbs up or thumbs down? Semantic orientation applied to unsupervised classification of reviews (Turney, 2002) Extracción de bigramas: se seleccionan bigramas que contengan adjetivos o adverbios, según cinco reglas morfosintácticas muy simples.
Orientación semántica: valor real cuyo signo determina la implicación positiva o negativa del término y cuyo valor absoluto determina la intensidad de dicha implicación.
Clasificación de documentos de opinión
Thumbs up or thumbs down? Semantic orientation applied to unsupervised classification of reviews (Turney, 2002) Clasificación de documentos de opinión
Thumbs up or thumbs down? Semantic orientation applied to unsupervised classification of reviews (Turney, 2002) Clasificación de documentos de opinión
Clasificación de documentos basada en la opinión: experimentos con un corpus de críticas de cine en español (F.Cruz et al., 2008) Corpus en castellano: formado por críticas de cine extraídas de http://www.muchocine.net
Críticas introducidas por usuarios
Textos procesados con FreeLing (Atserias et al., 2006) Disponible en http://www.lsi.us.es/~fermin/corpusCine.zip Clasificación de documentos de opinión
Clasificación de documentos de opinión Clasificación de documentos basada en la opinión: experimentos con un corpus de críticas de cine en español (F.Cruz et al., 2008) Tres experimentos realizados
(Gp:) 1 (Gp:) Reproducción del clasificador no supervisado de Turney (Turney, 2002)
Semillas y patrones de extracción adaptados al castellano.
(Gp:) 2 (Gp:) Utilización de semillas múltiples
(Gp:) 3 (Gp:) Búsqueda supervisada del umbral óptimo entre clases para la suma de las orientaciones semánticas.
Clasificación de documentos basada en la opinión: experimentos con un corpus de críticas de cine en español (F.Cruz et al., 2008) Clasificación de documentos de opinión
Thumbs up? Sentiment Classification using Machine Learning Techniques (Pang et al., 2002) Corpus de críticas de cine extraídas de iMDb Afrontan el problema como si se tratara de una clasificación basada en topic. Estudio previo: selección de palabras clave para cada categoría
Clasificación de documentos de opinión
Thumbs up? Sentiment Classification using Machine Learning Techniques (Pang et al., 2002) Aplicación de tres algoritmos de machine learning Naive Bayes Maximum Entropy Support Vector Machines
Clasificación de documentos de opinión
Sentiment Classification Using Word Sub-sequences and Dependency Sub-trees (Matsumoto et al., 2005) Sobre el mismo corpus anterior, se emplean features que capturan la aparición de secuencias frecuentes de palabras y de subárboles de dependencias.
Utilizan SVM Alcanzan una precisión de 92.9%
Clasificación de documentos de opinión
Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales (Pang and Lee,2005) Rating inference: dado un documento de opinión, determinar si la opinión es positiva o negativa dentro de una escala (p.ej. de 1 a 5)
Tres aproximaciones Clasificador multiclases Regresión Metric labelling
SVM Multiclases < Regresión ˜ Metric labelling Clasificación de documentos de opinión
Detección de subjetividad Unidad textual Clasificador Objetivo Subjetivo (opinión)
Learning Extraction Patterns for Subjective Expressions (Riloff and Wiebe,2003) Primero, se utilizan clasificadores con alta precisión (pero baja cobertura) para detectar oraciones objetivas y subjetivas. Basados en items léxicos (palabras y n-gramas) recolectados a mano.
A partir de las oraciones identificadas, se construyen mediante aprendizaje reglas de extracción de patrones. Se restringe el tipo de patrones que se pueden extraer, mediante plantillas sintácticas, e.g., < subj> passive-verb.
Se utilizan los patrones aprendidos para extraer nuevas oraciones objetivas y subjetivas. El proceso se repite…
Detección de subjetividad
Learning Extraction Patterns for Subjective Expres (Riloff and Wiebe,2003) Algunos patrones extraídos
Detección de subjetividad
Extracción de opiniones Documento de opinión (Análisis de un producto) Detector de features Detector de opiniones Clasificador de opiniones *Opcional * Opiniones
Mining Opinion Features in Customer Reviews (Hu and Liu, 2004) Generación de un “resumen” de las opiniones acerca de un producto extraídas de un conjunto de reviews Digital_camera_1: picture quality: Positive: 253 < individual reviews> Negative: 6 < individual reviews> size: Positive: 134 < individual reviews> Negative: 10 < individual reviews> … Tres problemas Extracción de features Extracción de opiniones Clasificación de las opiniones
Extracción de opiniones
Mining Opinion Features in Customer Reviews (Hu and Liu, 2004) Extracción de opiniones Extracción de features Se extraen palabras o n-gramas frecuentes Se eliminan aquellos que: Si aparece de manera compacta en menos de dos oraciones Si están contenidos en un feature de más tamaño
Extracción de opiniones Adjetivos cercanos a los features
Clasificación de las opiniones Se utiliza WordNet para decidir la orientación semántica de los adjetivos (Miller et al., 1990)
Clasificación de la perspectiva Unidad textual Clasificador A favor En contra
Get out the vote: Determining support or opposition from Congressional floor-debate transcripts (Thomas et al.,2006) Corpus generado a partir de http://govtrack.us
Transcripciones de debates legislativos, divididos por intervenciones. Cada intervención es etiquetada según la votación posterior del político (apoya o no apoya la ley).
Problema: ante una nueva intervención, decidir si es de apoyo o de rechazo a la ley.
Clasificación de la perspectiva
Get out the vote: Determining support or opposition from Congressional floor-debate transcripts (Thomas et al.,2006) Sistema en dos niveles Clasificador binario (SVM): decide de forma independiente la probabilidad de que una intervención sea de apoyo o de rechazo. Detección de acuerdos (SVM): detecta acuerdos o desacuerdos entre dos intervenciones.
Ambos modelos son entrenados sobre un mismo training. Se utiliza una técnica basada en grafos (minimum cuts) para encontrar las clases de salida óptimas.
Precisión: 71,28%
Clasificación de la perspectiva
Otras tareas Intensidad de las opiniones Puede verse como una clasificación no binaria de la subjetividad (p.ej. neutral, low, medium, high) Just how mad are you? Finding strong and weak opinion clauses (Wilson et al., 2004)
Clasificación de emociones Clasificar unidades textual según la emoción que contienen: anger, disgust, fear, happiness, sadness y suprise (Ekman, 1982) Emotions from text: machine learning for text-based emotion prediction (Alm et al.,2005)
Detección de humor Clasificar una unidad textual como humorística o no Humor: Prosody Analysis and Automatic Recognition for FRIENDS (Purandare et al., 2006)
Recursos Corpus
Blog06: colección de entradas de blogs, con opiniones etiquetadas (positive, negative, mixture) http://ir.dcs.gla.ac.uk/test_collections/access_to_data.html
Congressional floor-debate transcripts http://www.cs.cornell.edu/home/llee/data/convote.html
Cornell movie-review datasets Sentiment polarity Sentence-level polarity Sentiment-scale Subjectivity dataset
http://www.cs.cornell.edu/people/pabo/movie-review-data/
Recursos Corpus
Customer review dataset: reviews de cinco productos electrónicos extraídos de Amazon y Cnet, etiquetados con features y opiniones http://www.cs.ui.edu/~liub/FBS/CustomerReviewData.zip
Corpus Muchocine http://www.lsi.us.es/~fermin/corpusCine.zip
Recursos Recursos léxicos
General Inquirer: incluye términos con varios tipos de orientaciones semánticas positivas o negativas, y palabras relacionadas con acuerdo y desacuerdo http://www.wjh.harvard.edu/~inquirer
OpinionFinder’s Subjectivity Lexicon: diccionario de indicadores de subjetividad http://www.cs.pitt.edu/mpqa/
SentiWordnet: los synsets de WordNet con puntuaciones que reflejan estádísticasmente cuando expresan opinión positiva/negativa, o cuando son objetivos http://sentiwordnet.isti.cnr.it/
Recursos Competiciones
TREC Blog tracks: las sesiones organizadas en 2006, 2007 y 2008 proponen tareas de extracción y clasificación de opiniones de blogs
NTCIR-6: detección de oraciones con opinión y clasificación de las mismas (positivas, negativas o neutrales)
NTCIR-7: añade a la tarea anterior la clasificación de la intensidad de las opiniones (débil, media o fuerte)
Opinion pilot (TAC 08): resumen multidocumentos de opiniones a partir de blogs
Recursos Para saber más…
Opinion Mining and Sentiment Analysis *: survey realizado por Bo Pang y Lillian Lee de la Universidad de Cornell (2008) * Cualquier parecido con los contenidos de esta presentación es pura casualidad 😉
| Página siguiente |