Proyecto 7 - Anotación CONANP

Puntos: 3

Modalidad: Individual

Descripción del Proyecto

En esta asignación, realizarás una evaluación profesional de calidad de traducción del documento Logros - Proyecto Resiliencia de CONANP utilizando Label Studio. Esta será tu primera evaluación completa aplicando el marco MQM que has estado estudiando durante el semestre.

Como aprendiste en la página anterior, ya has revisado el contexto del proyecto, entiendes la misión de CONANP, y has documentado colaborativamente las especificaciones del proyecto en clase. Ahora aplicarás ese conocimiento para evaluar la calidad de la traducción proporcionada.

Propósito de la Evaluación

Los datos etiquetados son un recurso importante para entrenar sistemas de inteligencia artificial generativa a realizar tareas de traducción. A medida que el mundo se integra más con IAG, un área de oportunidad es aplicar tus habilidades de traducción a tareas de etiquetado de errores. La tipología de errores MQM es un enfoque basado en estándares para etiquetar errores que se está adoptando en toda la industria. Esta asignación te dará experiencia tanto con MQM como con entornos profesionales de anotación de errores.

Un aspecto importante del etiquetado de errores es que las y los evaluadores identifican errores de manera inconsistente al principio. Por lo tanto, todas y todos trabajarán con el mismo texto, y más adelante estudiaré cómo se superponen—o no—sus anotaciones. Las observaciones sobre la superposición se utilizarán para enseñarles sobre la armonización del trabajo de etiquetado de errores en equipo.

Documentos del Proyecto

• Texto fuente:
  • Texto completo: CONANP_LogrosProyectoResiliencia.pdf
  • Adaptado para esta tarea: ResilenciaMéxico_ES.pdf
• Texto meta:
  • Texto completo: CONANP_ProyectoResilienciaAcheivements.pdf
  • Adaptado para esta tarea: ResilenciaMéxico_EN.pdf
• Especificaciones del proyecto: Documento compartido completado en clase (disponible en Teams)

Tu Asignación

Paso 1: Revisar las Especificaciones

Antes de comenzar tu evaluación, revisa cuidadosamente el documento de especificaciones que desarrollaron colaborativamente en clase. Estas especificaciones son la base para determinar:

• Qué constituye un error
• Qué nivel de severidad es apropiado
• Qué expectativas de calidad aplican para este proyecto específico

Paso 2: Acceder al Proyecto en Label Studio

1. Inicia sesión en Label Studio usando el enlace proporcionado en Teams
2. Localiza el proyecto: “CONANP-Eval”
3. Verifica que puedes ver el texto completo del documento

Paso 3: Realizar la Evaluación Completa

Aplica la metodología que aprendiste durante las sesiones de entrenamiento tecnológico y lingüístico en clase. Tu evaluación debe incluir:

A. Anotaciones de Errores Individuales

Para cada error que identifiques, debes proporcionar:

1. Selección precisa del texto: Marca exactamente la parte problemática del texto meta
2. Dimensión del error: Selecciona la dimensión apropiada (Terminología, Precisión, Estilo, Convenciones Lingüísticas, Convenciones Locales, Adecuación para la Audiencia, Otros)
3. Tipo de error: Especifica el tipo exacto dentro de la dimensión
4. Nivel de severidad: Asigna neutral, menor, mayor o crítica según el impacto
5. Comentarios: Explica por qué es un error y, cuando sea posible, sugiere una corrección

Ejemplo de anotación completa:

• Texto marcado: “tropicalization”
• Dimensión: Terminología
• Tipo: Término incorrecto
• Severidad: Mayor
• Comentario: El término establecido en inglés para este fenómeno es “tropicalization” no “tropicalization”. Según las especificaciones, la terminología debe ser consistente con la literatura científica publicada.

B. Evaluación Holística del Documento

Después de identificar errores individuales, proporciona evaluaciones holísticas:

1. Correspondencia (1-4): ¿Qué tan bien transmite el texto meta el significado del texto fuente?
   • 4 = Correspondencia excelente
   • 3 = Buena correspondencia
   • 2 = Correspondencia aceptable con problemas
   • 1 = Correspondencia pobre
2. Legibilidad (1-4): ¿Qué tan bien funciona el texto meta como documento independiente en inglés?
   • 4 = Muy legible y natural
   • 3 = Generalmente legible
   • 2 = Legible pero con problemas
   • 1 = Difícil de leer
3. Comentarios holísticos: Proporciona observaciones sobre:
   • Patrones de error que notaste
   • Fortalezas generales de la traducción
   • Problemas recurrentes
   • Efectividad general del documento

Paso 4: Enviar Tu Evaluación

Una vez que hayas completado tu evaluación:

1. Revisa tu trabajo usando la lista de verificación (ver más abajo)
2. Haz clic en “Submit” en Label Studio para entregar tu evaluación
3. No necesitas descargar ni subir ningún archivo—tu trabajo se guarda automáticamente en Label Studio

Paso 5: Reflexión Escrita (OPCIONAL)

Redacta una reflexión crítica (1-2 párrafos) sobre tu experiencia trabajando con MQM en Label Studio. Tu reflexión debe abordar:

Preguntas obligatorias:

• ¿Qué funcionó bien para ti en este proceso?
• ¿Qué desafíos encontraste al categorizar errores?
• ¿Qué preguntas pendientes tienes sobre este trabajo?
• ¿Crees que tu trabajo ha mejorado esta semana? ¿Por qué o por qué no?

Elementos de reflexión crítica (incluye al menos 2):

• Análisis de tu proceso: ¿Cómo abordaste la tarea? ¿Cambió tu estrategia mientras trabajabas?
• Dificultades específicas: ¿Qué tipos de errores fueron más difíciles de categorizar? ¿Por qué?
• Desarrollo de habilidades: ¿Qué aprendiste sobre evaluación de traducción que no sabías antes?
• Aplicación futura: ¿Cómo influirá esta experiencia en tu trabajo como traductor/a?
• Limitaciones reconocidas: ¿Dónde reconoces que tu evaluación podría ser subjetiva o inconsistente?
• Comparación con experiencias previas: ¿En qué se diferencia evaluar el trabajo de otros vs. traducir tú mismo/a?

Entrega de la reflexión: Sube tu reflexión como un documento en la tarea de Teams.

Lista de Verificación Pre-Entrega

Antes de hacer clic en “Submit” en Label Studio y entregar tu reflexión, verifica:

Anotaciones en Label Studio

• He revisado el texto meta completo de manera sistemática
• Cada error marcado tiene dimensión, tipo de error, severidad Y comentarios
• Mis comentarios explican claramente por qué algo es un error
• He considerado las especificaciones del proyecto al identificar errores
• No he marcado como errores las preferencias personales que no violan las especificaciones
• He proporcionado puntuaciones de correspondencia y legibilidad
• He escrito comentarios holísticos sobre el documento completo
• He hecho clic en “Submit” en Label Studio

Reflexión Escrita (OPCIONAL)

• Mi reflexión tiene 1-2 párrafos (150-300 palabras aproximadamente)
• He abordado las cuatro preguntas obligatorias
• He incluido al menos dos elementos de reflexión crítica
• Mi reflexión va más allá de observaciones superficiales
• He revisado ortografía y gramática
• He subido la reflexión como comentario en Teams

Criterios de Evaluación

Puntuación Total: 3 puntos

Componente	Criterio	Puntuación
Completitud de anotaciones (1 punto)	Excelente: Todas las anotaciones incluyen dimensión, tipo, severidad y comentarios detallados; evaluación holística completa Bueno: La mayoría de anotaciones están completas; puede faltar información ocasionalmente Insuficiente: Muchas anotaciones incompletas o falta evaluación holística	1 punto 0.5 puntos 0 puntos
Precisión de anotaciones (1 punto)	Excelente: Identificación precisa de errores; categorización apropiada según MQM; niveles de severidad bien justificados Bueno: Generalmente preciso con algunos errores de categorización; severidad mayormente apropiada Insuficiente: Muchos errores mal categorizados; severidad inadecuada; confusión con preferencias personales	1 punto 0.5 puntos 0 puntos
Reflexión crítica (OPCIONAL - 1 punto)	Excelente: Reflexión profunda que demuestra pensamiento crítico; aborda todas las preguntas; incluye análisis significativo del proceso Bueno: Reflexión superficial pero completa; aborda las preguntas básicamente; análisis limitado Insuficiente: Reflexión muy breve o superficial; no aborda las preguntas; falta pensamiento crítico	1 punto 0.5 puntos 0 puntos

Notas Sobre la Evaluación

Completitud: Se evalúa que todas las partes necesarias estén presentes. Una anotación sin comentarios, por ejemplo, no cuenta como completa.

Precisión: Se evalúa qué tan bien aplicaste el marco MQM y las especificaciones del proyecto. No hay “respuestas correctas” absolutas, pero debe haber coherencia lógica entre lo que marcaste como error, cómo lo categorizaste, y las especificaciones del proyecto.

Reflexión crítica: Se evalúa la profundidad de tu pensamiento, no solo el cumplimiento con el formato. Una reflexión excelente demuestra que estás procesando activamente lo que aprendiste y cómo se relaciona con tu desarrollo profesional.

Recursos de Apoyo

Durante Tu Evaluación

• Tipología MQM: themqm.org/the-mqm-typology
• Marco MQM del curso: Semana 4 - Marco MQM
• Ejemplos de errores MQM: Documento compartido en Teams
• Especificaciones del proyecto: Documento compartido en Teams
• Archivos de apoyo: Week 9 CONANP Evaluation Files en Teams

Si Tienes Dudas

• Durante la clase: Pregunta a la profesora mientras trabajas
• Fuera de la clase: Envía un mensaje en Teams o correo electrónico
• Dudas técnicas con Label Studio: Consulta la Guía de etiquetado
• Dudas sobre MQM: Revisa la página de MQM de la semana 4

No dudes en pedir aclaraciones—es mejor preguntar que hacer suposiciones incorrectas.

Entrega

Componentes Requeridos

1. Evaluación en Label Studio
   • Completada en el proyecto “CONANP-Eval with better UX”
   • Debe hacer clic en “Submit” para entregar
   • No hay archivo separado que descargar/subir
2. Reflexión escrita (OPCIONAL)
   • 1-2 párrafos (150-300 palabras)
   • Subida como comentario en la tarea de Teams
   • Fecha límite: [Fecha indicada en Teams]

Formato de la Reflexión

Tu reflexión debe ser presentada profesionalmente:

• Párrafos bien organizados
• Ortografía y gramática correctas
• Pensamiento claro y coherente
• Evidencia de reflexión crítica profunda

¿Qué Sigue? Análisis de Concordancia entre Evaluadores/as

Después de que todas y todos hayan completado sus evaluaciones, se realizará un análisis de concordancia entre evaluadores/as (inter-annotator agreement). Este análisis medirá:

• Concordancia exacta: ¿Qué tan frecuentemente marcaron exactamente el mismo texto como error?
• F1 para coincidencia parcial: ¿Qué tan bien se superponen sus anotaciones cuando no son idénticas?
• Kappa para concordancia de categorías: ¿Qué tan consistentemente categorizaron el mismo tipo de error?

¿Por Qué Importa la Concordancia?

La concordancia entre evaluadores/as es un indicador de:

• Calidad de las anotaciones: Alta concordancia sugiere evaluaciones objetivas y bien fundamentadas
• Comprensión compartida: Medida de qué tan bien entienden y aplican MQM como grupo
• Áreas de mejora: Baja concordancia en ciertos tipos de errores indica necesidad de capacitación adicional

Los resultados se discutirán en clase y se utilizarán para:

• Identificar áreas donde el grupo necesita armonizar su comprensión
• Desarrollar mejores prácticas para evaluación consistente
• Mejorar la aplicación del marco MQM en futuras evaluaciones

Este proceso de medición y armonización refleja prácticas profesionales reales en la industria de localización, donde equipos de evaluadores/as deben trabajar de manera consistente para proporcionar retroalimentación útil y datos confiables.

Reflexión Final

Esta evaluación representa la culminación de tu aprendizaje sobre gestión de calidad de traducción en este curso. Has progresado desde:

• Ser evaluado/a como traductor/a
• Comprender el marco MQM teóricamente
• Practicar con el entorno de Label Studio
• Realizar una evaluación profesional completa

Las habilidades que desarrollaste—identificar errores sistemáticamente, categorizarlos con precisión, y evaluar holísticamente—son fundamentales para el trabajo profesional en traducción, localización y entrenamiento de sistemas de IA.

---

📥 Descarga este Contenido

Encuentra este archivo en nuestro repositorio y descárgalo.

🤖 Prompts de Estudio con IAG

Copia el contenido descargado y prueba estos prompts:

• “Ayúdame a desarrollar una estrategia sistemática para revisar un documento completo e identificar todos los errores de traducción”
• “¿Cómo puedo distinguir entre errores reales que violan las especificaciones y preferencias personales en traducción?”
• “Crea un marco para escribir comentarios útiles y constructivos sobre errores de traducción”
• “¿Qué preguntas debo hacerme al determinar el nivel de severidad apropiado para un error de traducción?”
• “Ayúdame a reflexionar críticamente sobre mi proceso de evaluación: ¿qué funcionó y qué podría mejorar?”
• “Explica cómo las habilidades de evaluación de calidad pueden mejorar mi trabajo como traductor/a”

---

¡Unidad 3 Completa! Repasa lo que has logrado en la Conclusión de la Unidad 3