Cómo comprobar el acuerdo entre dos codificadores de comentarios de Reddit

Preparación de la muestra de comentarios

Empiece por recolectar hilos públicos con una herramienta de recolección conocida. La compilación pública 1.0.7 de Reddit Comments acepta postUrls con 1 a 50 URL conocidas de publicaciones públicas de Reddit y maxCommentsPerPost de 1 a 500. Reemplace el hilo de la muestra y cambie el tope guardado de 250 a 3 para una prueba piloto.

Revise los campos de OUTPUT, incluidos `commentsSaved`, `duplicatesSkipped`, `hiddenBranchesRemaining`, `completionReason`, `status`, `isComplete`, `inputResults` y, por cada entrada, `commentsFound`, `commentsSaved`, `status` y `reason`. Trate la finalización del procesamiento por separado de la cobertura completa del hilo.

Extraiga los campos del conjunto de datos, incluidos `postId`, `commentId`, `body`, `authorName`, `status`, `statusReason` y `observedAt`. Los valores de estado del conjunto de datos son solo `ok`, `deleted` y `removed`. Deje fuera de las unidades de codificación utilizables el texto no disponible, eliminado o retirado, los ID faltantes y las fallas de recolección. Consérvelos en un registro aparte de decisiones faltantes. Cuente los ID conocidos distintos en su tabla de trabajo, en lugar de buscar un campo de salida de comentario único.

El control AskMarketing de la compilación pública actual 1.0.7 devolvió 3 ID de comentarios conocidos distintos y cuerpos no vacíos, no la muestra guardada de LocalLLaMA. Un procesamiento con isComplete en true coexiste con una entrada parcial o con tope, y eso demuestra una muestra piloto, no la cobertura completa del hilo. Parent, depth y hiddenBranchesRemaining fueron null y no se usan en este método de codificación.

Ocho pasos para la codificación independiente y las comprobaciones de acuerdo

1. Enuncie su pregunta de investigación y una versión estrecha de una regla binaria, como explicit_current_failure, junto con ejemplos positivos, negativos y ambiguos.
2. Elija la misma muestra pública finita para los dos codificadores y anote los ID de comentarios conocidos y las URL de origen en un registro de trabajo privado.
3. Retire el texto no utilizable de la muestra elegible con motivos explícitos y anótelos en un registro de decisiones faltantes.
4. Dé a cada codificador el mismo texto y el mismo contexto, la misma versión de la regla y una hoja de decisión aparte, para que marquen de forma independiente sin ver el trabajo del otro, y permita unknown.
5. Una las dos hojas de decisión por el ID de la unidad de comentario comprobada, y conserve las decisiones unknown, absent e inválidas en el registro de decisiones faltantes.
6. Arme una tabla de dos por dos solo con las unidades conocidas emparejadas, y calcule el acuerdo observado, el acuerdo esperado y el kappa de Cohen.
7. Revise los desacuerdos en su contexto de origen después del pase independiente para aclarar la regla, y mantenga la adjudicación separada de la estadística inicial.
8. Guarde sin cambios las hojas independientes originales, asigne una versión a la regla revisada y pruébela en una muestra nueva o en una muestra recodificada declarada de forma explícita.

Redacción de la regla y ejecución de la codificación independiente

Enuncie su pregunta de investigación y una regla binaria estrecha. En esta guía, el código es explicit_current_failure. Marque yes cuando el texto enuncie una falla presente del producto, y no cuando el texto no enuncie una. Dé a los codificadores ejemplos positivos, negativos y ambiguos. Permita unknown cuando el texto o el objetivo no se puedan resolver.

Elija la misma muestra pública finita para los dos codificadores. Conserve los ID de comentarios conocidos y las URL de origen en un registro de trabajo privado. Defina un comentario completo como una unidad de codificación. Retire el texto no utilizable de la muestra elegible con motivos explícitos. Dé a cada codificador el mismo texto y contexto, la misma versión de la regla y una hoja de decisión aparte. Los codificadores no deben ver las decisiones del otro durante este pase. Los codificadores pueden marcar unknown; no fuerce una elección yes o no.

Cálculo del acuerdo y del kappa

Una las dos hojas de decisión por el ID de la unidad de comentario comprobada. Registre la decisión del codificador A, la decisión del codificador B, la versión de la regla y si las dos decisiones son conocidas. Una unidad de origen que falta en una hoja no es un desacuerdo. Arme una tabla de dos por dos solo con las unidades conocidas emparejadas.

El acuerdo observado, escrito como p_o, se calcula dividiendo por n los dos recuentos de la diagonal. El acuerdo esperado, escrito como p_e, es la suma de los productos de las proporciones marginales correspondientes de los codificadores. El kappa de Cohen se calcula como (p_o menos p_e) dividido por (1 menos p_e), cuando el denominador no es cero. La expectativa proviene de estos marginales de los codificadores, no de una etiqueta verdadera conocida de la población.

Ejemplo ficticio de auditoría y registros de decisiones

Todos los comentarios, las decisiones y los recuentos que siguen son ficción original. Suponga que hay 22 unidades de texto elegibles. 20 unidades tienen dos decisiones independientes conocidas, 1 tiene unknown del codificador A y 1 tiene absent del codificador B. Solo 20 unidades entran en la tabla de acuerdo.

Registro ficticio de decisiones faltantes

Este registro detalla las 2 brechas de decisión excluidas de 22 unidades de origen elegibles, y deja 20 unidades emparejadas y conocidas para la tabla de acuerdo. Las decisiones faltantes no son desacuerdos y quedan fuera del denominador en el que n es igual a 20.

Tabla principal de acuerdo (20 unidades emparejadas)

Los marginales del codificador A muestran 10 yes y 10 no. Los marginales del codificador B muestran 9 yes y 11 no. 17 de las 20 decisiones emparejadas coinciden, y eso da un acuerdo observado p_o igual a 0.85.

El acuerdo esperado p_e se calcula como (10 dividido por 20 multiplicado por 9 dividido por 20) más (10 dividido por 20 multiplicado por 11 dividido por 20), lo que es igual a 0.50.

El kappa de Cohen es (0.85 menos 0.50) dividido por (1 menos 0.50), lo que es igual a 0.70.

Tres desacuerdos emparejados y dos brechas de decisión excluidas siguen separados. Este caso de prueba no etiqueta a ningún cliente real ni demuestra que el código sea correcto.

Textos de comentario de ejemplo y aplicación de la regla

• Comentario acordado como yes: "La sincronización del calendario falla todas las mañanas." (Enuncia un defecto presente de forma directa).
• Comentario acordado como no: "El color del calendario es azul." (No enuncia un defecto).
• Comentario ambiguo de deseo: "Ojalá la sincronización del calendario funcionara." (Podría expresar un defecto actual o una capacidad deseada; no demuestra que quien escribe pida una función. Conserve la elección unknown o ambigua y, después, el contexto o la aclaración de la regla, sin imponer una intención).

Tabla de diagnóstico uno (acuerdo alto, kappa bajo)

Marginales de los codificadores: el codificador A tiene 19 yes y 1 no. El codificador B tiene 19 yes y 1 no. El total de unidades n es igual a 20. El acuerdo observado p_o es igual a 0.90. El acuerdo esperado p_e es igual a 0.905. El kappa es igual a 1 negativo dividido por 19, es decir, aproximadamente -0.05263.

Tabla de diagnóstico dos (kappa no definido)

Marginales de los codificadores: el codificador A tiene 20 yes y 0 no. El codificador B tiene 20 yes y 0 no. El total de unidades n es igual a 20. El acuerdo observado p_o y el acuerdo esperado p_e son iguales a 1. Con eso, el kappa queda no definido. No llame a un valor no definido un kappa perfecto ni invente un umbral universal de aprobación.

Revisión de los desacuerdos y ajuste de las reglas

Lea los desacuerdos en su contexto de origen después del pase independiente. Para el comentario de deseo, la regla puede leerse como un defecto presente o como una función deseada. Registre el desacuerdo y aclare el texto de la regla. La adjudicación es una decisión conjunta posterior, no parte de la estadística de acuerdo original.

Guarde sin cambios las hojas independientes originales y la tabla. Asigne una versión a la regla revisada y pruébela en una muestra nueva o en una muestra recodificada declarada de forma explícita. Entregue la tabla de acuerdo, el registro de decisiones faltantes y los cambios concretos de la regla antes de aplicar el código de forma más amplia.