How can we encourage participants to assist with the "review" queue?

Question

In a recent Meta comment, a moderator wrote:

We need more people to go through the /review section. Otherwise it is @Diego and me cleaning it up, which works in the meanwhile but just hides the underlying problem. We decided some time ago to not check it so often, but to me items in the review queue still take too long to be solved by the community (quite often it takes few days) and we tend to end up doing something in there.

How can we encourage all the folks with sufficient rep to chip in?

Answer 1

Paradoxically, what you just did should be the main thing: creating a post in Meta to bring the issue to the attention of the community. If more manpower is needed in the reviews, and if there's enough community members with enough reputation/privileges (and willingness) to assist, letting them know about the problem should encourage them to take action in the review queues more often.

If for any reason, users with enough privileges are not willing to perform such tasks once they are aware of the problem (nothing wrong with that. Maybe they choose to spend their time in the stack contributing and adding value in a different way) I don't think that there is much you can do.

Obviously you can't make users do something (apart from abiding the "Be nice" policy). The design of the stack rewards users performing certain tasks, since the stacks are gamified.

In the same fashion that users receive reputation for their questions and answers, users receive badges for other useful tasks/accomplishments. Some badges related to moderation award merits in the review queues, such as

• Custodian (bronze) for completing at least one review task. This is awarded once per review task.
• Proofreader (bronze) for completing the review of 100 suggested edits. This is awarded only once.
• Reviewer (silver): for completing the review of 250 posts in a review task. This is awarded once per review task.
• Steward (gold): for completing the review of 1000 posts in a review task. This is awarded once per review task.

Answer 2

En mi opinión, muchos usuarios no entran a las colas de revisión porque no sienten que haga falta, así de sencillo.

Como usuario veterano, le suelo dedicar un rato a las colas siempre que entro al sitio, y durante más de un año (mid-2017 a mid-2018) lo hice a diario, fines de semana incluidos, todas las mañanas a primera hora y muchas veces también por la tarde.

Lo más que he visto acumulado en las colas en todo este tiempo fue un (1) día que había, si mal no recuerdo, 8 ítems pendientes: 5 elementos en la cola de First Posts, 2 en las de Low Quality Posts / Late Answers (compartidos con la de FP) y 1 voto de cierre.

Y esos datos son la excepción. Mediante esta query de SEDE que analiza los ítems revisados en los últimos tres años, se puede comprobar que, en un día "medio", lo normal es que entre si acaso 1 elemento a la cola de FP, y a las demás... ninguno. Y en cuanto a tiempos, lo normal es que los elementos queden revisados en apenas 6-7 horas, salvo los votos de reapertura y cierre que tardan un par de días.

Se puede lanzar la misma query sobre otros sitios para hacerse una idea de lo buenos (o malos) que son estos números en comparación con otros sitios Beta e incluso algunos ya graduados.

A la vista de estos datos, sorprenden un poco las afirmaciones que hizo fedorqui en el comentario al que enlaza la pregunta. No discuto que esas sean sus sensaciones, pero los números no parecen reflejar que "necesitamos que más gente pase por /review" ni que las publicaciones se pasen en la cola "unos pocos días".

Y precisamente por eso, porque el estado de las colas no refleja que haga falta gente que las revise, es por lo que la gente no las revisa ¹.

Lo cual es uno de los motivos por los que soy de la opinión de que los moderadores deberían evitar en lo posible su participación en las colas, como he indicado en esta discusión en la que, al igual que en el resto de debates de Meta, estaría genial que otros usuarios participasen también.

_{1 Supuestamente, claro. Porque ya pueden entrar a las colas de revisión 5 usuarios, 50 o 500; que, si solo había entrado un elemento y lo han sacado ya los moderadores con su voto de oro, la actividad de todos esos "colistas" que no han encontrado nada que revisar no queda registrada en ningún sitio, y por tanto queda una (falsa) sensación de poca participación. Es decir, que (hasta donde yo sé) realmente desconocemos si los usuarios entran a las colas o no. Lo único que sabemos es que no revisan (porque no quieren, porque no saben, o porque no pueden).}

Answer 3

I can think of two things so far. One, to let others know that the moderators would find this helpful. This question is a start; hopefully someone active in La Tertulia will bring it up there from time to time as well.

Second, I've noticed that deciding whether to close a question here is a bit different from some other sites. I've become persuaded that it makes sense to be less stringent here than on some other sites, but I still feel hesitant to cast a vote unless it's incredibly obvious. Therefore, I think it would be helpful if the moderators shared their magic sauce for how they sift out the untenable questions. In addition, other experienced reviewers could share how they think about it. (Someone might have ended up with a similar approach to how the moderators decide these things, but with perhaps a different way of thinking about it or explaining it.) I guess I'll write another Meta question about that now.