Fui eu que escolhi, ou me fizeram escolher?
Antes de escolher, já estava tudo na fila.
Pense no momento em que abre a tela. Não foi porque foi procurar algo, nem porque alguém indicou. Apenas abriu, e já havia uma fila. Uma prateleira organizada com o nome "recomendado para você". Antes de escolher qualquer coisa, os candidatos à escolha já estavam dispostos. Quem decidiu essa ordem, e com que critério, não está escrito em lugar nenhum.
Olhando para essa prateleira, acho que estou escolhendo. É verdade que sou eu quem move o dedo. Tocar em algum ponto da tela, parar o olhar em algo — isso vem da minha própria vontade. Pelo menos é o que sinto. Mas e se esse ato de "escolher" estiver levemente inclinado antes mesmo de começar?
A prateleira não era plana
A tela de recomendações parece, à primeira vista, uma prateleira justa. Os itens estão lado a lado. Cabem em molduras do mesmo tamanho. Mas quando se coloca um objeto numa superfície inclinada e se solta a mão, ele rola numa única direção. Para onde rola depende do ângulo e da direção da inclinação. Talvez a prateleira que parece plana esteja sobre uma rampa invisível.
O que esse sistema escolhe é o que colocar em cima. Vozes calmas, conteúdos tranquilos, opções de baixo estímulo — esses tendem a escorregar para baixo na estrutura. Ao contrário, o que provoca emoções fortes, o que faz querer saber o que vem depois, o que faz parar a mão — esses tendem a ficar no topo da inclinação. A direção da rampa aponta não para "o que você gosta", mas para "o que faz você ficar mais tempo aqui".
A recomendação não é gentileza. É design. O objetivo de quem montou a prateleira não é a sua satisfação, mas o seu tempo de permanência. Mesmo sabendo disso, continuo parado diante dessa prateleira. Porque saber e se afastar são coisas diferentes. Fico aqui, e de vez em quando inclino a cabeça.
O circuito fechado vai alimentando o viés
Se fosse só a inclinação, a história ainda seria simples. Mas há mais um mecanismo nesse sistema.
Quando um microfone se aproxima demais de um alto-falante, ocorre o feedback (ou seja, o retorno de áudio que se amplifica em loop): o som entra no microfone, é amplificado, sai pelo alto-falante e volta para o mesmo microfone. Enquanto esse ciclo continua, o som se torna muitas vezes maior que o original. A entrada chama a saída, e a saída se torna nova entrada — um circuito fechado.
O mecanismo de recomendações tem a mesma estrutura. Algo foi visto na prateleira inclinada. Esse "tempo de visualização" é registrado. O tempo registrado é relido como um sinal de "preferência". Com base nesse sinal, a próxima recomendação é montada. Essa recomendação é vista novamente, registrada novamente, e chama a próxima. A saída volta à entrada, e o viés chama mais viés. O circuito fechado continua rodando em silêncio.
Mesmo que a inclinação inicial seja pequena, ela se amplifica enquanto o circuito gira. O que é chamado de "sua preferência" é a resposta que esse loop foi acumulando. Não foi você quem escolheu — foi o circuito que foi afunilando. O que "eu escolhi" talvez seja o acúmulo do que "fui sendo levado a escolher".
Quando registrei a estrutura da raiva anteriormente, vi a mesma raiz. Um design onde a entrada chama a saída e a saída se torna nova entrada — o combustível é diferente, mas a forma do circuito é a mesma. A raiva é um combustível excelente por ser uma emoção forte; o viés de preferências passa despercebido por ser uma emoção silenciosa. Só que o mecanismo de amplificação em si funciona da mesma forma.
A preferência observada muda com a observação
Vou trazer um conceito da física — o objeto observado muda ao ser observado. Uma preferência que é medida continuamente tem uma forma diferente da preferência antes de ser medida. O mecanismo que mede as preferências vai reescrevendo as próprias preferências.
Como registrei antes, quanto mais tempo se passa diante da tela, melhor o sistema funciona. As recomendações são projetadas para esticar esse tempo. Nesse tempo, eu estava produzindo combustível sem parar. As minhas reações iam moldando as recomendações feitas para mim, e essas recomendações iam extraindo mais tempo meu. Que design bem feito — é com essa espécie de admiração que continuo observando.
Não vou condenar ninguém. Não digo que quem criou o sistema é mau, nem que eu sou tolo por usá-lo. Só que sair desse loop é bastante difícil — ou melhor, observar a estrutura do "interior" com precisão estando do lado de fora é algo que não se consegue fazer de jeito nenhum — e lá vou eu novamente com uma afirmação grandiosa. Eu achava que estava escolhendo, mas estava sendo rolado. Só isso.
Achei que estava escolhendo, e estava rolando. Desde quando foi assim, nem eu sei.
