sábado, 9 de abril de 2011

U-Br - Conversando com os Administradores

Como já citei no post anterior, o servidor de Newsgroups mais famoso no Brasil nos anos 90 era o do UOL (Universo On Line). O "News do UOL" era o principal ponto de encontro de novatos e veteranos de newsgroups na internet.
Poderia se escrever um livro com as historias e personagens que são lembrados até hoje pelos veteranos. (alguem se habilita? :-) )

Quando o UOL fechou o acesso por NNTP um grupo de usuários resolveu criar um substituto nos moldes da Usenet, com varios servidores e administração descentralizada. Surgiu a rede U-Br, a Usenet brasileira.

Não vou entrar em detalhes sobre a historia da U-Br pois ela está bem contada na Wikipedia: http://pt.wikipedia.org/wiki/U-Br

Mais informações:
http://www.abusar.org.br/dados_news.html
http://dfraga.br.tripod.com/br/

(Preciso fazer uma correção ao artigo da Wikipédia: a U-Br não acabou em 2009. Depois que os ultimos servidores foram desativados, foram escolhidos alguns grupos de maior movimento e eles foram hospedados no servidor da Trollnet: trollnet.no-ip.org
Espaço gentilmente cedido pelo Scare Crow, seu administrador.)

(Nota: no momento o servidor da Trollnet foi desativado pelo Scare Crow. Como recurso provisório foram criadas os grupos trollnet.cinema, trollnet.jogos e trollnet.comp.lang.delphi no servidor news.aioe.org e continuam sendo accessíveis pelo endereço trollnet.no-ip.org. (25/03/2013))

Daí achei interessante mostrar a U-Br na visão daqueles abnegados que a criaram e manteram - os administradores. Tive o prazer de fazer uma pequena entrevista com Marcio Bremm, Dâniel Fraga e Marcelo Rodrigues.

Entrevista:

Marcio Bremm

1- Marcio, como começou seu envolvimento com a U-Br?

Boa pergunta. Vim do UOL, que foi minha casa entre 1997-2003. Cheguei a ser moderador no WAC-Jundiaí por algum tempo também. Depois (por questões "estratégicas") o UOL e finalmente o WAC fecharam as portas (119, claro). No UOL, fazia questão de frisar a incompetência e o desleixo do(s) administrador(es) do news. E por isso, eu era filtrado por ele(s). O mais engraçado é que descobri como gerar cabeçalhos aleatórios no leafnode, que eu usava em conjunto com o knode (pois ele não era um leitor offline de news). Ficou impossível me filtrarem, pois até pela minha assinatura estavam "me pegando" (na época eu tinha uma página chinfrim no falecido Ubbi). Eventualmente postava alguma coisa cifrada ou pelo menos com ROT-13 para confundi-los.


2- Como era a relação entre os administradores?

Tinha de tudo. O Fraga era o mais CDF e de quebra cuidava de mais algumas coisas na Abusar.
O Koth, coitado, apanhava feito louco do INN (e ele tinha um esquema do "tipo" HA com dois servidores rodando que raramente sincronizavam direito).
O Lichti era boa praça, mas sempre envolvido nos esquemas da lan house (Emotion Solution) com a mãe dele, e tinha pouco tempo para cuidar do news.
O Gorges (ASA) estava no mesmo barco, pois as demais tarefas do Netuno tomavam-lhe o tempo.
O Müller (do Secret) também era gente finíssima, mas o servidor dele tinha um problema de carga e quase sempre estava fora, nos últimos tempos.
O Minholi cuidava razoavelmente bem da Unipar, mas às vezes o servidor saía do ar sem aviso (geralmente fonte ou HD com defeito).
Tinha um outro camarada (Fagundes) que administrava o Lombro e era mais ou menos o "hippie" da turma: o servidor ficava hospedado em um Mac, e assim como o Koth e o Lichti, não entendia muito bem os arquivos de configuração do INN.
O Nunes (do InfoViaWeb) era um cara bem dedicado, esforçado e entendia bastante de redes. O Ceará (Skynet) ficou pouco tempo na rede. Arrisco a dizer que menos de noventa dias (quem pode confirmar isto é o Fraga, pois deve saber tudo "de cabeça".
O Rodrigues (do NNit) era o camarada que entendia tão bem das entranhas do INN quanto o Fraga (arrisco a dizer que até mais). Ele é quem bolou o Gari (http://gari.sf.net) que era o nosso sistema de filtragem e moderação colaborativa. Tinha alguns bugs, mas no geral, desempenhava muito bem o papel dele. Nos áureos tempos, chegamos a ter DEZ servidores (senão nove), sincronizando mensagens entre si.


3- Era muito trabalhoso tecnicamente fazer parte da rede?

Sim e não. A resposta é ambígua pois dependia do tempo que era dispensado para manter-se as tarefas administrativas do servidor em dia. Quem instalava o INN e deixava em um canto, não tinha trabalho algum. Quem gostava de ficar "escovando bits" e "tirando suco" do servidor, geralmente passava trabalho. Sem falar nas faxinas damoderação, que culminaram no Gari.


4- O que você diria que foi bom e ruim dessa experiência?

Foi um bom "teste de fogo" para ver até onde as pessoas realmente se importavam em manter uma rede limpa e organizada. Como as regras eram muito flexíveis, e o INN possuía algumas brechas de segurança (por conta da má configuração "de fábrica"), os servidores que não tinham manutenção periódica eram alvo de trolls, spam e eventualmente flood. Um outro problema recorrente era criado por novos membros (administradores) que queriam replicar o conteúdo da U-BR usando o DNews. Toda vez que isso acontecia era uma catástrofe.


5- Muitos questionam sobre os caminhos tomados pela rede e a evasão de usuários. Alguns dizem que o maior problema era falta de moderação e filtros unificados. Outros culpam justamente as tentativas de controle como razão da saída de usuários. Outros acham que faltou maior divulgação. O que você acha?

Foram basicamente três falhas no projeto inicial: grupos demais, filtros de menos e problemas no balanceamento de carga entre os servidores. As regras para criação e expansão da árvore já deveriam estar alinhavadas, e apenas ir criando os grupos conforme a demanda. Um outro problema (mas não tão grave) era o tamanho dos anexos.
Sugiro que no futuro haja um consenso entre os administradores para que todosusem um mesmo tamanho para o corpo da mensagem, a fim de poupardores-de-cabeça na hora da replicação.
Uma outra sugestão é forçar a autenticação para postagem, mas manter a leitura liberada em todos os grupos. Caso seja solicitado um grupo que necessite autenticação para leitura (como eram os grupos de moderação), todos os servidores devem adotar a mesma regra.
Por último, mas não menos importante, deve-se impedir o cancelamento de mensagens por usuários não-administrativos. Isso evita exploração de falhas por "header spoofing" (aconteceu certa vez na U-BR e inclusive descobrimos pelo IP quem estava fazendo isto e a informação foi divulgada a todos os usuários).


6- Acredita que a rede U-Br ainda existiria (com muitos servidores) se tivesse sido feito diferente?

Particularmente, não. Newsgroups são uma coisa "underground","old-fashioned", . O "hype" dos newsgroupsfoi na década de 90. Com o advento dos fóruns web, tudo mudou. O problema destes fóruns via web a meu ver são basicamente dois: "overhead" (trafega-se muito texto e imagens por conta da formatação das páginas) e falta de encadeamento/aninhamento de mensagens dentro dos tópicos (o vbulletin, por exemplo, tem suporte a mensagens aninhadas -- mas é pago).


7- Na sua opinião, ainda há espaço para novos servidores de newsgroups no Brasil?

Sim. Mas a demanda é baixíssima. Vejo isso pelo Athenas, que não possui grande movimento (até porque é fechado; uma ótima saída para evitar a moderação ortodoxa que exercíamos na U-BR). Todo usuário de newsgroups é tecnicamente um "dinossauro" e está fadado à extinção.


8- Houve algum "causo" interessante na U-Br que você goste de lembrar?

Muito pelo contrário, há vários que eu gostaria de esquecer... lol

Mas uma coisa divertida fiz uma vez, modificando os cabeçalhos das minhas mensagens e me fazendo passar por outros usuários (trolls), causando confusão entre eles mesmos. Outra situação engraçada era sacanear o trasgo usando o recurso de "follow-up" forçando o infeliz a postar em outro grupo (geralmente abandonado).
Dâniel Fraga

1- Dâniel, como começou seu envolvimento com a U-Br?

Algumas semanas após o fechamento definitivo do news.uol.com.br, ficamos vagando pelos servidores nntp disponíveis como netuno, unipar etc até que pensei em criarmos uma rede que juntasse vários servidores, aos moldes da Usenet... Dei a idéia no grupo de Linux do netuno se não me engano e o Marcelo Minholi da Unipar gostou e aderiu. Começamos a criar os grupos e replicar entre os dois. E assim a rede foi crescendo...


2- Como era a relação entre os administradores?

Às vezes amigável, às vezes tensa. Eu defendi a idéia de que nenhum administrador poderia praticar ingerência sobre o servidor alheio, mas nem todos concordavam com isso. Então a regra de filtros poderia ser usada individualmente como cada um quisesse.

3- Era muito trabalhoso tecnicamente fazer parte da rede?

No meu caso não, pois já vinha administrando o news.abusar.org, então foi só questão de criar grupos novos.


4- O que voce diria que foi bom e ruim dessa experiencia?

Bom foi a colaboração de vários administradores, atrair usuários novos e ter durado 7 anos... Ruim foi ter acabado ehehe Por um momento achei que ia ser para sempre ahahah doce ilusão.


5- Muitos questionam sobre os caminhos tomados pela rede e a evasão de usuarios. Alguns dizem que o maior problema era falta de moderação e filtros unificados. Outros culpam justamente as tentativas de controle como razão da saida de usuarios. Outros acham que faltou maior divulgação. O que voce acha?

Talvez a divulgação, mas veja que o Orkut e o Facebook começaram em 2004, um ano depois do início da U-Br. São modelos diferentes, mas a tendência foi cada vez mais os usuários preferirem as redes sociais em vez dos velhos grupos ou listas de discussão. Além dos fóruns web, que ficavam cada vez mais populares. Aliado a isso, eu mesmo no início defendia filtros poderosos para controlar a qualidade das mensagens, mas depois mudei de idéia... Claro que nem todos concordavam uns com os outros. Mas o protocolo nntp está de fato obsoleto e fadado ao esquecimento. A tendência será cada vez mais usarmos e dependermos de redes sociais, com todos os recursos que temos, seja gráficos, deformatação de texto, facilidade de acesso, pois basta usar um navegador e assim por diante. É claro que o modelo de "thread" (ramificação) do nntp é imbatível e muito melhor do que as discussões no modelo "plano" de redes sociais ou fóruns web, mas por outro lado o nntp é mais pobre no resto.


6- Acredita que a rede U-Br ainda existiria (com muitos servidores) se tivessem feito diferente?

Talvez, mas o interesse iria diminuir e só restariam alguns poucos "dinossauros" :)


7- Na sua opinião, ainda há espaço para novos servidores de newsgroups no Brasil?

Espaço há, mas haverá poucos participantes. Eu mesmo desisti do nntp. Se o nntp tivesse acompanhado a evolução de todo o resto, poderia se manter, mas ficou parado no tempo.


8- Houve algum "causo" interessante na U-Br que voce goste de lembrar?

Houve o "flood" que o Gregório Jordão fez na U-Br certa vez, os inúmeros episódios com "trolls" (alguns deles cheguei a conhecer pessoalmente em 2007), as infindáveis discussões acaloradas, enfim...de fato era muito divertido. Era um vício... mas consegui me livrar desse vício eheh apesar de trocar por outro, pois agora estou concentrado nas redes sociais, como Facebook, Orkut, Twitter e o Youtube que é muito bom.


Marcelo Rodrigues

1- Marcelo, como começou seu envolvimento com a U-Br?

Eu usava muito o news do UOL, até que fecharam ele. Então o Fraga montou um esquema bizarro de replicação, que envolvia pegar e enviar as mensagens do UOL como se fosse um newsreader comum. Então ele alimentava o newsserver da Abusar com isso, e replicava as respostas lá para o UOL depois. Mas fecharam essa porta, não lembro mais porque. Foi quando ele me falou da idéia de montar uma rede de news, para substituir o UOL. Não pude entrar logo no início, porque não tinha um micro sobrando. Mas, logo depois, arrumei um "glorioso" K6-2 350, e montei o NNit.


2- Como era a relação entre os administradores?

Era boa. Tivemos nossas desavenças, mas ninguém concorda o tempo todo, não é? Acho que o que deu mais pano para manga foi a divergência de opiniões entre filtrar/não filtrar os trolls. Uns administradores achavam que era censura. Outros achavam necessário. Tinha os que não sabiam o que pensar, mas achavam que dava muito trabalho. Bom, tenho que concordar: dava um trabalho razoável.


3- Era muito trabalhoso tecnicamente fazer parte da rede?

Em termos. O INN, depois de configurado, não enchia mais o saco. Mas ele era extremamente chato e complexo de se configurar. Devia ter uns bons 10 arquivos de configuração - e muitos settings eram acertados em mais de um arquivo. Um verdadeiro exercício de recursividade. O bom é que, depois, ele simplesmente funcionava.O mais chato era a filtragem/moderação mesmo. Isso era um legítimo trabalho de enxugar gelo. Mais para o final, quando terminei o Gari e unifiquei a filtragem entre alguns servidores, isso melhorou. Mas ainda assim...


4- O que você diria que foi bom e ruim dessa experiência?

O bom foi o que aprendemos. Foi muito bom ter a oportunidade de ver como funcionam os bastidores de uma rede de news, de lidar com outros administradores que, não raro, tinham pontos de vistas e objetivos diametralmente opostos aos seus. Ajudou, também, a ver como funciona a dinâmica de usuários. O ruim foi a guerra de atrito contra os trolls. Se a rede, como um todo, tivesse filtragem poderíamos ter cortado o mal pela raiz. Do jeito que era... não funcionou.


5- Muitos questionam sobre os caminhos tomados pela rede e a evasão de usuários. Alguns dizem que o maior problema era falta de moderação e filtros unificados. Outros culpam justamente as tentativas de controle como razão da saída de usuários. Outros acham que faltou maior divulgação. O que você acha?

Divulgação até que teve. Não teve comercial na TV, não teve notícia de primeira página, mas foi divulgado. Eu vi os usuários saírem por não aguentarem mais ser sacaneados pelos trolls. Vi, na verdade, grupos inteiros debandarem por conta deles.
O que matou a rede não foi a filtragem, foi exatamente a falta dela.
O que acontece é que a rede tinha uma rotação grande de usuários. Existiam os antigos, que sempre ficavam por lá. Mas durante toda a sua vida (descontando o final) a U-Br viu um grande número de novatos chegar todos os dias. O problema é que eles chegavam, viam os trolls, se assustavam e iam embora. E como esses novatos não sabiam quem era quem, acreditavam no que os trolls falavam. Que a moderação era por birra pessoal. Que os administradores que moderavam mandavam mensagens em nome dos usuários. Que eles (trolls) eram perseguidos pelos administradores porque tínhamos inveja da Trollnet. Claro, nada disso era verdade. Eu mesmo nunca bani por não gostar de alguém. Claro, se o troll atazanava ao ponto de ser banido eu não gostava dele no final - mas é normal isso. Inúmeros usuários, os quais eu não gostava, nunca foram banidos. Na verdade, nunca foram sequer advertidos. O NNit tinha um conjunto rígido de regras. Elas eram poucas, e simples. Mas eram exercidas à risca. Basicamente diziam "Respeite os outros e não encha o saco". Claro, tem sempre o chato que acha que a Internet é "terra de ninguém", e que "online posso fazer qualquer coisa, que não conta". Mais de 95% das queixas e reclamações vinham de uns 5% dos usuários - exatamente os trolls e baderneiros. O NNit tinha filtragem, e eu não tinha dó de abusado. O engraçado e que, de um modo geral, os usuários dele gostavam do servidor. Falavam que iam para lá exatamente por causa da falta de lixo.



6- Acredita que a rede U-Br ainda existiria (com muitos servidores) se tivesse sido feito diferente?

Acredito que se a rede tivesse nascido com filtragem unificada, ela estaria até hoje por aí. O que deveria ter sido feito, e não pôde por causa das regras estabelecidas na criação dela, é simplesmente banir os trolls. Todos, e em caráter definitivo. Se o mal tivesse sido cortado pela raiz, no início e definitivamente, a rede teria crescido. Ela cresceu durante um bom tempo. Quando se tornou um alvo divertido, por causa do número de vítimas, é que os trolls começaram a dar trabalho de verdade. Chegaram a instituir concurso para ver quem conseguia esvaziar o maior número de grupos. Claro, com um ambiente destes não me espanta a rede ter acabado - me espanta ter durado tanto tempo.


7- Na sua opinião, ainda há espaço para novos servidores de newsgroups no Brasil?

Acredito que sim. Os news ainda fornecem a melhor maneira de se arrumar e ler notícias. Muito mais simples do que no browser, muito mais rápido. Não é tão bonito, sem dúvida. Não se pode colocar pontuação bonitinha. Pelo menos, não sem modificações nos headers e coisa e tal. Mas se o seu problema é trocar idéias, funciona perfeitamente - e é leve. :D


8- Houve algum "causo" interessante na U-Br que voce goste de lembrar?

Tem dois interessantes. O primeiro é um exemplo de esquizofrenia, e o segundo um exemplo de como a filtragem pode ser útil.

Caso 1: A rede foi feita, desde o começo, para ser resiliente. Um dos nossos objetivos era garantir que todos os servidores recebessem todas as mensagens. Sim, eles poderiam (ou não) exercer filtragem. Mas todos deveriam receber todas as mensagens. Eu fiquei encarregado da organização da replicação da rede, e me custou um tempo até chegar na fórmula usada. Em termos lógicos, a rede era um gráfico cartesiano. A organização dela era quadrada/retangular (dependendo do número de servidores), e cada servidor tinha que ter 3 conexões. No mínimo. E estas três conexões mínimas eram ditadas por mim. O resultado, enquanto eu cuidei da coisa, foi fantástico.Todo mundo recebia.
Tivemos casos de dois servidores adjacentes perderem uma conexão - e mesmo assim as mensagens não eram perdidas. Tivemos casos de servidores perdendo duas das três conexões - e mesmo assim a coisa funcionava.
Outro cuidado tomado foi com os servidores que filtravam. Como os filtros não eram homogêneos, não tínhamos como garantir que o que era filtrado por um não interessasse ao outro. Então a replicação era estruturada de modo que os servidores com filtros tivessem o menor impacto possível na replicação geral.
Isso nos causou um problema interessante: queríamos filtrar os trolls, e ao mesmo tempo organizávamos a replicação de modo a que eles tivessem a maior chance possível de fazer com que as próprias mensagens chegassem aos servidores sem filtros. Um tanto ou quanto esquizofrênico o problema. :D Estou enviando dois gráficos de replicação. Um foi usado durante um tempo, representa o que a rede era naquela época específica. o outro foi um estudo, para imaginar como tratar um eventual crescimento da rede.






Caso 2: Quando terminei de incluir moderação no Gari (sistema de filtragem modular) ele ganhou a capacidade de replicação de filtros. O NNit, o VTNC, o Emotionsolution e o Infoviaweb aderiram. Eles não participaram ao mesmo tempo do esquema, pois uns entraram e outros saíram da rede em épocas diferentes.
Uma das características da filtragem e moderação era a possibilidade de apagar mensagens retroativamente. Isso foi muito útil, quando a U-Br enfrentou um ataque de postagens. Um desocupado da vida resolveu que seria divertido postar o maior número possível de mensagens -no menor tempo possível. Ele postava texto aleatório, e se utilizava de diversos proxies e da rede TOR para isso. Nesse caso a filtragem foi a salvação da lavoura.
Criei um módulo novo para o Gari, que verificava se o post vinha da rede TOR, e rejeitava o post. A possibilidade de apagar mensagens foi uma bênção, pois podíamos apagar por IP.
Sim, elas vinham de diversos IPs - mas cada endereço era usado para umas 2000 mensagens. O que facilitou muito a nossa vida. Diversos usuários migraram para os servidores com filtragem - basicamente porque era a única maneira sã de conseguir postar. E, com a replicação de regras, o esforço dos admins ficou menor. Se um dos servidores envolvido ordenasse o apagamento de diversas mensagens do desocupado, os demais obedeciam. Nada como dividir trabalho, ao invés de multiplicar. :D

Meus agradecimentos a Marcio Bremm, Dâniel Fraga e Marcelo Rodrigues por essa entrevista. :-)