Prezados participantes do IDD-Brasil,
Já estivemos discutindo o problema das altas latências observadas
nas recepções de fluxos de dados massivos, como o CONDUIT e o NIMAGE.
Observamos também que estas latências estavam resultando em perda
de dados, uma vez que nas últimas versões do LDM o default dos requests
se limita a uma hora, e as transferências estavam demorando mais do
que isso.
Esse problema também têm prejudicado a participação do CPTEC no
projeto TIGGE, uma vez que o LDM é a ferramenta oficial para a
transferência dos dados e as latências estavam impedindo o envio
de nossos ensembles (30 Gb/dia) para o NCAR e o ECMWF.
Alguns já estão a par da conclusão de que existe um "freio" em algum
lugar na nossa rota de comunicação com o exterior. Um software que
reduz a prioridade de nossas transferências mais massivas, criando
as latências observadas. Esse freio é uma ferramenta de administração
de roteadores, também conhecido como "packet shaping" ou QoS (Quality
of Service).
Ainda estamos pesquisando para descobrir onde está e como funciona
esse "QoS", mas por enquanto ja temos uma boa notícia: já sabemos como
contorná-lo, e isso pode ser observado nas estatísticas de recepção
da moingobe.cptec, no feed conduit.
A explicação é simples: se as transferências massivas perdem prioridade,
estão nós dividimos a tranferência. Por exemplo, para receber o modelo
GFS com 10 transferêcias, precisamos de 10 linhas de request no ldmd.conf:
request CONDUIT "MT.gfs_CY.(00|06|12|18).*0$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*1$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*2$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*3$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*4$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*5$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*6$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*7$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*8$" mopora.cptec.inpe.br PRIMARY
request CONDUIT "MT.gfs_CY.(00|06|12|18).*9$" mopora.cptec.inpe.br PRIMARY
Com isso as latências cairam para cerca de 300 segundos, para um
volume que chega a 1.5 Gb/hora.
Estes testes estão sendo executados com a direta colaboração do
Yoshihiro, em portugal, e do Tom Yoksas no Colorado. Não posso
deixar de agradecer por essa valiosa colaboração.
Abraços a todos,
Waldenio.
==============================================================================
To unsubscribe idd-brasil, visit:
http://www.unidata.ucar.edu/mailing-list-delete-form.html
==============================================================================
