[ BRT ] Brazil Study Group

If you are from Brazil or work/live in a Brazil Time Zone GMT -3, you are welcome to join with me to study together.

1 Like

Hi Bruno,

I’m from Brazil!

Olá gente :slight_smile:

I’m from Brazil too (Porto Alegre specifically) and looking for a group. Let’s chat!

Hi, I’m from Brazil too.
I really want to join.

Olá Pessoal,
Voces acham interessante criarmos um canal no Slack para um auxiliar o outro ?

Qual a opinião de voces ? Eu posso criar o canal e enviar o invite aqui no forum

Bom Dia Pessoal,

Sou de São Paulo. Gostaria de participar do grupo também.

Não seria melhor manter a interação aqui mesmo? Manter tudo num lugar só.

Abraços

Oi pessoal, meu nome é Leonardo. Moro nos EUA mas prefiro ficar no grupo dos brazucas.
Pra quem já programa em Python o curso até agora foi bem tranquilo. Vamos ver como fica nas próximas aulas…
Abs

Eu topo, também tem o discord que funciona bem para calls em grupo.

@ronaldokun, o bom dessas plataformas é que dá pra dividir em tópicos de discussão diferentes para as conversas não se misturarem, não sei se o Jovian tem algo parecido.

Opiniões / sugestões ?

PS: troquem a opção Tracking ali por Watching para receber notifs

Sim, é verdade. Se tiver sessões de grupo de estudo será mais adequado uma plataforma mais síncrona mesmo. O Discord me parece uma opção mais interessante. Mas se decidirem pelo Slack tudo bem também.

Ronaldo

Olá pessoal, meu nome é Matheus. A discussão do grupo tá ocorrendo por aqui mesmo ou pelo Discord? Independente da plataforma, eu adoraria me juntar a vocês nesse grupo de estudo! Como faço pra entrar?

@ronaldokun Ronaldo, estamos torcendo por voce na competicao. Eu consegui dar uma melhorada mas to sem tempo pra fazer otimizacao do hiper-parametros; o cluster ta ocupado etc.
A essa altura, sem ter tido tempo pra data exploration, so conseguiria sugerir construir um bom ensemble/stack jogando tudo no xgboost or similar. Provavelmente voce ja deve estar fazendo isso… :slightly_smiling_face:

1 Like

Olá. Obrigado. Eu somente estou fazendo um ensemble simples com a média de todas as previsões. Vou tentar como último recurso sua sugestão.

Essa competição foi interessante pra mim porque acabei contribuindo bastante com outros usuários, isso foi bem legal.

O meu melhor modelo também foi bem cedo na competição. Não tive nenhum truque a mais na manga pra melhorar muito depois disso.

Contribuir eh legal porque alem de ajudar voce percebe que nao esta tao mal assim. :slight_smile:

Eu tive uma ideia pra gerar um stack com 15 modelos e depois combinar com RF ou GBM mas alguem esta ocupando todas as GPUs do cluster onde tenho conta e nao tenho condicao de rodar em casa em uma 1060 do laptop… Estou em 16o mas acho que daria pra passar de 80 com um ensemble razoavel.

VI que voce configura algumas variaveis do torch diferentemente. Acho que faco o contrario de voce:
eu coloco cudnn.deterministric = False, cudnn.benchmark = True. Reduziu o tempo de treino em mais de 50%. Tava rodando um batch de 128 em uns 2 minutos; foi pra 1. Mas aí o cluster ficou cheio!!!
Haha

Outra coisa: da pra treinar com 97.5 das amostras e fazer o validation com 2.5. O meu melhor resultado eu consegui treinando 100 vezes + 30 vezes + 20 vezes (na amostra toda).

Sem scheduling, gradient clipping, transformacoes mirabolantes. Na reta final qualquer coisa pode ajudar a ganhar + 0.001…

Bacana. Valeu pelas dicas.

Eu vi no fórum do Pytorch isso sobre o deterministic. Não tinha lembrado. Obrigado pela dica.

Pô, ta apertado. A japonesinha ta foda. Haha

Pois é. Estou fazendo média simples das previsões e média ou mediana dos thresholds de cada cv, fiz diferentes combinações mas demais cvs adicionados pioraram a pontuação.

Não sei como fazer um stacking das previsões e thresholds usando um xgboost.

Só tenho mais 3 submissões.

@ronaldokun

Uma forma simples seria criar um outro modelo (RF ja daria) que prediz as previsoes. Os features desse novo modelo seriam as classes previstas por cada modelo-mãe.

Se voce tiver 5 modelos/previsoes pra cada case a tabela ficaria assim:
case M1 M2 M3 M4 M5 target
a.png 2 2 3 2 4 2
b.png 3 3 1 2 2 1

Essa tabela serviria de base para um outro modelo secundario de previsao. Ou seja, a maquina aprenderia a escolher a melhor classe tendo em vista os resultados do modelos primarios.

Pra obter a classe dos testing set:

  • Obter as 5 previsoes originais (um forward pass simples; esses dados voce ja tem)
  • Fazer mais um forward pass desses resultados no novo modelo de stack, colhendo as novas previsoes
  • Submeter essas previsoes

Consegui explicar? :slight_smile:

1 Like

Esse tipo de stacking eu nunca fiz. Conseguiu explicar sim, só não sei se consigo implementar a tempo. Vou tentar