Hackathon

Tema: Canteiro de Obras Digital: da Captura 4D à Análise de Progresso com Drones e VLMs

Este desafio se concentra no ambiente dinâmico e de larga escala de uma obra, utilizando dados de drones (câmeras e LiDAR) para criar um ''gêmeo digital'' e analisar o progresso da construção.

  • Conceito
    O gerenciamento de grandes obras civis sofre com a dificuldade de comparar o que foi projetado (modelo BIM - Building Information Modeling) com o que está sendo efetivamente construído (as-built). Atrasos, desperdício de material e falhas de execução são comuns. O objetivo é criar uma pipeline que automatize a captura, modelagem 3D e análise de progresso, fornecendo insights valiosos para os gestores.

  • Objetivos Principais
    Desenvolver um sistema que processe dados de drones para:

Reconstrução e Segmentação 3D (As-Built):

Geração de Nuvem de Pontos e Malha 3D: Utilizar técnicas de fotogrametria (com as imagens do drone) e fusão com dados LiDAR para gerar uma nuvem de pontos densa e uma malha 3D texturizada do estado atual da obra.

Segmentação Semântica 3D: Aplicar modelos de Deep Learning (como PointNet++ ou KPConv) na nuvem de pontos para segmentar e classificar diferentes elementos da construção: fundações, pilares, lajes, andaimes, pilhas de material (areia, brita), etc. Este é o insumo principal para a análise.

Análise de Progresso com Vision-Language Models (VLM):

Comparativo "Projetado vs. Construído": O VLM receberá como entrada o modelo 3D segmentado (ou renders dele) e o modelo BIM original. A partir disso, ele deve ser capaz de gerar relatórios em linguagem natural.

Geração de Relatório de Progresso: Exemplo de output: ''Relatório de 20/07/2025: A fundação do Bloco A está 90% concluída. Identificada uma divergência no posicionamento do pilar P-15 no segundo andar. O estoque de vergalhões está baixo.''

Q&A Interativo sobre o Projeto: Permitir que o gestor faça perguntas como: ''Qual o volume de concreto utilizado na laje do terceiro andar?'' ou ''Mostre-me as áreas onde a construção está adiantada em relação ao cronograma.''

Análise Preditiva com Transformers:

Previsão de Cronograma: Analisando a sequência de ''snapshots'' 3D da obra ao longo do tempo (ex: capturas semanais), um modelo Transformer pode ser treinado para prever a data de conclusão de certas etapas e identificar desvios do cronograma antes que se tornem críticos.

Stack de Tecnologias Sugeridas

  • Processamento 3D: Open3D, PCL (Point Cloud Library), COLMAP (para fotogrametria).
  • Deep Learning 3D: Frameworks que suportem redes para nuvens de pontos.
  • Transformers & VLMs: Modelos capazes de processar e correlacionar dados 3D (representados como imagens ou grafos) e texto.

Obs: Pesquisar por ''3D-LLM'' ou ''Point-LLM'' pode inspirar abordagens.

Dataset para o Hackathon: Um conjunto de dados sequenciais de uma obra (simulada ou real). Cada ''snapshot'' conteria: um conjunto de imagens de drone, uma nuvem de pontos LiDAR (.las ou .ply), e o modelo BIM (.ifc ou .obj) correspondente ao projeto.

Critérios de Avaliação

  • Qualidade da Reconstrução 3D: Precisão e detalhamento do modelo 3D gerado.
  • Acurácia da Segmentação 3D: Quão bem o modelo identifica os diferentes elementos da obra.
  • Inteligência do Relatório: A profundidade e a utilidade dos insights gerados pelo VLM.
  • Potencial Preditivo: A lógica e a viabilidade da análise de cronograma.
  • Visualização: A clareza da interface que compara o projetado com o construído.