by Andreza Aparecida dos Santos, Sandra Avila e Thiago Teixeira Santos
[en] In this work, we modeled the problem of detection of fruit and leaves in viticulture for proximal applications as a supervised machine learning task. We created and manually labeled a database of images obtained in April 2017 at Guaspari Winery. In total, the database consists of 11,883 images of bunch of grapes and leaves. We trained a convolutional network with YOLOv2 architecture to locate and classify bunch of grapes and leaves. Quantitative tests have shown results for detection and classification with precision of 100%, recall of 74.2% and F1-Score up to 85.2% for the class “grape” and precision of 100%, recall of 67.9% and F1-Score up to 80.9% for the class “leaf”. Also, q ualitative tests show that the model generalizes well when tested on photographs of other grape varieties. These results are promising and are moving towards the possibility of application in the field.
[pt_BR] Neste trabalho, o problema de detecção de frutas e folhas em viticultura para aplicações envolvendo sensoriamento próximo foi modelado como um problema de aprendizado supervisionado de máquina. Uma base de dados foi criada e manualmente anotada a partir de imagens obtidas em abril de 2017 na Vinícola Guaspari. No total são 11.883 imagens contendo exemplos de cachos de uvas e folhas. Uma rede convolutiva com arquitetura YOLOv2 foi treinada para localização e classificação de cachos e folhas. Testes quantitativos demonstraram resultados para a detecção e classificação com precisão de 100%, revocação de até 74,2% e F1-Score de 85,2% para classe “uva” e precisão de 100%, revocação de até 67,9% e F1-Score de 80,9% para a classe “folha”. Testes qualitativos mostram que o modelo generaliza bem quando testado em fotografias de outras variedades de uvas. Esses resultados se mostram promissores para a melhoria do método e caminham para a possibilidade de aplicação em campo.