by Andreza Aparecida dos Santos, Sandra Avila e Thiago Teixeira Santos

[en] In this work, we modeled the problem of detection of fruit and leaves in viticulture for proximal applications as a supervised machine learning task. We created and manually labeled a database of images obtained in April 2017 at Guaspari Winery. In total, the database consists of 11,883 images of bunch of grapes and leaves. We trained a convolutional network with YOLOv2 architecture to locate and classify bunch of grapes and leaves. Quantitative tests have shown results for detection and classification with precision of 100%, recall of 74.2% and F1-Score up to 85.2% for the class “grape” and precision of 100%, recall of 67.9% and F1-Score up to 80.9% for the class “leaf”. Also, q ​ ualitative tests show that the model generalizes well when tested on photographs of other grape varieties. ​ These results are promising and are moving towards the possibility of application in the field.

[pt_BR] Neste trabalho, o problema de detecção de frutas e folhas em viticultura para aplicações envolvendo sensoriamento próximo foi modelado como um problema de aprendizado supervisionado de máquina. Uma base de dados foi criada e manualmente anotada a partir de imagens obtidas em abril de 2017 na Vinícola Guaspari. No total são 11.883 imagens contendo exemplos de cachos de uvas e folhas. Uma rede convolutiva com arquitetura YOLOv2 foi treinada para localização e classificação de cachos e folhas. Testes quantitativos demonstraram resultados para a detecção e classificação com precisão de 100%, revocação de até 74,2% e F1-Score de 85,2% para classe “uva” e precisão de 100%, revocação de até 67,9% e F1-Score de 80,9% para a classe “folha”. Testes qualitativos mostram que o modelo generaliza bem quando testado em  fotografias de outras variedades de uvas. Esses resultados se mostram promissores para a melhoria do método e caminham para a possibilidade de aplicação em campo.

Full paper (PDF)