Görme işleme için bir Yardımcı İşlemci kullanma

Saha hedeflerini veya oyun parçalarını tanımak için OpenCV gibi kitaplıkları kullanan vision processing-görüntü işleme, genellikle CPU yoğun bir işlem olabilir. Çoğu zaman yük çok önemli değildir ve işlem roboRIO tarafından kolayca halledilebilir. Daha fazla kamera akışının olduğu veya görüntü işlemenin karmaşık olduğu durumlarda, kodu ve kamera bağlantısını farklı bir işlemciye koyarak roboRIO’nun yükünü boşaltmak istenir. FRC ® içinde popüler olan bir dizi işlemci seçeneği vardır. Raspberry PI, Intel tabanlı Kangaroo, en üst düzeyde basitlik için LimeLight veya daha karmaşık görüntü kodları için nVidia Jetson modellerinden biri gibi bir grafik hızlandırıcı gibi.

Strateji

Genel olarak fikir, yardımcı işlemciyi genel olarak aşağıdakileri içeren gerekli yazılımla kurmaktır:

  • OpenCV - açık kaynak bilgisayar görme kitaplığı

  • NetworkTables - to commute the results of the image processing to the roboRIO program

  • Kamera sunucusu kitaplığı - kamera bağlantılarını yönetmek ve bir panoda görüntülenebilen akışları yayınlamak için

  • Görme programı için kullanılan bilgisayar dili için dil kitaplığı

  • Nesne algılamayı gerçekleştiren gerçek görüş programı

The coprocessor is connected to the roboRIO network by plugging it into the extra ethernet port on the network router or, for more connections, adding a small network switch to the robot. The cameras are plugged into the coprocessor, it acquires the images, processes them, and publishes the results, usually target location information, to NetworkTables so it is can be consumed by the robot program for steering and aiming.

Network diagram with the coprocessor and roboRIO on the same network.

Kamera verilerinin kontrol paneline aktarılması

Genellikle, kamera verilerinin robot ağı üzerinden kontrol paneline basitçe aktarılması arzu edilir. Bu durumda, bir veya daha fazla kamera bağlantısı ağa gönderilebilir ve Shuffleboard veya web tarayıcısı gibi bir kontrol panelinde görüntülenebilir. Shuffleboard’u kullanmak, kamera çözünürlüğünü ve bit hızını ayarlamak için kolay kontrollere sahip olmanın yanı sıra kamera akışlarını robottan gönderilen diğer verilerle entegre etme avantajına sahiptir.

Ayrıca görüntüleri işlemek ve görüntüye açıklama eklemek, örneğin görüntü işleme kodunun algıladıklarını gösteren hedef satırlar veya kutular gibi ek açıklama eklemek ve ardından operatörlerin etrafındakilerin net bir resmini görmesini kolaylaştırmak için gösterge panosuna iletmek de mümkündür. robot.