... schnelle 3D-Positionserkennung mit LeapMotion

  • ... bin noch am überlegen, ob/wie ich das fürs Lasermarkieren/gravieren nutzen kann:


    https://youtu.be/8ER7qHzcsuM



    Normalerweise kann das Teil nur Hände und Fingerpositionen erfassen und ausgeben, was dann so ausschaut:


    https://www.youtube.com/watch?v=1PopB-A-SuU




    Das eigentliche Projekt ist was ganz anderes (und auch nicht freigegeben) -- wer sich aber mit der LeapMotion etwas auseinandersetzen will - das Potential ist ziemlich groß!


    Und so teuer ist die auch nicht - etwa 90€ oder auch noch etwas günstiger ...


    Viktor

  • Für Autofokus oder Passmarken? Wahrscheinlich nichts für transparente Materialien? Finger laser ich so selten!

    Lasern ist ein tolles Hobby und ich helfe generell gerne Leuten mit Klasse 1 und zur Not auch Chinaböllern, wenn sie sich deren Gefahren bewusst sind. An die Forumseintagsfliegen: Stellt Euch bitte vernünftig vor und beschreibt Euer Problem und Eure Vorkenntnisse.

  • ... deswegen überlege ich ja noch, was ich damit in Richtung Laser mit Galvoscanner und Z-Achse machen kann :/

    Die eigentliche Applikation ist ganz was anderes (auch nichts mit Laser oder Fingern) - aber noch nicht spruchreif 8)


    Viktor

  • ... wo ich doch gerade mit der LeapMotion "rummache" - mir ist jetzt doch mal eine ziemlich praktische Anwendung dafür eingefallen.

    Das Teil ist ja eigentlich eine ziemlich schnelle, aber mit nur 640x480px relativ "grobe" IR-Stereo-Kamera.

    Gegenüber dem Laser-Triangulationssensor für um die 450€, den ich hier mal vorgestellt hatte ( Aufbau eines "Fokus-Shifters" für den nachträglichen Einbau ) ist die Leap mit unter 100€ dann doch etwas günstiger.

    Normal ist sie nicht dafür gedacht ("erkennt" nur Hände- und Finer-Positionen) -- so, wie ich sie jetzt aber "ausgewrungen" habe, kann ich direkt durch die beiden Stereobilder auch Punktpositionen und deren XYZ-Koordinate erkennen, was sich auch ganz gut als Abstands- oder Nullpunkt-Sensor eignet.

    Das heißt z.B., daß ich mit einer Leap unten am Galvokopf die Z-Höhe automatisch einregeln kann ... oder, wenn ich ein Punkt- oder Code-Raster auf der Arbeitsfläche habe, könnte die Software mit einer zusätzlichen XY-Positionierung (habe ich bei einen Anlagen ja teilweise drin) auch selbständig einen Startpunkt anfahren ... oder bei 2 oder mehr Passermarken auch eine Abweichung einer aufgelegten Vorlage in Position, Größe oder Winkelausrichtung erfassen und ausgleichen ... oder auch eine "bewegte" Vorlage verfolgen ... oder andere "verrückte" Sachen 8o

    Muß jetzt ertsmal meinen Galvomarkierer mit dem 30Watt-Faserlaser von IPG zum Laufen bekommen (hab' jetzt alle Unterschiede zum JPT herausbekommen und konfiguriere den Anschluß und die Ansteuerung entsprechend um) -- dann werde ich mich auch mal etwas um die 3D-Koordinatenerfassung mit der Leap fürs Lasermarkieren beschäftigen 8)


    Viktor



    PS:

    Wenn die Leap mit nur 640x480px zu wenig Auflösung haben sollte - hab' auch schon eine Alternative mit einem "Stereo-hat" für den Raspi oder den Jetson Nano gefunden -- damit hätte ich volle 2k-Auflösung in Stereo ... und mit dem Jetson Nano auch noch ein richtiges "KI"-System mit vielen Möglichkeiten der schnellen Bilderkennung/Verarbeitung in Reserve ...

  • Hab ich Dich doch schon am 5.11. gefragt: Für Autofokus oder Passmarken?

    Und kommt das als Add-On pünktlich zu Weihnachten noch für meine Ruidas?8|

    Lasern ist ein tolles Hobby und ich helfe generell gerne Leuten mit Klasse 1 und zur Not auch Chinaböllern, wenn sie sich deren Gefahren bewusst sind. An die Forumseintagsfliegen: Stellt Euch bitte vernünftig vor und beschreibt Euer Problem und Eure Vorkenntnisse.

  • ... da war ich noch unsicher -- aber ist wohl wirklich die sinnvollste Anwendung in dem Bereich :/


    Da ich momentan mit dem Haupt-Projekt zu bin, wird das bis Weihnachten noch nichts ... evtl. bekomme ich das zwischen den Jahren hin ...

    Wer sich dafür interessiert - hier einer der Lieferanten (Lieferung könnte bis Weihnachten noch klappen):

    https://www.mouser.de/ProductD…fsH77Xs4v1GmVHWOXxw%3D%3D


    Viktor

  • ... wegen "Stereo-Kameras" -- neben der Option des Stereo-Hats für den Raspi oder Jetson Nano habe ich mir zum Basteln auch mal zwei ESP32-CAM's bestellt, die heute ankamen.

    Die Dinger sind praktisch kleine IP-Kameras mit 2MP Auflösung ... mal schauen, ob ich mit denen auch was in Richtung Stereo-BV aufbaue ... alternativ können die auch einfach als IP-cams ihr Dasein fristen ;)


    ESP32-CAM.jpg


    Viktor

  • alternativ können die auch einfach als IP-cams ihr Dasein fristen ;)

    Ich hab davon gleich mehrere hier verteilt.:)


    Eine am Hauseingang, und 3 in der Werkstatt um die 3D Drucker überwachen zu können.

    Simpel, Praktisch funktional. :thumbup:8)

    Bei Bedarf lassen die sich sogar mit allen möglichen Weitwinkel und Zoomobjektiven Ausstatten.

    Gruß,

    Christian


    „Der größte Feind des Wissens ist nicht Unwissenheit, sondern die Illusion, wissend zu sein.“
    Stephen Hawking

  • ... ja, für 10€ kann man da eigentlich nichts falsch machen 8)

    Mit Kameras (web-, Industrie- und Spezial-Typen) bin ich mehr als ausreichend ausgestattet -- hab'ne Zeitlang auch welche selber entwickelt (Spezialtypen für Mikroskopie mit hoher Schärfentiefe oder Finberskope) ... mal schauen, ob ich ein paar davon wieder rauskrame :/


    -- übrigens, so schaut das mit der LeapMotion-Stereo-IR-Kamera aus -- die "Kunst" ist dann den/die hellen Fleck/e (und nicht die Hände/Finger) aus den beiden Teilbildern in XYZ-Echtraum-Koordinaten mit ausreichender Genauigkeit zu bestimmen - das ist bei Tageslicht aufgenommen, ohne die Kamera abzublenden ... eben "IR" mit spezieller Ausleuchtung:


    XYZ-Stereo2.jpg


    Viktor

  • Gibt es die auch „lötfrei“ zum Anklemmen? Wünsche mir immer noch was zum Mitfahren am Schneidkopf.

    Lasern ist ein tolles Hobby und ich helfe generell gerne Leuten mit Klasse 1 und zur Not auch Chinaböllern, wenn sie sich deren Gefahren bewusst sind. An die Forumseintagsfliegen: Stellt Euch bitte vernünftig vor und beschreibt Euer Problem und Eure Vorkenntnisse.

  • ... hier die nächste Version ;)


    Dieses Stereoskopie/3D-Positionserkennungs-Konzept läßt sich sehr gut ausbauen, um damit den Fokus-Abstand bzw. Werkstück-Abstand beim Lasern zu bestimmen und damit den Laserkopf nachzupositionieren!



    Das Video selber macht noch nicht soviel her - war nur ein "Demonstrator" von heute morgen, nachdem ich es endlich geschafft hatte, die beiden Raspi2-Kameras auf dem Jetson Xavier NX synchron zu bekommen und damit praktisch "in Echtzeit" die 3D-Position eines Punkts im Raum zu erfassen:


    https://www.youtube.com/watch?v=ZzXytS_ajts



    Wenn das neben dem Projekt geht, baue ich mir damit evtl. doch noch den "Fokus-Shifter" auf - mit'nem Raspi kommt das auf etwa 70€, mit dem Jetson Nano (kleineren Bruder des Xavier NX) auf etwa 150€ ... immer noch deutlich günstiger, als der Panasonic-Sensor ... und kann nebenher auch noch als "richtige" Kamera herhalten (nicht so grob/verzerrt, wie die Leapmotion) 8)


    Viktor

  • Sobald du das als Standalone Controller hast trag mich ein dafür!

    Lasern ist ein tolles Hobby und ich helfe generell gerne Leuten mit Klasse 1 und zur Not auch Chinaböllern, wenn sie sich deren Gefahren bewusst sind. An die Forumseintagsfliegen: Stellt Euch bitte vernünftig vor und beschreibt Euer Problem und Eure Vorkenntnisse.

  • ... das Projekt läuft bis Ende des Jahres - vorher kann ich da nichts freigeben (auch wenn's eher um Schädlingsbekämpfung/-Erkennung geht) :/


    Auch wenn da nicht soviel Hardware dahinter ist (Jetson Nano + 2 RaspiCam2) - an der Software habe ich schon etwas "geknabbert" -- dürfte aber eine interesante Basis auch für andere Meß- und Justage-Methoden werden ... ggf. auch als "Safety-Wächter" mit etwas mehr KI-Basis zur "vorausschauenden Gefahrvermeidung" 8)


    Viktor