Inside AI: XTEND

Ruby Liani ist CTO und Mitbegründer von XTEND. Seine UAS-Erfahrung basiert auf seiner Tätigkeit als Software-Integrationsleiter und Kampfsystem-Integrationsoffizier bei der israelischen Marine sowie als Mitbegründer einer israelischen Drohnen-Rennliga. Er hat einen Abschluss in Computer-Software-Engineering.

„Es ist eine Geschichte, die nur in Israel passieren kann“, sagte Rubi Liani über den Ursprung der Mensch-Maschine-Technologie seines Unternehmens XTEND.

Im Jahr 2018 prägte die asymmetrische Kriegsführung erneut einen Nahostkonflikt. Militante aus dem Gazastreifen schickten Flottillen von Brandballons nach Israel, die physischen und psychischen Schaden anrichteten und im Vergleich zu Iron-Dome-Raketen und anderen defensiven Gegenmaßnahmen im Wesentlichen nichts kosteten.

Liani, damals Major, gehörte zu denen, die die israelischen Verteidigungskräfte zu einem Treffen zwischen Klugen und Klugen aufriefen. Während seiner mehr als zehnjährigen Tätigkeit als Software-Ingenieur und Systemintegrationsoffizier bei der israelischen Marine war Liani ausgerechnet Mitbegründer einer israelischen Drohnen-Rennliga. Also dachte Liani: „Ich habe wirklich schnelle Drohnen, mit meiner Erfahrung kann ich die Ballons sehr leicht treffen, wobei die Drehung der Propellerblätter die Ballons zum Platzen bringt.“

Zu seinem „neuen Job“ gehörten viele Mitglieder der israelischen Liga. „Wir haben etwa 2.000 Luftballons eliminiert. Drei Monate lang die verrückteste Sache meines Lebens, die mein Hobby mit meiner Pflicht verbindet.“ Liani folgte seiner Leidenschaft und verließ den Dienst im Juli desselben Jahres. „Einen Monat später hatten wir eine Firma“, sagte er.

Mit seiner Erfahrung im Bereich Drohnen nutzte Aviv Shapira, ein Kollege in der Drohnenliga, seinen Entertainment-Hintergrund, um das zu unterstützen, was Liani als „XR-Spielmaschine [Extended Reality]“ bezeichnete. Der Name „XTEND“ entspringt dem Wunsch eines Spielers, „Menschen zu erweitern und ihnen das Gefühl zu geben, woanders zu sein“, bemerkte Liani. „Wir haben viele Iterationen durchgeführt, um die UX zu knacken. Im Grunde geht es darum, wie man eine sehr, sehr schnelle Drohne steuert, die präzise sein muss.“

Spulen wir vor ins Jahr 2023, und Liani gehört zu den Mitbegründern und CTO von XTEND (Shapira ist CEO und Mitbegründer). Im Kern ist XTEND ein Softwareunternehmen, das sich darauf konzentriert, das Beste aus KI und VR zu maximieren und sie mit Robotern zu verbinden, um präzise und allgegenwärtige Drohnenoperationen zu ermöglichen. Laut Liani ist es dabei von entscheidender Bedeutung, dass XOS (das Betriebssystem von XTEND) versucht, das Beste aus maschinellen und menschlichen Erkenntnissen während des gesamten Flugzyklus zu verbinden. Um dies zu erreichen, wird dem Trend entgegengewirkt, Menschen aus dem Kreislauf herauszunehmen, indem ein VR-Display und ein Controller für natürliche Gesten kombiniert werden, um über eine KI-fähige Ebene, die ihre Umgebung erkennen kann, mit der Maschine zu interagieren. Das Ergebnis ist ein vom Menschen gesteuertes autonomes Maschinensystem, das immersiv und intuitiv zugleich ist.

Liani glaubt, dass völlige Autonomie noch nicht Realität ist, daher „ermöglicht die XTEND-Technologie es Menschen, sich in das Geschehen hineinzuversetzen“, sagte Liani. Mehrere Drohnen können mit einer Geschwindigkeit von bis zu 80 Meilen pro Stunde einen Standort inspizieren, während die Bediener außerhalb der Abwehrmaßnahmen des Feindes bleiben. Gleichzeitig können Soldaten, Polizisten und andere taktische Einsatzkräfte, ferngesteuert oder vor Ort, mithilfe von VR-Headsets ein Situationsbewusstsein in Echtzeit erlangen, um Drohnen durch Fenster und Türen und über enge Räume zu manövrieren, ohne den Bedienern das Gefühl zu geben, sagte Liani: „ als wären sie persönlich da.“ Es sind keine herkömmlichen Stöcke erforderlich, was die Trainingszeit um schätzungsweise 90 % verkürzt.

XTEND hat sich mehr als 20 Verträge gesichert, darunter einen Auftrag des US-Verteidigungsministeriums für 2021 über mehrere intelligente Maschinen. Im Januar dieses Jahres erteilte das israelische Verteidigungsministerium XTEND einen Auftrag über 20 Millionen US-Dollar. „Wir sind zuversichtlich, dass dieses neue Programm einen enormen Sprung in unseren operativen Fähigkeiten bedeuten wird“, sagte eine IDF-Quelle, „und die beste zivile Technologie in die Hände unserer Soldaten legen wird.“

Und XTEND hat eine Reihe nichtmilitärischer Sektoren im Blick, um das Risiko für Öl- und Gas-, See- und Infrastrukturprojekte zu verringern. „Der Inspektor muss nicht vor Ort sein“, sagte Liani.

Um zu erklären, was diesem Erfolg zugrunde liegt, führte uns Liani durch einige grundlegende Betriebsprinzipien.

Modernste Drohnen-UX: Hardware, Betriebssystem und Anwendung seien der gemeinsame Dreiklang für Systeme vom Telefon bis zur Drohne, sagte Liani. „Das Betriebssystem ist im Allgemeinen die Brücke zwischen Mensch und Maschine.“

Über die Mindestanforderungen hinaus und die Ausführung auf Android ist XTEND hardwareunabhängig und sorgt für maximale Akzeptanz. Mit Modifikationen kann es das unterstützen, was Liani als „die drei wichtigsten Robotercomputer – Raspberry Pi, NVIDIA Jetson und Qualcomm RB5“ bezeichnet –, um verschiedene Arten von Drohnenfunktionen zu erfüllen, auch solche von Drittanbietern. „Wenn jemand Qualcomm möchte und der andere NVIDIA Jetson möchte, können sie miteinander reden, weil sie das gleiche Betriebssystem verwenden. Wir folgen den Hardwaretrends der Robotikwelt und stellen sicher, dass wir ihnen entsprechen.“

Immersives VR-Fliegen: „Wir Menschen reden über Mission, nicht über eine Drohne“, sagte Liani. „Wir begannen, mit den Robotern zu sprechen, unter dem Gesichtspunkt: ‚Ich markiere dich, damit du durch die Tür gehst – tu es einfach.‘ Ich möchte dir nicht sagen, wie weit du nach rechts und links, auf und ab fliegst – so reden Menschen nicht. Mein Sohn ist 1 Jahr alt, wenn er in die Küche will, zeigt er nur auf die Küche."

Eine in XOS integrierte „Mark & ​​Fly“-Funktion des Betriebssystems unterstützt die Zusammenführung von KI-Effizienz und menschlichen Erkenntnissen. Liani veranschaulichte dies mit einem Demonstrationsvideo, das einen kleinen Quadrocopter zeigt, der durch ein Fenster in ein Gebäude eindringt, um einen versteckten, feindlichen Gegner aufzuspüren. Die Drohne verarbeitet umfangreiche Daten in Echtzeit und beginnt selbstständig mit der Untersuchung und zeigt interessante Objekte und Personen an. Der Bediener kann dann nach eigenem Ermessen der Drohne befehlen, das Gebiet weiter zu erkunden.

„Wir haben eine KI-Anwendung genommen und damit begonnen, einige AR-Elemente einzubauen, um Objekte zu erkennen – zum Beispiel das Fenster“, sagte Liani. „Wenn Sie eine Anwendung haben, die auf dem System ausgeführt wird, überbrückt der Begrenzungsrahmen, was das neuronale Netzwerk sieht und wie Sie es anzeigen können. Es ist das Ergebnis der Erkennung des Fensters. Durch ein Fenster zu fliegen ist eine komplexe Mission mit Stöcken. Mit unserem System.“ Markieren Sie einfach das Fenster, wechseln Sie in den Guide-Modus und fliegen Sie einfach hindurch. Es ist sehr, sehr genau.“

Natürliche Handgesten: XOS kann je nach Situation schnell auf menschliche Kontrolle umschalten. „Das Erlebnis“, sagte Liani, „ist, dass die Jungs mit VR-Headsets operieren und dieses 3D-Video ansehen. Es ist sehr, sehr eindringlich.“

Der Bediener kann die Richtung vorgeben, indem er seine Hände oder sogar seinen Kopf in die gewünschte Richtung bewegt. „Unser System wird durch Handgesten gesteuert, das gleiche Prinzip wie bei einer Wii-Fernbedienung“, sagte Liani. „Es ist wie ein Laserpointer; wohin Sie zeigen, ist die Richtung, in die die Drohne folgen wird. Sie unterteilen die Mission in Aufgaben: ‚Gehen Sie am Fenster vorbei, fliegen Sie zum Ende des Korridors, heben Sie dieses Ding auf und lassen Sie es fallen.‘ Dinge.' Mit Anwendungen von Drittanbietern bekommen Sie einen Schub, denn wenn Sie KI-Anwendungen ausführen, die das Fenster, den Boden und das Objekt erkennen können, wird es einfach, Aufgaben zu erstellen.“

Mensch-Maschine-Teaming: „Wir ermöglichen es dem Menschen, mit verschiedenen Techniken zur Steuerung des Roboters sehr weit weg zu sein“, sagte Liani. Drei Elemente ermöglichen es XOS, dies zu ermöglichen.

„Je weiter man kommt, desto mehr Probleme treten auf: Latenz, Kommunikationsprobleme, Trennungen“, sagte Liani. „Mit Mark & ​​Fly zeigt ein Bediener einfach an, wo er hin möchte, und verwandelt 2D-Elemente in 3D. Das verleiht der Drohne mehr Tiefe und verleiht ihr viel mehr Raffinesse, selbst bei Latenz und Unterbrechungen. Sie wartet auf Sie, bis Sie die Kommunikation wiedererlangen Sie können weiterhin operieren.

Ob nah oder fern, das zweite Teaming-Element besteht in der Verschmelzung von KI-Anwendungen und menschlichen Erkenntnissen. Liani zeigte ein weiteres Video einer Drohne, die durch das Labor des Unternehmens flog: Die KI erkannte die Öffnung, Mark & ​​Fly markierte kontinuierlich und „Task & Fly“ führte Aufgaben aus, während der Mensch durch die Innenumgebung flog. Der Guide-Modus ist das, was auf dem Bildschirm angezeigt wird, um Bedienerinformationen und Aktionen anzuzeigen.

Für den dritten Teil seines Dreiklangs wechselte Liani zum interaktiven Betrieb aus der Ferne. „Nehmen wir den Menschen 100 Kilometer von dort entfernt. Ich möchte, dass die Drohne diesen Korridor durchläuft und geradeaus und nach links fliegt. Mit der Latenz können Sie das Video drei Sekunden sehen, nachdem die Drohne tatsächlich das getan hat, was sie getan hat. Task & Fly ermöglicht das Möglichkeit, 3D-Punkte mit 3D-Video im Raum zu platzieren, um Aufgaben wie Annähern, Verfolgen und Scannen auszuführen. Wir haben eine Simulation durchgeführt – denken Sie daran, dass Sie das Video etwa fünf Sekunden später sehen, weil Sie über eine Satellitenverbindung steuern. Sie können auswählen, wo Sie möchten Die Drohne muss ausgerichtet sein und auf „Los“ klicken, und die Drohne wird das tun, bis Sie die Kontrolle wiedererlangen. Eine sehr einfache Möglichkeit, sie im 3D-Raum fernzusteuern.“

Personal kann nah und fern sein. „Jemand muss die Drohne dort platzieren, aber der Mann vor Ort kann die Steuerung der Kommandozentrale übertragen. Er hat keine Zeit, in der Nähe von Terroristen zu operieren – er hat mit viel größeren Problemen zu kämpfen. Wir geben ihm die Möglichkeit.“ Übertragen Sie die Steuerung auf Personen, die das Kommando haben, mit Klimaanlage und alles ist ruhig. Sie sehen den Ziel- und Markierungspunkt, Sie können auswählen, wohin die Drohne fliegen soll, Sie können die Schätzung sehen, wo sich die Drohne befinden wird, und die Ausrichtung .

„Man kann von überall auf der Welt aus eine Live-Drohne steuern, die im 3D-Raum fliegt, ohne GPS, in jeder Umgebung, mit der Umgebung interagieren und die Öffnungen erkennen. Aber wir wollten auch sicherstellen, dass der Typ, der die Drohne einsetzt.“ Der enge Umkreis kann bei Bedarf die Kontrolle übernehmen, um sicherzustellen, dass die Mission nicht scheitert.“

Sowohl Vor-Ort- als auch Fernbediener können das VR-Headset nutzen. „Ich kann überall auf der Welt sein, aber meine Maschine ist mein Avatar“, sagte Liani.

Alle Bilder mit freundlicher Genehmigung von XTEND.