The First-Ever Mind-Controlled Robotic Arm

April 11, 2024
switch to THswitch to EN

CMU researchers have successfully developed the first-ever mind-controlled robotic arm without invasive brain implants.


Carnegie Mellon University’s researchers, in cooperation with the University of Minnesota, have made a major step in inventing robotic limbs that can be controlled solely by our minds. Researchers use “noninvasive brain-computer interface (BCI)” to develop a mind-controlled robotic arm that shows the ability to continuously track and follow a computer cursor.

The aims of this project is to develop robotic devices that can be controlled by thoughts without using invasive brain implants.


Formerly, BCIs need the signals sensed from brain implants in order to control robotic devices with high precision, allowing patients who suffer from paralysis and movement disorders to perform many daily tasks more effectively. However, it needs a massive amount of medical and surgical expertise to install brain implants. Factors such as cost and the potential risks to subjects must be considered as well. That’s why only few clinical cases were able to use brain implants.

As a result, BCI research is focusing on developing less invasive or “noninvasive” technology. Thus, if it is successful, it will benefit the lives of those who need it the most. Unfortunately, initial results of BCIs that use noninvasive external sensing indicate ‘negative’ signals, lower resolution and less precise control. However, that did not make BCI researchers give up because the reward for overcoming this challenge is so precious for our future.

Here, Bin He, department head and professor of biomedical engineering at CMU, is reaching the finish line of this challenge.

Dr. Bin HeTrustee Professor and Department Head, Biomedical Engineering
Professor, Electrical & Computer Engineering, Neuroscience Institute
He says, “There have been major advances in mind controlled robotic devices using brain implants. It’s excellent science, but noninvasive is the ultimate goal. Advances in neural decoding and the practical utility of noninvasive robotic arm control will have major implications on the eventual development of noninvasive neurorobotics.”

“Novel sensing and machine learning techniques are the keys”

He and his lab use “novel continuous pursuit paradigm” and “noninvasive neuroimaging” to access the signals in the brain, improving ability to control a robotic arm. In the same way, with these technologies, He can overcome the noisy EEG signals leading to considerably improve EEG-based neural decoding, and facilitate real-time continuous 2D robotic device control. 

Now, for the first time ever, the results of using a noninvasive BCI which tracks a cursor on a computer screen indicated a good sign; the robotic arm is able to follow the cursor continuously and smoothly.


The technology which can be used by just thoughts alone will no longer exist only in sci-fi movies. 

He says, “Despite technical challenges using noninvasive signals, we are fully committed to bringing this safe and economic technology to people who can benefit from it. This work represents an important step in noninvasive brain-computer interfaces, a technology which someday may become a pervasive assistive technology aiding everyone, like smartphones.”

Retrieved from: https://engineering.cmu.edu/news-events/news/2019/06/20-he-sci-robotics.html

แขนกลควบคุมด้วยจิตใจ! มหาวิทยาลัยคาร์เนกีเมลลอนสามารถประดิษฐ์แขนกลที่สั่งการด้วยจิตใจโดยไม่ต้องฝังชิพในสมอง


เหล่านักวิจัยจากมหาวิทยาลัยคาร์เนกีเมลลอน ภายใต้ความร่วมมือกับมหาวิทยาลัยมินนิโซตา ได้สร้างความก้าวหน้าครั้งสำคัญในการประดิษฐ์แขนกลที่สามารถควบคุมได้ด้วยจิตใจ!  
นักวิจัยได้ใช้ “เทคโนโลยีการสั่งการข้อมูลคอมพิวเตอร์โดยใช้สมองที่ไม่รุกล้ำร่างกาย” (Noninvasive brain-computer interface) เพื่อพัฒนาแขนกลให้สามารถตามรอยคอมพิวเตอร์เคอเซอร์ได้อย่างลื่นไหล


จุดประสงค์ของโปรเจคนี้ คือการพัฒนาเทคโนโลยีจักรกลที่สามารถควบคุมได้ด้วยความคิดของเรา โดยไม่ต้องฝังตัวควบคุมในสมอง


ก่อนหน้านี้ เทคโนโลยีสั่งการคอมพิวเตอร์ด้วยสมอง (brain-computer interface หรือ BCI) ต้องได้รับสัญญาณผ่านชิพในสมองเพื่อที่จะควบคุมหุ่นยนต์ได้อย่างแม่นยำ ซึ่งนั่นจะช่วยให้ผู้ที่ป่วยด้วยโรคอัมพาตหรือโรคความบกพร่องด้านการเคลื่อนไหวสามารถใช้ชีวิตประจำวันตามปกติได้ แต่ทว่า การติดตั้งชิพในสมองนั้นต้องอาศัยความชำนาญทางการแพทย์ และการผ่าตัดเป็นอย่างมาก ยิ่งไม่ต้องพูดถึงค่าใช้จ่ายที่ยังสูงมากอีก ดังนั้นเทคโนโลยีฝังชิพนี้จึงถูกใช้ในเคสทางการแพทย์เพียงไม่กี่เคสเท่านั้น

และด้วยเหตุนี้เอง งานวิจัยด้าน BCI ส่วนมากได้เน้นไปในการพัฒนาเทคโนโลยีที่แทบจะไม่รุกล้ำร่างกาย หรือไม่รุกล้ำร่างกายโดยสิ้นเชิง และถ้าหากมันประสบความสำเร็จ มันจะสามารถสร้างประโยชน์อย่างมหาศาลแก่ผู้คนได้  แต่น่าเสียดายนักที่ผลลัพธ์ของ BCI ที่ไม่รุกล้ำร่างกาย ยังคงเป็นไปในทางที่ไม่ดีนัก เนื่องจากความละเอียดที่ต่ำเกินไปและควมคุมได้อย่างไม่แม่นยำ  อย่างไรก็ตาม นั่นไม่ใช่เหตุผลที่เหล่านักวิจัยจะต้องยอมแพ้ เพราะรางวัลของการเอาชนะความท้าทายนี้จะมีค่าต่ออนาคตเราอย่างมหาศาล


และตอนนี้เอง ปิน เหอ ศาสตราจารย์และหัวหน้าภาควิชาวิศวกรรมชีวเวช ของมหาวิทยาลัยคาร์เนกีเมลลอน ได้เข้าสู่เส้นชัยของการแข่งขันความท้าทายนี้แล้ว

Dr. Bin HeTrustee Professor and Department Head, Biomedical Engineering
Professor, Electrical & Computer Engineering, Neuroscience Institute
ศาสตราจารย์เหอกล่าวว่า “มันมีความก้าวหน้าอย่างมากในเรื่องเทคโนโลยีการควบคุมหุ่นยนต์ด้วยความคิดโดยฝังชิพในสมอง มันเป็นวิทยาศาสตร์ที่ยอมเยี่ยมมาก แต่ว่าเทคโนโลยีไม่รุกล้ำร่างกายนั้นเป็นเป้าหมายสูงสุด ทั้งนี้ ความก้าวหน้าด้านการถอดรหัสทางประสาทและ ประโยชน์เชิงใช้ได้จริงของการควบคุมแขนกลไม่รุกล้ำร่างกาย จะนำไปสู่การพัฒนาระบบประสาทจักรกลแบบไม่รุกล้ำร่างกายในท้ายที่สุด”

“ระบบจับสัญญาณแบบใหม่” และ “เทคโนโลยีที่เรียนรู้ได้ด้วยตัวเอง (Machine learning)” คือกุญแจสำคัญ!

ศาสตราจารย์เหอและทีมวิจัยของเขาได้ใช้ “กระบวนทัศน์การติดตามต่อเนื่องแบบใหม่” และ “เทคโนโลยีสร้างภาพจำลองของระบบประสาทโดยไม่รุกล้ำร่างกาย” เพื่อที่จะเข้าถึงสัญญาณในสมอง และพัฒนาความสามารถในการควบคุมแขนกล  ในทำนองเดียวกัน ด้วยเทคโนโลยีสองอย่างนี้ ศาสตราจารย์เหอ สามารถเอาเอาชนะสัญญาณรบกวน EEG ซึ่งนำไปสู่การถอดรหัสทางประสาท EEG ให้ดียิ่งขึ้น และทำให้การควบคุมแขนกลสองมิติอย่างต่อเนื่องแบบเรียลไทม์ ดีมากยิ่งขึ้น 

และตอนนี้ การใช้ BCI แบบไม่รุกล้ำร่างกายเพื่อการติดตามเคอเซอร์บนหน้าจอคอมพิวเตอร์ ได้แสดงผลลัพธ์ไปทางในทางที่ดี แขนกลสามารถติดตามเคอเซอร์ได้อย่างต่อเนื่องและลื่นไหล



เทคโนโลยีที่สามารถควบคุมได้โดยใช้แค่ความคิดไม่ได้มีอยู่แค่ในหนังไซไฟแฟนตาซีอีกต่อไปแล้ว 

ในอนาคตอันใกล้นี้ เราอาจได้เห็นผู้คนทั่วไปใช้แขนกลยกสิ่งของหนัก ๆ หรือเห็นเทคโนโลยีแบบสนับสนุน คอยช่วยเหลือผู้ป่วยให้สามารถใช้ชีวิตประจำวันได้ 

ศาสตราจารย์เหอ กล่าวว่า “ถึงแม้ว่าการใช้สัญญาณแบบไม่รุกล้ำร่างกายจะมีความท้าทายเชิงเทคโนโลยี  แต่เรายังคงมุ่มมั่งอย่างยิ่งที่จะใช้เทคโนโลยีที่ปลอดภัยและราคาประหยัดนี้แด่ผู้คนที่สามารถใช้ประโยชน์จากมันได้   ผลงานนี้คือก้าวสำคัญของ “เทคโนโลยีการสั่งการคอมพิวเตอร์ด้วยสมองที่ไม่รุกล้ำร่างกาย” หรือก็คือเทคโนโลยีที่วันหนึ่งจะกลายเป็นเทคโนโลยีเชิงสนับสนุนที่คอยช่วยผู้คน ดั่งเช่นสมาร์ทโฟน”


Retrieved from: https://engineering.cmu.edu/news-events/news/2019/06/20-he-sci-robotics.html

Written By: