Имеющий уши да услышит. Даже робот
Живые существа редко полагаются только на одно чувство — зрение или обоняние. Роботы же, как правило, ориентируются в пространстве преимущественно при помощи визуального канала — всевозможных камер и сканеров. Инженеры из университета Карнеги Меллон (США) установили, что взаимодействие роботов с окружающей средой можно кардинально улучшить, добавив к зрению ещё и слух. Исследователи собрали датасет из 15000 звуков при помощи коллаборативного робота Sawyer, который взаимодействовал с разными предметами под запись, и затем использовали эти данные для “обучения” роботов. На выходе процент правильного распознавания предметов роботами “на слух” доходил до 76%, что очень неплохой результат и в дальнейшем, вкупе с визуальным каналом (или даже без него), может существенно повлиять на восприимчивость роботов к окружающей среде. Исследование было поддержано DARPA и Офисом военно-морских исследований США.
Видео о том, как формировали датасет при помощи робота https://youtu.be/z38-WCZ7Rb8
https://www.cmu.edu/news/stories/archives/2020/august/robots-using-sound.html
Живые существа редко полагаются только на одно чувство — зрение или обоняние. Роботы же, как правило, ориентируются в пространстве преимущественно при помощи визуального канала — всевозможных камер и сканеров. Инженеры из университета Карнеги Меллон (США) установили, что взаимодействие роботов с окружающей средой можно кардинально улучшить, добавив к зрению ещё и слух. Исследователи собрали датасет из 15000 звуков при помощи коллаборативного робота Sawyer, который взаимодействовал с разными предметами под запись, и затем использовали эти данные для “обучения” роботов. На выходе процент правильного распознавания предметов роботами “на слух” доходил до 76%, что очень неплохой результат и в дальнейшем, вкупе с визуальным каналом (или даже без него), может существенно повлиять на восприимчивость роботов к окружающей среде. Исследование было поддержано DARPA и Офисом военно-морских исследований США.
Видео о том, как формировали датасет при помощи робота https://youtu.be/z38-WCZ7Rb8
https://www.cmu.edu/news/stories/archives/2020/august/robots-using-sound.html