iPhone «научился» мгновенно распознавать объекты
Ваш смартфон знает разницу между молотком, бутылкой вина и хот-догом? Возможно, пока нет, но с помощью несложно кода он справится с этой задачей. Программист Крис Грининг смог «научить» свой Iphone распознавать вещи, попадающие под прицел камеры, за считанные секунды.
Разработчик подключил камеру своего iPhone к CoreML – открытой платформе машинного обучения Apple, которая работает по технологии Vision Kit и используется для таких приложений, как камера и Siri.
Грининг описал поэтапный процесс создания кода в своем блоге. Чтобы повторить его эксперимент, вам понадобится смартфон с операционной системой iOS11 (которая все еще находится на стадии бета-тестирования) и бета-версия программы xCode от Apple.
На видео можно заметить, что в большинстве случаев приложение правильно распознает предметы: оно узнало линейку, отвертку и бутылку вина. Интересно, что программа распознает iPhone как устройство Apple, но она на 90% уверена, что это iPod. Среди других предлагаемых вариантов: мобильный телефон, модем и динамик.
Пользователи сети отмечают, что для приложения, которое выполняет всю обработку на смартфоне без отправки данных на сервер, это очень хороший результат. Программа Грининга работает с помощью нейронной сети ResNet50, разработанной исследователями Microsoft. Она включает в себя 1000 категорий, среди которых деревья, животные, транспортные средства, продукты питания и люди.