Команда MacPaw створила AI-платформу для автономної роботи з Mac-інтерфейсами
Українська продуктова компанія MacPaw створила створила AI-платформу GUIrilla, яка автоматично збирає дані про інтерфейси Mac-застосунків, щоб навчати штучний інтелект працювати з ними. Вона може самостійно натискати кнопки, заповнювати форми та орієнтуватися в програмах без участі людини.
Розробку представили на DATA-FM Workshop у межах ICLR 2026 (світова конференція у сфері машинного навчання). Для DOU у компанії розповіли, як працює платформа.
📌 Чому створили GUIrilla
GUIrilla вирішує проблему, яка довго стримувала розвиток desktop AI на macOS — відсутність відкритих даних для навчання моделей, кажуть у MacPaw. Більшість наявних датасетів майже не включають Mac, зазначає Research Manager MacPaw Марія Гірна:
«У найбільшому публічному датасеті для десктопних AI-досліджень, OS-ATLAS, macOS представлена лише у 0,06% від усіх зразків. Великі компанії, можливо, мають власні закриті дані, зібрані вручну, але для академічної спільноти та незалежних дослідників ці ресурси недоступні. Збирати все вручну дорого і практично нереально масштабувати», — каже спеціалістка.
Щоб це змінити, команда автоматизувала збір таких даних. GUIrilla самостійно встановлює застосунки, взаємодіє з ними, робить скріншоти та збирає структурні метадані інтерфейсу.
«Це текстовий опис того, що є на екрані: які кнопки присутні, що вони роблять, як елементи пов’язані між собою. Це та сама інформація, яку Apple розробила для технології accessibility, щоб screen reader міг описати інтерфейс голосом, але вона також необхідна для навчання AI-моделей, які мають розуміти і взаємодіяти з інтерфейсами без візуальної інтерпретації», — каже Марія Гірна.
📌 Для чого потрібна ця розробка
У результаті роботи MacPaw Research створили датасет GUIrilla-Task — понад 27 тисяч сценаріїв взаємодії у більш ніж 1100 застосунках.
Окремо команда відкрила бібліотеку macapptree — інструмент на Python, який дозволяє будь-якому розробнику чи досліднику отримати структурну інформацію про будь-який Mac-застосунок кількома рядками коду.
«Такої кількості macOS-інтерфейсів, які є у відкритому доступі, ніхто раніше не публікував», — додає Марія Гірна.
Приклад структур інтерфейсу, які збирає GUIRILLA
У компанії пояснюють, що це частина ширшої трансформації. Director of AI and Research у MacPaw Сергій Кривоблоцький у коментарі для DOU зазначив, що розвиток досліджень є ключовим для цієї стратегії, бо одним із головних завдань R&D є створення складного, технологічного IP, що має дати конкурентні переваги на AI-ринку.
