Günümüzde tarayıcı aracıları geliştiren mühendisler, denetleyemedikleri kapalı API'ler ile altında eğitimli bir model bulunmayan açık ağırlıklı çerçeveler arasında bir seçim yapmak zorunda kalıyor. Ai2 şimdi üçüncü bir seçenek sunuyor.
Açık kaynaklı OLMo dil modelleri ve Molmo görsel dil ailesinin arkasındaki Seattle merkezli kar amacı gütmeyen kuruluş, bugün 4 milyar ve 8 milyar parametre boyutlarında mevcut olan açık ağırlıklı bir görsel web aracısı olan MolmoWeb'i piyasaya sürüyor.
Şimdiye kadar hiçbir açık ağırlıklı görsel web aracısı, denetlemek veya yeniden üretmek için gereken eğitim verileri ve boru hattı ile birlikte gönderilmedi. MolmoWeb yapar.
Ekteki veri seti MolmoWebMix, 1.100'den fazla web sitesinde 30.000 insan görevi yörüngesi, 590.000 bireysel alt görev gösterimi ve 2,2 milyon ekran görüntüsü soru-cevap çifti içeriyor – Ai2, şimdiye kadar bir araya getirilmiş en büyük kamuya açık insan web görevi yürütme koleksiyonu olarak tanımlıyor.
"Görüntüleri sadece pasif bir şekilde anlamaktan, tanımlamaktan ve altyazı eklemekten, onları bir ortamda gerçekten harekete geçirmeye geçebilir misiniz?" Ai2'de kıdemli araştırmacı bilim adamı olan Tanmay Gupta VentureBeat'e konuştu. "İşte MolmoWeb tam olarak bu. "Nasıl çalışıyor? Sizin gördüklerinizi görüyorMolmoWeb tamamen tarayıcı ekran görüntülerinden çalışıyor. HTML'yi ayrıştırmaz veya bir sayfanın erişilebilirlik ağacı temsillerine güvenmez. Her adımda bir görev talimatı, mevcut ekran görüntüsü, önceki eylemlerin bir metin günlüğü ve mevcut URL ve sayfa başlığını alır. Muhakemesini açıklayan doğal dilde bir düşünce üretir, ardından bir sonraki tarayıcı eylemini gerçekleştirir – ekran koordinatlarına tıklama, metin yazma, kaydırma, bir URL'ye gitme veya sekmeleri değiştirme.
Model tarayıcıdan bağımsızdır. Yalnızca bir ekran görüntüsü gerektirir, yani yerel Chrome, Safari veya barındırılan bir tarayıcı hizmetinde çalışır. Barındırılan demo, bir bulut tarayıcı altyapısı başlangıcı olan Browserbase'i kullanıyor. Çalışmasını sağlayan veri setiModel ağırlıkları Ai2'nin yayınladıklarının sadece bir parçası. Eşlik eden eğitim veri seti MolmoWebMix, bugün mevcut olan diğer tüm açık ağırlıklı ajanlardan temel farklılaştırıcıdır.
Gupta, "Veriler temel olarak bir dizi ekran görüntüsü ve bu ekran görüntüleri dizisinin arkasındaki amacın ne olduğuna dair talimatlarla eşleştirilmiş eylemler gibi görünüyor" dedi.
MolmoWebMix üç bileşeni bir araya getirir.
İnsan gösterimleri. İnsan yorumcular, 1.100'den fazla web sitesindeki eylemleri ve ekran görüntülerini kaydeden özel bir Chrome uzantısını kullanarak tarama görevlerini tamamladı. Sonuç, 590.000'den fazla bireysel alt görev gösterimini kapsayan 30.000 görev yörüngesidir.
Sentetik yörüngeler. Ai2, tek başına insan açıklamasının sağlayabileceğinin ötesine geçmek için, metin tabanlı erişilebilirlik ağacı aracılarını kullanarak ek yörüngeler oluşturdu – görev başarısı için filtrelenen tek aracılı çalışmalar, görevleri alt hedeflere ayıran çok aracılı boru hatları ve yüzlerce web sitesinde deterministik gezinme yolları. Kritik olarak, hiçbir tescilli görsel aracı kullanılmamıştır. Sentetik veriler OpenAI Operator veya Anthropic'in bilgisayar kullanım API'sinden değil, yalnızca metin sistemlerinden geldi.
GUI algılama verileri. Üçüncü bir bileşen, modeli doğrudan görüntülerden sayfa içeriğini okumak ve muhakeme etmek için eğitir. Yaklaşık 400 web sitesinden alınan, element temellendirme ve ekran görüntüsü tabanlı muhakeme görevlerini kapsayan 2,2 milyondan fazla ekran görüntüsü soru-cevap çifti içerir.
Gupta, "Bir görevi yerine getirebiliyorsanız ve bundan bir yörünge kaydedebiliyorsanız, web aracısını bu yörünge üzerinde tam olarak aynı görevi yapması için eğitebilmelisiniz" dedi.MolmoWeb rekabete karşı nasıl duruyorGupta'nın görüşüne göre, tarayıcı aracısı pazarında iki teknoloji kategorisi var.
Birincisi, eğitim veya mimaride görünürlüğü olmayan, yetenekli ancak kapalı API-only sistemlerdir. OpenAI Operator, Anthropic'in bilgisayar kullanım API'si ve Google'ın Gemini bilgisayar kullanımı bu gruba girmektedir.
İkincisi, önemli ölçüde daha küçük bir kategori olan açık ağırlıklı modellerdir. En yaygın olarak benimsenen açık alternatif olan tarayıcı kullanımı, eğitimli bir modelden ziyade bir çerçevedir. Geliştiricilerin kendi LLM'lerini tedarik etmelerini ve ajan katmanını üstüne inşa etmelerini gerektirir.
MolmoWeb, tamamen eğitilmiş açık ağırlıklı bir görüş modeli olarak ikinci kategoride yer alıyor. Ai2, dört canlı web sitesi kıyaslamasında bu grupta lider olduğunu bildiriyor: WebVoyager, Online-Mind2Web, DeepShop ve WebTailBench. Ai2'ye göre, GPT-4o üzerine inşa edilen eski API tabanlı aracılardan erişilebilirlik ağacı artı ekran görüntüsü girdisi ile daha iyi performans gösteriyor.
Ai2, sürümdeki bazı mevcut sınırlamaları belgelemektedir. Model zaman zaman okuma hataları yapıyor
