Bir web sitesinin veya uygulama arayüzünün görüntülerini analiz edip, görsel verileri doğrudan işlevsel koda dönüştüren “Screenshot-to-Code” (ekran görüntüsünden koda) adlı yeni bir yapay zeka aracı geliştirildi.
Bağımsız bilgisayar korsanı Abi Raja tarafından tasarlanan bu araç, Vision ile görsel girdileri işleyebilen ve DALL-E 3 ile çıktıları üretebilen GPT-4’ün gücünden yararlanıyor.
HTML, Tailwind CSS, React, Vue veya Bootstrap gibi formatlara dönüştürme yeteneği olan bu araç, web sitelerinin veya uygulama arayüzlerinin tasarımlarını hızlı bir şekilde kodlara çevirebiliyor.
Startup Runway’in kurucu ortağı ve Sandbox VR‘nin yönetim kurulu üyesi Siqi Chen, yapay zekanın bu süreçte kodu aşamalı olarak iyileştirdiğini ve doğruluğunu sağlamak için sürekli olarak ekran görüntüsüyle karşılaştığını belirtiyor.
Chen’in paylaştığı bir video örneğinde, model etkileyici bir şekilde YouTube ana sayfasının anlık görüntüsünü tarayarak, yapay zeka tarafından oluşturulan resimlerle küçük resimleri değiştirip düzeni yeniden oluşturuyor.
DALL-E’yi devre dışı bırakma seçeneği olan bu araç, yalnızca koda odaklanan kullanıcılar için de uygun. Ekran görüntüsü yerine URL paylaşma seçeneği de mevcut.
screenshot-to-code:
upload a screenshot of any website, watch as AI progressively builds the html, iteratively improving the generated code by comparing it against the screenshot repeatedly. pic.twitter.com/TCrbJj3VS0
— Siqi Chen (@blader) November 21, 2023
Screenshot-to-Code’un temelinde bir React/Vite ön ucu ve bir FastAPI arka ucu bulunuyor. Başlamak için GPT-4 Vision’a ve OpenAI’den bir API anahtarına erişim gerekiyor. Bu inovatif araç GitHub’da açık kaynak olarak barındırılıyor, bu da herkesin kullanımına açık olduğu anlamına geliyor.
Ancak, bu tür yapay zeka uygulamalarının tam anlamıyla kusursuz olmadığı ve zaman zaman hatalar içerebileceği unutulmamalı. Bu nedenle, ekran görüntüsünden kod’a yöntemi, yalnızca yineleme aşamasına katılan bir araç olarak değerlendirilmeli.
Bu tür araçların, geliştiriciler ve tasarımcılar için karmaşık görevleri basitleştirmesi ancak aynı zamanda yapay zekanın hızla insan yeteneklerini yakalama ve fikri mülkiyet konularında endişelere yol açması muhtemel. Her durumda, kullanım öncesinde uygun izinlerin ve hakların sağlandığından emin olunmalı.