Giskard'ın açık kaynak çerçevesi, yapay zeka modellerini üretime aktarılmadan önce değerlendiriyor - Dünyadan Güncel Teknoloji Haberleri

Giskard'ın açık kaynak çerçevesi, yapay zeka modellerini üretime aktarılmadan önce değerlendiriyor - Dünyadan Güncel Teknoloji Haberleri
Gelecekte tüm düzenleyici özellikleri buraya koyacağız” dedi Combessie


Giskard büyük dil modelleri için açık kaynaklı bir test çerçevesi üzerinde çalışan bir Fransız girişimidir

“Daha önce Dataiku’da özellikle NLP model entegrasyonu konusunda çalıştım Örneğin, IPCC’nin en son raporuna dayanarak size iklim değişikliği hakkında bilgi verebilecek bir sohbet robotu oluşturuyorsanız ve OpenAI’den bir LLM kullanıyorsanız Giskard testleri, modelin iklim değişikliği hakkında yanlış bilgi üretip üretmediğini, kendisiyle çelişip çelişmediğini kontrol edecektir Yapay zeka modelleri geliştiren şirketlerin, ağır para cezaları ödememek için bir dizi kurala uyduklarını ve riskleri azalttıklarını kanıtlamaları gerekecek

Resim Kredisi: Giskard

Giskard’ın ikinci ürünü, büyük bir dil modelinde hata ayıklamanıza ve onu diğer modellerle karşılaştırmanıza yardımcı olan bir yapay zeka kalite merkezidir RAG üzerinde çalışan şirketler, test paketinin mümkün olduğu kadar alakalı olması için Giskard’a vektör veritabanlarına ve bilgi havuzlarına erişim verebilir Bu kalite merkezi Giskard’ın bir parçasıdır prim teklifi

Kullanım durumlarının düzenlenmesi

Yapay zeka modellerini düzenlemenin birkaç yolu vardır , vesaire

Şirketin üçüncü ürününe LLMon adı veriliyor



genel-24

İlk olarak şirket piyasaya çıktı açık kaynaklı bir Python kütüphanesi bir LLM projesine ve daha spesifik olarak erişimle artırılmış nesil (RAG) projelerine entegre edilebilir

“Ve bunun birkaç yönü var: performans yönüne sahip olacaksınız ki bu, bir veri bilimcinin aklına gelen ilk şey olacaktır

“Yapay Zeka Kalite Merkezi’ni Banque de France ve L’Oréal gibi şirketlere, hata ayıklamalarına ve hataların nedenlerini bulmalarına yardımcı olmak için satmaya başlıyoruz Testlerden sorumlu olduğum dönemde, bunları pratik durumlara uygulamak istediğinizde her iki şeyin de iyi sonuç vermediğini ve tedarikçilerin performanslarını birbirleriyle karşılaştırmanın çok zor olduğunu görebiliyordum Ancak hem marka imajı açısından hem de artık düzenleyici açıdan bakıldığında etik yönü giderek daha fazla ortaya çıkıyor,” dedi Combessie Combessie, “LLM’lerdeki müşterilerle çok açık bir pazar uyumu görüyoruz, bu nedenle piyasadaki en iyi LLM antivirüs yazılımı olmak için ekibin boyutunu kabaca iki katına çıkaracağız” dedi Yanıt kullanıcıya geri gönderilmeden önce en yaygın sorunlara (toksisite, halüsinasyon, doğruluk kontrolü…) ilişkin LLM yanıtlarını değerlendirebilen gerçek zamanlı bir izleme aracıdır

İlk kurulumdan sonra Giskard, modelinizde düzenli olarak kullanılacak bir test paketi oluşturmanıza yardımcı olur

Giskard’ın test çerçevesinin arkasında üç bileşen bulunmaktadır Gelecekte girişim, bir modelin düzenlemelere uygun olduğunu kanıtlayan belgeler üretebileceğini umuyor GitHub’da zaten oldukça popüler ve Hugging Face, MLFlow, Weights & Biases, PyTorch, Tensorflow ve Langchain gibi ML ekosistemlerindeki diğer araçlarla uyumlu ile entegrasyonlar üzerinde çalışıyor

Geliştiriciler daha sonra testleri sürekli entegrasyon ve sürekli teslim (CI/CD) hattına entegre edebilir, böylece kod tabanında yeni bir yineleme olduğunda testler çalıştırılır ” Giskard’ın kurucu ortağı ve CEO’su Alex Combessie bana söyledi

Testler, modelin son kullanım durumuna göre özelleştirilir Bu testler; performans, halüsinasyonlar, yanlış bilgilendirme, gerçek dışı çıktılar, önyargılar, veri sızıntısı, zararlı içerik üretimi ve hızlı enjeksiyonlar gibi çok çeşitli konuları kapsamaktadır Örneğin, bir sorun varsa geliştiriciler GitHub depolarında bir tarama raporu alırlar Yapay zeka ekosistemindeki insanlarla yapılan görüşmelere dayanarak, Yapay Zeka Yasasının OpenAI, Anthropic, Mistral ve diğerlerinin temel modellerine mi yoksa yalnızca uygulamalı kullanım senaryolarına mı uygulanacağı hala belirsiz

Giskard, düzenlemeyi benimseyen bir yapay zeka girişimidir ve özellikle daha verimli bir şekilde test etmeye odaklanan bir geliştirici aracının ilk örneklerinden biridir

Şu anda OpenAI’nin API’lerini ve LLM’lerini temel model olarak kullanan şirketlerle çalışıyor ancak şirket Hugging Face, Anthropic vb

Yapay zeka modelleri etrafında çok fazla abartılı reklam olsa da, AB’de Yapay Zeka Yasası ile düzenlemenin yürürlüğe girmesi ve diğer ülkelerde de ML test sistemleri hızla gündemdeki bir konu haline gelecektir

İkinci durumda, Giskard, geliştiricileri harici verilerle zenginleştirilmiş LLM’lerin (ya da yapay zeka araştırmacılarının söylediği gibi, erişimle artırılmış nesil, RAG) olası kötüye kullanımları konusunda uyarmak için özellikle iyi konumlandırılmış görünüyor

Şu anda Giskard için çalışan 20 kişi var Geliştiricileri önyargı riskleri, güvenlik açıkları ve bir modelin zararlı veya toksik içerik üretme yeteneği konusunda uyarabilir