Kurum içi model çalıştırmak

Yapay zekâyı kurumsal işe sokarken sorulan ilk sorulardan biri verinin nereye gittiğidir. Bir model çağrısı yapıldığında, soru ve ilgili bağlam modelin çalıştığı yere gönderilir. Model bir bulut sağlayıcısındaysa, o veri de kısa süreliğine kurumun dışına çıkar. Bazı kurumlar için bu kabul edilebilir bir durumdur; bazıları için değildir.

Verinin yeri ile modelin yeri aynı şey değildir

Bu konuda iki ayrı soruyu ayırmak gerekir. Birincisi iş verisinin nerede durduğudur: kayıtlar, dosyalar, hafıza. İkincisi modelin nerede çalıştığıdır.

Hexense kendi sunucunuza kurulduğunda iş verisi ve dosyalar kendi ağınızda durur. Bugün cevapları üreten modeller ise dış sağlayıcılara aittir; model çağrısı sırasında ilgili bağlam ağınızdan çıkar. Kendi sağlayıcı anahtarlarınızı bağlayarak bu çağrıları kendi sözleşmeniz altında yürütebilirsiniz. Modelin de bina içinde çalışması ise ayrı bir karardır ve kendi artıları ile eksileri vardır.

Kurum içi model ne zaman anlamlıdır?

• Gizlilik ve mevzuat: Verinin kurum dışına hiç çıkmaması gereken alanlarda, örneğin kişisel veri ya da ticari sır içeren işlerde, model çağrısının da içeride kalması gerekir.

• Öngörülebilir maliyet: Yoğun ve tekrar eden işlerde, çağrı başına ödeme yerine sabit bir altyapı maliyeti daha öngörülebilir olabilir.

• Gecikme ve bağlantı: Ağ bağlantısının sınırlı olduğu ya da yanıt süresinin kritik olduğu sahalarda yerel model işi hızlandırabilir.

Bedeli nedir?

Kurum içi model bedelsiz bir seçenek değildir. Donanım, kurulum ve işletim gerektirir. Yerelde çalıştırılabilen modeller, en güçlü bulut modellerinin her işte yerini tutmaz; karmaşık akıl yürütme gerektiren işlerde fark belirginleşebilir. Modellerin güncel tutulması da ayrı bir sorumluluktur.

Bu yüzden soru çoğu zaman “ya hep ya hiç” değildir. Hangi işin hangi modelde yapılacağına göre karar vermek gerekir.

Tek bir modele değil, bir politikaya karar vermek

Hexense’in model geçidi her isteği önce sınıflandırır, ardından maliyet, hız ve yetkinliğe göre uygun modele yönlendirir. Bu yaklaşım kurum içi modelle birlikte daha da anlam kazanır: hassas veri içeren işler içeride kalırken, hassasiyeti düşük ama güç gerektiren işler kurumun izin verdiği dış modellere gidebilir. Kural, kullanıcının o anki tercihine değil, kurum politikasına bağlıdır.

G-Box

Hexense bu ihtiyaç için G-Box’ı hazırlıyor: yerel model çalıştıran ve şirket ağına yerleşen bir donanım. G-Box ile modelin kendisi de bina içinde kalacak; kurumun yüküne ve gizlilik seviyesine göre yapılandırılıp teslim edilecek. Güncel durumu platform sayfasındaki “Bugün nerede” bölümünde paylaşıyoruz.

Kararı nasıl verirsiniz?

Başlangıç için üç soru yeterlidir: Hangi veri türleri kurum dışına hiç çıkmamalı? Bu verilerle yapılan işler ne kadar sık ve ne kadar karmaşık? Hangi işlerde en güçlü modelin yetkinliğine gerçekten ihtiyaç var? Bu soruların cevabı, hangi işin içeride, hangisinin dışarıda yapılacağını belirleyen politikanın ilk taslağıdır.