ChatRTX یک به روز رسانی بزرگ از طریق نسخه ی نمایشی فنی ChatRTX از ماه فوریه است. برای شروع، برنامه دارای بسیاری از بهبودهای پایداری Chat with RTX است که در لبه‌ها کمی خشن به نظر می‌رسید. NVIDIA به طور قابل توجهی LLM های موجود در برنامه را به روز کرده است، از جمله Mistral 7B INT4 و Llama 2 7B INT4. همچنین پشتیبانی برای دارندگان گواهینامه LLM اضافی، از جمله Gemma، یک LLM محلی آموزش دیده توسط Google، بر اساس همان فناوری مورد استفاده برای ساخت مدل پرچمدار جمینی گوگل، اضافه شده است. ChatRTX اکنون از ChatGLM3 برای درخواست‌های انگلیسی و چینی نیز پشتیبانی می‌کند. شاید بزرگترین ارتقای ChatRTX توانایی آن در تشخیص تصاویر روی دستگاه شما باشد، زیرا شامل CLIP (زبان کنتراست و پیش‌آموزش تصویر) از OpenAI است. CLIP یک LLM است که آنچه را که در مجموعه های تصویر می بیند، یاد می گیرد. با استفاده از این ویژگی می توانید بدون نیاز به ابرداده با کتابخانه عکس خود تعامل داشته باشید. ChatRTX نه تنها ورودی متن را دریافت می کند، بلکه می توانید با آن صحبت کنید. اکنون ورودی صدای طبیعی را می‌پذیرد، زیرا مدل NLI گفتار به متن Whisper را ادغام می‌کند.
دانلود: Nvidia Chat RTX
همانند نسخه اصلی Chat with RTX Tech beta، بزرگترین ویژگی برنامه جدید ChatRTX این است که به کاربران اجازه می دهد بین مدل های هوش مصنوعی جابجا شوند یا به آن اجازه می دهد مجموعه داده های خود را بر اساس متن و تصاویر در دستگاه محلی شما بسازد و آموزش دهد. می‌توانید آن را به پوشه‌ای که حاوی اسنادی مانند متن ساده، Word (doc) و فایل‌های PDF و همچنین تصاویر است اشاره کنید. خود را برای پاسخ دادن به سؤالات مربوط به مجموعه داده آموزش می دهد.
هنوز محدودیت‌های عمده‌ای در ChatRTX وجود دارد که امیدواریم از زمان انتشار آن در فوریه برطرف شود، و این زمینه است – توانایی پرسیدن سؤالات بعدی. ظاهراً اجرای پیگیری‌ها دشوارتر از آن چیزی است که به نظر می‌رسد، زیرا مدل باید سؤال جدید را به سؤالات قبلی و پاسخ آن به آنها پیوند دهد. او همچنین در تخصیص پاسخ های خود به کادرهای متنی صحیح نادقیق است. فرانت‌اند مبتنی بر مرورگر فقط از کروم و اج پشتیبانی می‌کند و با فایرفاکس سازگار نیست.
