Optimizing Temperature Settings In Large Language Models For Enhanced Patient Understanding In Orthodontic Treatment

INTRODUCTION: This study aimed to integrate an orthodontic resource set into a general-purpose language model and evaluate the chatbot's responses to orthodontic treatment questions at various temperature settings.
METHODS: An orthodontic chatbot was customized using the OpenAI on Microsoft Azure. PDF resources on orthodontic treatments were incorporated. Forty questions were posed to the chatbot at temperature settings of 0, 0.5, and 1.0. Responses were evaluated based on "level of detail," "fluency," and "user-focused understandability" using a three-point scale. Readability was assessed with the Flesch-Kincaid Grade Level (FKGL) and Gunning Fog Index. Statistical analyses were performed using Kruskal-Wallis and Mann-Whitney U tests.
RESULTS: The highest scores for 'user-focused understandability,' 'fluency,' FKGL, and Gunning Fog indices were observed at a temperature setting of 1.0. The average Flesch-Kincaid Grade Level indicated a 10th-grade reading level. Significant differences among all three temperature settings were found for the 'level of detail' and 'user-focused understandability' criteria (p < 0.001 and p < 0.025, respectively). Post-hoc analyses revealed that, for the 'level of detail' criterion, the significant difference was between the temperature setting of 0 and the other two settings.
DISCUSSION AND CONCLUSION: Temperature settings affect the content and linguistic features of responses. Lower temperatures enhance detail and comprehensiveness, whereas higher temperatures improve fluency and understandability.

Keywords: Large language model, patient education, orthodontics, temperature.

Büyük Dil Modellerinde Temperature Ayarlarının Hastaların Ortodontik Bilgiyi Anlama Düzeyini Artırmaya Yönelik Optimizasyonu

GİRİŞ ve AMAÇ: Bu çalışmanın amacı, genel amaçlı bir dil modeline ortodontiyle ilgili kaynakları entegre ederek, sohbet robotunun farklı temperature ayarlarında verdiği yanıtların içerik ve dil özelliklerini değerlendirmektir.
YÖNTEM ve GEREÇLER: Microsoft Azure platformunda OpenAI kullanılarak ortodonti alanına özgü sohbet robotu geliştirildi. Sisteme ortodontik tedaviye dair PDF kaynaklar entegre edildi. Chatbota 0, 0.5 ve 1.0 temperature ayarlarında toplam kırk soru yöneltildi. Yanıtlar, üç puanlı ölçekle “detay düzeyi”, “akıcılık” ve “kullanıcı odaklı anlaşılabilirlik” açısından değerlendirildi. Okunabilirlik için Flesch-Kincaid Grade Level (FKGL) ve Gunning Fog İndeksi kullanıldı. İstatistiksel analizler Kruskal-Wallis ve Mann-Whitney U testleriyle yapıldı (p < 0.05).
BULGULAR: "Kullanıcı odaklı anlaşılabilirlik", "akıcılık", FKGL ve Gunning Fog indeksleri için en yüksek skorlar 1.0 temperature ayarında gözlemlenirken, "detay düzeyi" kriteri için en yüksek skor 0 temperature ayarında elde edildi. Ortalama Flesch-Kincaid Sınıf Düzeyi, yaklaşık olarak lise ikinci sınıf (10. sınıf) seviyesinde bir okunabilirlik gösterdi. "Detay düzeyi" ve "kullanıcı odaklı anlaşılabilirlik" kriterlerinde üç temperature ayarı arasında anlamlı farklılıklar tespit edildi (sırasıyla p < 0.001 ve p < 0.025). Post-hoc analizler, "detay düzeyi" kriteri açısından anlamlı farklılığın, temperature 0 ile diğer iki temperature ayarı arasında olduğu belirlendi.
TARTIŞMA ve SONUÇ: Temperature ayarı, yanıtların içeriğini ve dil özelliklerini önemli ölçüde etkilemektedir. Düşük temperature detay düzeyini artırırken, yüksek temperature anlaşılabilirliği geliştirmektedir.

Anahtar Kelimeler: Büyük dil modeli, hasta eğitimi, ortodonti, temperature.