اشتهر في السنوات الأخيرة عدد من الخوارزميات التي تعتمد أسلوبا يطلق عليه التدريب المسبق (Pre-training)، وهي عملية تقوم على تدريب الخوارزمية على كمية ضخمة من البيانات العامة، والتي تشمل عددا من المجالات والموضوعات العلمية بل والحياتية، ومن ثم يتم إعادة ضبط الخوارزمية على مجال أو موضوع واحد ومحدد. وتعد «بيرت» (BERT) من أشهر هذه الخوارزميات، التي تم تطويرها من قبل الباحث جيكوب ديفلين (Jacob Devlin) في معامل شركة جوجل (Google) للذكاء الاصطناعي، مع عدد من الباحثين في عام 2018. التدريب المسبق للخوارزميات، يعني بشكل أو بآخر، أن الخوارزمية يتم تدريبها في البداية على بيانات عامة، ومن ثم يتم استخدام خبرة تلك الخوارزمية العامة لتحليل بيانات خاصة. غير أنه يبدو أن الغالبية العظمى من الخوارزميات التي تعمل بنظام التدريب المسبق، تم تطويرها في مجال تحليل النصوص المكتوبة، سواء على منصات التواصل الاجتماعي أو على صفحات الإنترنت بشكل عام، وهذا النجاح في مجال تحليل النصوص قاد إلى محاولة تصميم خوارزمية تحليل للصور، تعمل بذات الطريقة، أي بأسلوب التدريب المسبق، ومن هذه المحاولات خوارزمية فيجيوال بيرت (VISUALBERT) والتي أطلق عليها اسم مشابه للخوارزمية سابقة الذكر، وهي من تطوير الباحث ليونيان هارلود لي (Liunian Harold Li) في جامعة كاليفورنيا (University of California) مع فريق بحثي في عام 2019. خوارزمية فيجيوال بيرت تعمل بنظام التدريب المسبق على الصور، ولكن هناك نقطة يجدر ذكرها، وهي أن هذه الخوارزمية يلزمها أيضاً بيانات نصية لتكمل عملية التدريب، أي أنها تحتاج لبيانات مشابهة لتلك التي تستخدمها خوارزمية بيرت الأساسية. عملية التطوير في مجال الخوارزميات، الهدف منها زيادة كفاءة أدائها، سواء في مرحلة البناء أو مرحلة الاستخدام، وهذا يتم للنصوص أو الصور على حد سواء، ولكن في الحالات كخوارزمية الباحث ليونيان، فإن عملية التدريب المسبقة تتم مرتين، الأولى للبيانات النصية، والثانية للصور، وهذه العملية تستهلك كثيرا من الموارد، ولذا قام فريق بحثي آخر بالشركة الصينية علي بابا (Alibaba) يقوده الباحث هايانج شو (Haiyang Xu) في عام 2021 بتصميم خوارزمية تدريب مسبق، ولكنها هذه المرة تقوم باستقبال النصوص والصور في آن واحد، ومن ثم في مرحلة أخرى وكبقية خوارزميات التدريب المسبق، يمكنها تكييف مخرجاتها لتستهدف مجالا محددا. خوارزمية الباحث هايانج حققت توفيرا في موارد التدريب، إضافة إلى أن أداءها كان أفضل من بقية الخوارزميات التي تعمل في نفس المجال.
