کلان‌پیکره زبان فارسی

از زمان اختراع رایانه انسان همواره علاقه داشته تا بتواند به زبان انسانی با رایانه‌ها گفتگو نماید. تحقیقات و مجاهدت‌های دانشمندان و مهندسین ما را به دانش پردازش زبان انسانی و مدل‌های زبانی بزرگ رساند. مدل‌های زبانی بزرگ با قابلیت‌های شگرف خود انقلابی را در صنعت هوش مصنوعی موجب شده‌اند که باعث تغییر انگاره‌ها در خصوص توانایی‌های ماشین‌ها شده است. مدل‌های زبانی بزرگ نشان داده‌اند که هوش مصنوعی مولد دیگر صرفاً یک موضوع فنی نبوده و می‌بایست علاوه بر نگاه صنعتی و بهره‌مندی از مواهب آن‌ها از سایر مناظر فرهنگی، سیاسی، اعتقادی، اجتماعی و امنیتی نیز مورد توجه قرار بگیرند.

توسعه مدل‌های زبانی بزرگ علاوه بر نیاز به زیرساخت‌های پردازشی و مغزافزار مهندسی، نیازمند دسترسی به دادگان عظیم است. در زبان فارسی تاکنون مجاهدت‌های بسیاری برای تولید داده‌ها صورت گرفته و پیکره‌های متنی فراوانی هم منتشر شده‌اند با این حال اکثریت قریب به اتفاق پیکره‌های ایجاد و منتشرشده دارای اشکالاتی برای بهره گیری جهت آموزش مدل‌های زبانی بزرگ هستند. عمده این اشکالات عبارتند از:

1. اکثریت پیکره‌ها به صورت متن خالص و پیوسته بوده و در نتیجه پیوستگی موضوعی متون از دست رفته است.
2. در اکثریت پیکره‌ها متن به جملات شکسته شده و پیوستگی پاراگراف‌ها از دست رفته است
3. بیشتر پیکره‌ها با توجه به نیاز و نظر منتشرکننده نرمال‌سازی شده و بخشی از اطلاعات را از دست داده است.
4. حوزه پوشش پیکره‌ها تنوع کاملی از زبان فارسی را در بر ندارد
5. حجم پیکره‌ها نسبت به حجم پیکره‌های مورد استفاده در سایر زبان‌ها محدود است.

با هدف رفع این مشکلات و ایجاد یک پیکره متنی استاندارد که توانایی استفاده از آن در انواع وظایف مبتنی بر پردازش زبان طبیعی فارسی وجود داشته باشد، شرکت پردازش هوشمند ترگمان، اقدام به توسعه خزشگر تخصصی برای خزش و استخراج صحیح محتوا از وب فارسی نموده و با بهره‌گیری از توان حدود ۵۰ سرور در طی مدت ۶ ماه، کلان‌پیکره زبان فارسی را گردآوری کرده است. این پیکره با نام «کلان‌پیکره فارسی ترگمان» (Targoman Large Persian Corpus) در اختیار عموم محققین و توسعه‌دهندگان ایزارهای پردازش زبان فارسی قرار گرفته است این پیکره علاوه بر حجم بسیار زیاد دارای ویژگی‌های منحصر به فردی می‌باشد:

1. هر سند به صورت مستقل ذخیره شده و به ازای هر سند فراداده‌های زیر استخراج و در سند مربوطه ذخیره شده و با استفاده از این فراداده‌ها می توان انواع خروجی‌های مورد نظر را از پیکره بدست آورد:
   • تاریخ
   • عنوان
   • زیرتیتر، روتیتر و خلاصه (هرکدام در صورت وجود)
   • کلمات کلیدی سند (در صورت وجود)
   • لینک تصاویر سند به همراه توضیحات تصویر (در صورت وجود)
   • ساختار پاراگراف‌ها و نوع متن اعم از پاراگراف، توضیح، تیتر، لینک و …
   • ارجاعات سند (در صورت وجود)
   • نظرات مردمی به صورت مستقل از متن اصلی به همراه تاریخ و نام نظر دهنده
2. خروجی به صورت Json که می‌تواند به سهولت و با اسکریپت‌های ارایه شده فیلتر و به متن خام متناسب با نیاز تبدیل شود
3. هر سند در حداقل یک و حداکثر ۳ سطح دسته‌بندی شده و می‌توان به سهولت متن‌های در دسته‌های مختلف را جدا کرد
4. متن محاوره و رسمی از هم تفکیک شده است
5. تنوع بالای حوزه‌های پوشش‌داده شده اعم از خبری، وبلاگ، انجمن‌های گفتگو، فروشگاه، و ...

کلان‌پیکره ترگمان تاکنون از طریق خزش نزدیک به 600 سایت داخلی به حجم مجوع بیش از 37 میلیارد توکن در قالب بیش از 66 میلیون سند در حوزه‌های گوناگون رسیده است. حوزه‌های پوشش داده شده توسط این پیکره از تنوع بالایی برخوردار بوده و شامل حوزه‌های ذیل می‌باشد:

• خبری
• وبلاگ
• قوانین
• ادبیات
• پرسش و پاسخ
• انجمن گفتگو
• مذهبی
• پزشکی
• محاوره
• آموزشی
• مرجع
• و حتی: نی‌نی‌سایت

کلان‌پیکره فارسی ترگمان توسط شرکت پردازش هوشمند ترگمان و بدون هرگونه وابستگی یا دریافت بودجه و امکانات از ارگان یا نهادی دولتی یا غیر دولتی تولید شده و برای تولید آن در طی مدت ۸ ماه بیش از ۵ میلیارد ریال هزینه شده است. به‌روزرسانی داده‌ها نیز در دوره‌های ۳ ماهه انجام خواهد شد.

علاوه بر دادگان، خزشگر تخصصی ترگمان برای گردآوری این پیکره نیز به صورت کاملا متن‌باز و با حق بهره‌برداری از طریق گیت‌هاب در دسترس می‌باشد

https://github.com/Targoman/PersianWebScraper

ساختار داده‌ها

کلان‌داده ترگمان یک داده متنی ساده نیست بلکه شامل تمامی فراداده‌های لازم برای پردازش‌های زبان طبیعی است. داده‌های با ساختار jsonl.gz منتشر شده‌اند تا در هنگام پردازش کمترین میزان حافظه مورد نیاز باشد. هر سطر داده در فایل شامل یک json است که دارای ساختاری مطابق زیر می‌باشد

{
    url: string,                //Article normalized URL
    category: {
        original: string        //Category as specified by the article
        textType: string        //Main content textType, can be: 
                                //   Formal, Informal, Hybrid, Unknown
        major: string           //Major category can be: 
                                //   News, QA (Question & Answer), Literature, 
                                //   Forum, Weblog, SocialMedia, Doc, Undefined
        minor?: string          //Minor category (see source code for list)
        subminor?: string       //Subminor category (see source code for list)
    },          
    date: string,               //Article publish date (if specified)
    title: string,              //Title of the article
    aboveTitle?: string,        //Surtitle or any text provided before Title
    subtitle?: string,          //Subtitle or Lead (if provided)
    summary?: string,           //Summary (if provided)
    content?: IntfText[],       //An array containing main article each item structure will be 
                                //{ text: string, type: enuTextType, ref?: string } 
                                //where ref is just for items provided with a hyperlink
    comments?: IntfComment[]    //An array of comments (if any) in the following structure: 
                                //{ text: string, author?: string, date?: string }
    images?: IntfImage[],       //List of image URLs used in the article with their alt-texts.
                                //{ src: string, alt?: string }
    qa? : {                     //If the site has Question/Answer an array with following structure
        q: IntfComment,         //Question part { text: string, author?: string, date?: string }
        a?: IntfComment[]       //Answers part 
    }[],
    tags?: string[]             //List of tags provided with the article (if any)
}
                    

کاربری‌ها

کلان‌پیکره ترگمان در ابتدا با هدف استفاده در گروه مشارکت توسعه مدل زبانی فارسی متشکل از چهار شرکت پردازش هوشمند ترگمان، داده‌پردازان مبتکر آکام، عصر فناوری دانش و پردازش اطلاعات مالی پارت، اما به صورت مستقل ایجاد شد و پس از بهره‌برداری موفق در توسعه مدل‌زبانی بزرگ پایه برای مراحل بعدی توسعه مدل زبانی از نوع insruction tunning مورد توسعه و گسترش قرار گرفت. در حال حاضر مهمترین بهره‌بردار این پیکره عظیم گروه مشارکت هوش‌آفرین و مجموعه مدل‌های زبانی مورد توسعه در این گروه می باشد

همچنین نسخه محدودی از این پیکره (در حدود ۱۳ میلیارد کلمه) در اختیار مرکز فراداده مرکز ملی فضای مجازی قرار گرفت تا در هکاتون توسعه مدل‌های زبانی بزرگ مورد استفاده قرار گیرد.

حق بهره‌برداری

شرکت پردازش هوشمند ترگمان در راستای مسوولیت اجتماعی و با هدف گسترش فرهنگ آزادرسانی و تقویت هوش مصنوعی در کشور حق بهره‌برداری از این کلان‌پیکره را حق بهره‌برداری قرار داده است. در عین حال این شرکت در تفاهم با ستاد توسعه فناوری‌های هوش مصنوعی و رباتیک معاونت علمی، فناوری و اقتصاد دانش‌بنیان ریاست جمهوری حق بهره‌برداری از این کلان‌پیکره را به عموم ارگان‌های دولتی و شرکت‌های دانش‌بنیان مورد تایید معاونت علمی اعطا کرده است.

مشارکت در توسعه

بدون شک تولید کلان‌پیکره به صورت مستقل کاری بسیار طاقت‌فرسا، پرخطا و هزینه بر است. از این رو مشارکت جمعی می‌تواند موجب تقویت کیفی و کمی این کلان‌پیکره شود. در حال حاضر موضوعات ذیل به صورت اخص نیازمند مشارکت جمعی هستند:

• لایک لایک لایک!: حداقل مشارکت لایک زدن ریپازیتوری در هاگینگ‌فیس است تا پروژه را به جهانیان معرفی کند.
• افزایش لیست سایت‌ها: تاکنون نزدیک به 600 دامنه داخلی در خزشگر پیاده‌سازی شده و مورد خزش قرار گرفته‌اند. بدون شک این تعداد نسبت به تعدادی که می‌تواند خزش شود بسیار اندک است. از این رو ساده‌ترین نوع مشارکت در توسعه این کلان پیکره ارایه لیست سایت‌های مناسب برای خزش در قالب issue در ریپازیتوری پیکره یا ریپازیتوری خزشگر است.
• پیاده‌سازی خزشگر تخصصی سایت‌ها:خزشگر تخصصی به نحوی توسعه داده شده که خزش تخصصی هر سایت را تنها در چند خط میسر می‌کند در نتیجه اگر در کار با وب تبحر دارید می‌توانید برای سایت‌های مد نظر خودتان خزشگر تخصصی را تنظیم و با PR دادن آن را به لیست سایت‌های مورد خزش اضافه کنید.
• شناسایی و گزارش مشکلات پیکره:طبیعی است که با توجه به حجم بالای آدرس‌های خزش‌شده انواع خطاها می‌تواند در پیکره وجود داشته باشد این خطاها می‌توانند انواع مختلفی اعم از خطای شناسایی ابرداده‌ها نظیر تاریخ و غیره و یا شکستن اشتباه جملات و یا تشخیص اشتباه دسته‌بندی متن و غیره باشد. در صورتی که خطا دارای الگوی تکراری باشد آن را گزارش کنید تا در دوره‌های به‌روزرسانی بعدی اصلاح شود. در صورتی که خطا خیلی فاحش باشد خارج از دوره زمانی و به سرعت اصلاح خواهد شد.
• توسعه مبدل‌های متن:با اینکه ساختار jsonl ساختاری است که به سادگی قابل خواندن و تبدیل به متن آموزشی دارد با این حال ممکن است برخی از افراد تازه‌کار توانایی کار با آن را نداشته باشند و بخواهند از قالب متنی ساده استفاده کنند. همچنین برای شناسایی عبارات تکراری در میان سایت‌های مختلف چاره‌ای جز دستیابی به متن ساده وجود ندارد. به همین منظور یکی دیگر از زمینه‌های مشارکت توسعه اسکریپت‌های فیلتر و تبدیل است. لطفا این اسکریپت‌ها را به خزشگر اضافه کنید و PR بدهید

آمار داده‌ها

تا تاریخ ۱۳ اردیبهشت ۱۴۰۳ نزدیک به 600 سایت داخلی مورد خزش قرار گرفته و از این تعداد محتوای 537 سایت بر اساس پیمایش بیش از 208 میلیون آدرس استخراج و منتشر شده است. ماحصل این خزش‌ها گردآوری بیش از 66 میلیون سند حاوی بیش از 37 میلیارد توکن در حوزه‌های مختلف بوده است. آمار جزیی این پیکره در جدول زیر ارایه شده و با کلیک بر روی هر آدرس می‌توانید به جزییات بیشتری از اطلاعات آماری دامنه مذکور دست پیدا کنید. دقت شود که شمارش توکن‌ها بدون استفاده از توکنایزر و صرفا مبتنی بر شمارش فاصله‌ها صورت گرفته در نتیجه آمار نهایی پیکره بیش از آمار ابرازی است.

این آمار به صورت مستمر در حال به روزرسانی است.

دریافت پیکره

کلان‌پیکره ترگمان بر روی آدرس https://huggingface.co/datasets/Targoman/TLPC قرار گرفته و دسترسی به آن نیازمند تایید می‌باشد. برای دریافت حق بهره‌برداری غیر تجاری کافیست در هاگینگ‌فیس اکانت داشته باشید و حداقل لینک به گیت‌هاب شما وجود داشته یا در حوزه LLM فعالیتی وجود داشته باشد.

برای دریافت مجوز بهره‌برداری تجاری هم ابتدا در huggingface درخواست داده و سپس اطلاعات ذیل را به ایمیل oss@targoman.com ارسال فرمایید:

• نام سازمان یا شرکت دانش‌بنیان
• شناسه ملی شرکت یا سازمان
• نام و نام خانوادگی نماینده رسمی
• کد ملی نماینده رسمی
• شماره موبایل نماینده
• تصویر درخواست مهر و امضا‌شده مطابق نمونه odt یا docx
• لوگوی با کیفیت در فرمت PNG با پس‌زمینه سفید

دریافت‌کنندگان حق بهره‌برداری تجاری (8 مجوز)

دریافت‌کنندگان حق بهره‌برداری تحقیقاتی غیر تجاری (147 مجوز)