MedElevator Войти в исследования
← Поиск публикаций

DOI 10.1016/j.dib.2026.113140

Медицинская библиотека · Data in brief · 2026

AryWiki-Instruct: A high-fidelity instruction tuning dataset for Moroccan Arabic (Darija).

Boudakkou Safouane, El Hibaoui Abdelaaziz

СтатьяПеревод в очереди

Аннотация

This article presents AryWiki-Instruct, a high-fidelity instruction tuning dataset for Moroccan Arabic (Darija), comprising 46,590 Question and Answer (QA) pairs. The dataset was derived from a snapshot of the Moroccan Arabic Wikipedia (arywiki) and generated using the Gemini-2.5-Flash model via a Context Aware batch processing architecture. The data creation process involved parsing raw XML Wikipedia dumps, filtering for script consistency and token density, and applying a Context Injection generation strategy to prevent coreference ambiguity. To ensure high information density, the raw generated output (82,500 pairs) was subjected to a rigorous automated quality assurance pipeline. This pipeline utilized a hierarchical trigger confirmation algorithm to remove repetitive administrative census noise and employed composite embedding based clustering (multilingual-e5-large) for semantic deduplication. The final dataset is formatted as a JSONL file, providing paired instructions and responses alongside their taxonomic categories. This dataset provides a native first culturally grounded resource designed to facilitate the supervised fine tuning of Large Language Models (LLMs) in Maghrebi dialects, circumventing the syntactic limitations of translated English instruction sets.

Для цитирования: Boudakkou Safouane, El Hibaoui Abdelaaziz. AryWiki-Instruct: A high-fidelity instruction tuning dataset for Moroccan Arabic (Darija).. Data in brief. 2026. DOI: 10.1016/j.dib.2026.113140.
Подготовка и перевод публикации
Обработка статьи · этапы, ошибки и управление
Загрузка состояния…

История · было → стало

Состояние обновляется каждые 5 секунд, пока блок открыт. Процент показывается только там, где известен объём работы. Пауза останавливает продолжение этапа; текущий запрос к источнику может завершиться.

Тип публикации указан по данным источника. Уровень доказательности автоматически не присваивается.