Sony Research は、AI Singapore と提携して、Southeast Asian Languages in One Network (SEA-LION) 人工知能モデルのテストと微調整を行いました。
オープンソース LLM は 9,810 億の言語トークンでトレーニングされています。
AISG はこれを、トークン化プロセス中にテキストを分解して作成された断片化された単語と定義しています。
インドの言語のトレーニングも行います。
タミル語人口は世界中で 6,000 万人から 8,500 万人と推定されています。
ベストプラクティスを共有するAISGのシニアディレクター、レスリー・テオ氏は、これは共有環境内でハラスメントの被害者を特定するのに役立つ可能性があると述べた。
コメント