Join our vibrant community of talented individuals, where your attention to detail and computer skills are essential for shaping the future of AI data projects. You can work from home, even in your pajamas, and take
Roles and Responsibilities: データ収集のパイプラインや基盤の構築をメインで担当する役割になり、インターネット上にある非構造化のデータを収集、クレンジング、モデリングしプロダクト利用可能な状態にする等の活動をしています。データ収集システムもすべてフレームワーク化しており都度都度0から作るのではなく、入力と出力を合わせるだけでデータのクレンジングやモデリングが自動で走る仕組み等を構築しております 最近ではデータのサイズも大きくなり、データプラットフォームの構築や分散システムを導入して分析等も実際にデータエンジニアリングチームで行っているので、希望すればデータアナリティクスやサイエンスの領域にも関われる環境です。特にLLMの活用に力を入れており、如何にLLMを使い難しい非構造化データを処理できるかを検証するプロジェクト等もあったりします My main role is to build the pipeline and infrastructure for data collection, and I collect unstructured data on the internet, cleanse it, model it, and make it available for products.
