Как бороться с дублями в Elasticsearch при использовании FluentD читайте в этой статье на Хабре.