Lucene.Net Поиск имени файла/пути

Моя первая попытка с Lucene.Net

У меня есть индекс с 500 документами (html и pdf) с некоторыми полями, такими как URL, содержание, заголовок

Все работает нормально, когда я ищу по содержимому и/или заголовку
Но когда я ищу URL-адрес, я не получаю результатов.

Итак, я нашел URL-адрес типа «/tlfdi/epapers/datenschutz2016/files/assets/common/downloads/page0004.pdf», но не «page0004.pdf»
Также с «*» он не работает.

Индекс и поиск используют WhitespaceAnalyzer. С StandardAnalyzer я не получил результатов при поиске «/kontakt/index.aspx».

Поиск:

  WhitespaceAnalyzer analyzer = new WhitespaceAnalyzer();
  MultiFieldQueryParser parser = new MultiFieldQueryParser(Version.LUCENE_30,
    new[] { "url", "title", "description", "content", "keywords" }, analyzer);
  Query query = parseQuery(searchQuery, parser);
    Lucene.Net.Search.ScoreDoc[] hits = (Lucene.Net.Search.ScoreDoc[])searcher.Search(  
      query, null, hits_limit, Sort.RELEVANCE).ScoreDocs;

Кто-нибудь может помочь?


person mMo    schedule 09.12.2016    source источник
comment
Вы говорите, что ваш поисковый запрос page0004.pdf, и вы не получаете результатов?   -  person RamblinRose    schedule 31.12.2016


Ответы (1)


Стандартные анализаторы не будут делать то, что вы хотите, вместо этого вам придется написать собственный токенизатор и анализатор.

Это просто! Нам просто нужно вычеркнуть токенизатор и анализатор.

UrlTokenizer отвечает за генерацию токенов.

// UrlTokenizer delimits tokens by whitespace, '.' and '/'
using AttributeSource = Lucene.Net.Util.AttributeSource;  
public class UrlTokenizer : CharTokenizer
{
    public UrlTokenizer(System.IO.TextReader @in)
        : base(@in)
    {
    }
    public UrlTokenizer(AttributeSource source, System.IO.TextReader @in)
        : base(source, @in)
    {
    }

    public UrlTokenizer(AttributeFactory factory, System.IO.TextReader @in)
        : base(factory, @in)
    {
    }
    //
    // This is where all the magic happens for our UrlTokenizer!
    // Whitespace, forward slash or a period are a token boundary.
    // 
    protected override bool IsTokenChar(char c)
    {
        return !char.IsWhiteSpace(c) && c != '/' && c != '.';
    }
}

UrlAnalyzer использует входные потоки и реализует UrlTokenizer и LowerCaseFilter для поиска без учета регистра.

// Custom Analyzer implementing UrlTokenizer and LowerCaseFilter.
public sealed class UrlAnalyzer : Analyzer
{
    public override TokenStream TokenStream(System.String fieldName, System.IO.TextReader reader)
    {
        //
        // This is where all the magic happens for UrlAnalyzer!
        // UrlTokenizer token text are filtered to lowercase text.
        return new LowerCaseFilter(new UrlTokenizer(reader));
    }
    public override TokenStream ReusableTokenStream(System.String fieldName, System.IO.TextReader reader)
    {
        Tokenizer tokenizer = (Tokenizer)PreviousTokenStream;
        if (tokenizer == null)
        {
            tokenizer = new UrlTokenizer(reader);
            PreviousTokenStream = tokenizer;
        }
        else
            tokenizer.Reset(reader);
        return tokenizer;
    }
}

Итак, вот код, демонстрирующий UrlAnalyzer. Для ясности я заменил MultiFieldQueryParser на QueryParser.

//
// Demonstrate UrlAnalyzer using an in memory index.
//
public static void testUrlAnalyzer()
{     
    string url = @"/tlfdi/epapers/datenschutz2016/files/assets/common/downloads/page0004.pdf";
    UrlAnalyzer analyzer = new UrlAnalyzer();
    Directory directory = new RAMDirectory();
    QueryParser parser = new QueryParser(Lucene.Net.Util.Version.LUCENE_30, "url", analyzer);
    IndexWriter writer = new IndexWriter(directory, analyzer, true, new IndexWriter.MaxFieldLength(2048));
    //
    // index a document. We're only interested in the "url" field of a document.
    //
    Document doc = new Document();
    Field field = new Field("url", url, Field.Store.NO, Field.Index.ANALYZED);
    doc.Add(field);
    writer.AddDocument(doc);
    writer.Commit();
    //
    // search the index for any documents having 'page004.pdf' in the url field.
    //
    string searchText = "url:page0004.pdf";
    IndexReader reader = IndexReader.Open(directory, true);
    IndexSearcher searcher = new IndexSearcher(reader);
    Query query = parser.Parse(searchText);
    ScoreDoc[] hits = searcher.Search(query, null, 10, Sort.RELEVANCE).ScoreDocs;
    if (hits.Length == 0)
        throw new System.Exception("RamblinRose is fail!");
    //
    // search the index for any documents having the full URL we indexed.
    //
    searchText = "url:\"" + url + "\"";
    query = parser.Parse(searchText);
    hits = searcher.Search(query, null, 10, Sort.RELEVANCE).ScoreDocs;
    if (hits.Length == 0)
        throw new System.Exception("RamblinRose is fail!");
}

Lucene.net — хороший материал. Я надеюсь, что этот код улучшит ваше понимание анализа Lucene.

Удачи!

пс. остерегайтесь поиска по подстановочным знакам для решения проблем, это настоящий убийца больших индексов.

person RamblinRose    schedule 30.12.2016