.NET developer-দের জন্য AI engineering (পর্ব 6): পাদটীকা, retrieval মাপা, hybrid search ও উৎসসহ report

retrieval-এর মান recall আর MRR দিয়ে মাপা, বাংলায় hybrid search, আর report-এর প্রতিটি দাবিতে উৎস বসিয়ে কোড দিয়ে বানানো citation ও বদলানো সংখ্যা ধরা।

15 min readUpdated
রিপোর্টের দুটি দাবিতে ১ ও ২ চিহ্ন, নিচে পাদটীকায় উৎস নথির নাম ও পৃষ্ঠা

পর্ব 5-এর একটি দৃশ্যপট মনে করে দেখুন: আলফা টেকের লভ্যাংশ ঘোষণার রেকর্ড ডেট নিয়ে প্রশ্ন করা হয়েছিল, কিন্তু উত্তর এসেছিল অসম্পূর্ণ বা বিভ্রান্তিকর। কারণ যে নির্দিষ্ট নথির টুকরোটিতে (chunk) আসল তারিখটি লেখা ছিল, সেটি vector search-এর শীর্ষ 4টি ফলাফলের মধ্যেই উঠে আসেনি! অর্থাৎ vector search-এ অর্থগত নৈকট্য মেলে ঠিকই, কিন্তু নির্দিষ্ট সংখ্যা, কোড বা শব্দের রূপভেদে তথ্য মাঝে মাঝেই পিছলে যায়।

এই পর্বে আমাদের প্রকৌশলগত লক্ষ্য মূলত দুটি:

  1. retrieval-এর মান বৈজ্ঞানিক metric দিয়ে মাপা: আমাদের সার্চ পাইপলাইন প্রয়োজনীয় তথ্য কতটা নিখুঁতভাবে উদ্ধার করতে পারছে, তা recall এবং MRR (Mean Reciprocal Rank) দিয়ে পরিমাপ করা; এবং প্রথাগত keyword search-এর সাথে আধুনিক vector search-কে একীভূত করে hybrid search তৈরি করলে সেই স্কোর কতটা বৃদ্ধি পায়, তা বাস্তব ডেটায় যাচাই করা।
  2. অকাট্য প্রমাণসহ grounded report তৈরি: আলফা টেকের পোর্টফোলিও হোল্ডিং নিয়ে একটি পেশাদার report তৈরি করা, যার প্রতিটি একক বাক্যের নিচে সুস্পষ্ট প্রামাণিক সূত্রের রেফারেন্স থাকবে। আমাদের C# কোড সেই রেফারেন্সগুলো পুঙ্খানুপুঙ্খ যাচাই করবে—যাতে model-এর বানানো কোনো অলীক উৎস বা বিকৃত সংখ্যা সিস্টেমে ঢুকতে না পারে।

এই পর্বের কেন্দ্রীয় প্রতীকী সূত্র হলো পাদটীকা (Footnote)। বইয়ের পাতার নিচে যেমন ছোট হরফে তথ্যসূত্রের অকাট্য রেফারেন্স থাকে, আমাদের তৈরি প্রতিটি report-এর প্রতিটি দাবির নিচেও থাকবে সুনির্দিষ্ট প্রমাণ। প্রামাণ্য উৎসবিহীন কোনো দাবি report-এর মূল অংশে স্থান পাবে না।

কোড: এই পর্বের শেষে কোডের অবস্থা github.com/alaminmain/foliolens-এর part-06 tag-এ। নিজের কাছে এনে চালাতে: git checkout part-06 তারপর dotnet test। আগের পর্বের সঙ্গে তফাত দেখতে: git diff part-05 part-06।

কেন

সফটওয়্যার ইঞ্জিনিয়ারিংয়ে "মনে হচ্ছে সিস্টেম ঠিকঠাক চলছে"—এমন অনুমানের ওপর নির্ভর করা চরম বিপজ্জনক। বিশেষ করে RAG আর্কিটেকচারে দুটি সংবেদনশীল দুর্বলতা প্রায়ই চোখ এড়িয়ে যায়:

প্রথমটি হলো retrieval quality: দু-তিনটি test প্রশ্নে সন্তোষজনক উত্তর দেখে আমরা অনেক সময় আত্মতুষ্টিতে ভুগি যে আমাদের সার্চ ইঞ্জিন নিখুঁত। কিন্তু আসল বিপর্যয় ঘটে যেদিন বাস্তব production-এ কোনো গ্রাহক এমন একটি গুরুত্বপূর্ণ প্রশ্ন করেন যার প্রয়োজনীয় chunk-টি আমাদের vector search খুঁজে আনতে সম্পূর্ণ ব্যর্থ হয়।

দ্বিতীয়টি হলো model-এর সূক্ষ্ম hallucination: model অনেক সময় নিজের মতো করে মনগড়া কোনো নথির নাম বানিয়ে ফেলে, আসল সংখ্যার শেষ ডিজিটটি সামান্য বদলে দেয়, কিংবা ডকুমেন্টের উক্তি নিজের মতো মুচড়ে উপস্থাপন করে। খালি চোখে এই ভুলগুলো ধরা প্রায় অসম্ভব।

আমাদের তিন তালা নীতিতে প্রতিটি report-কে তিনটি স্তর পার হতে হয়: প্রথম স্তরে model খসড়া প্রস্তাব করে, দ্বিতীয় স্তরে আমাদের বিশ্বস্ত কোড তা পুঙ্খানুপুঙ্খ যাচাই করে, এবং তৃতীয় স্তরে দায়িত্বশীল মানুষ তা অনুমোদন করেন। পর্ব 5-এর উত্তরদাতা ছিল প্রথম তালা। এই পর্বে আমরা দ্বিতীয় তালা স্থাপন করব, যাতে চূড়ান্ত অনুমোদনের জন্য একটি শতভাগ verified report তৈরি থাকে।

ধারণা 1: retrieval মাপা

সার্চের মান বৈজ্ঞানিকভাবে পরিমাপ করতে হলে আগে একটি মানসম্মত test set তৈরি করতে হয়, যার প্রতিটি প্রশ্নের সঠিক উত্তর আগে থেকেই আমাদের জানা। পর্ব 3-এ আমরা যেভাবে সোনার খাতা দিয়ে model-এর নির্ভুলতা মেপেছিলাম, এটিও ঠিক সেই দর্শনে তৈরি।

এই মূল্যায়ন তালিকার প্রতিটি এন্ট্রিতে থাকে একটি প্রশ্ন, এবং কয়েকটি আবশ্যক বাক্যাংশ—যাকে আমরা বলি evidence phrase। উদাহরণস্বরূপ: প্রশ্ন যদি হয় "আলফা টেকের রেকর্ড ডেট কবে?", তবে তার evidence phrase হলো "রেকর্ড ডেট 15 নভেম্বর 2026"। যে chunk-এর text-এ এই নির্দিষ্ট বাক্যাংশটি উপস্থিত থাকবে, কেবল সেটিকে আমরা সঠিক chunk হিসেবে গণ্য করব।

আমাদের test set-এ মোট 25টি প্রশ্ন সংজ্ঞায়িত: 24টি প্রশ্নের তথ্য নথিপত্রে বিদ্যমান, এবং একটির (ডলারের বিনিময় হার) তথ্য ইচ্ছে করেই অনুপস্থিত রাখা হয়েছে। প্রশ্নগুলোর মধ্যে রয়েছে সরাসরি প্রশ্ন, ঘুরিয়ে করা প্রশ্ন, বানানের তারতম্য (যেমন: ইংরেজি সংখ্যা, "অ্যালফা" বানান), একাধিক chunk-এ ছড়িয়ে থাকা তথ্য এবং ইংরেজি ভাষার প্রশ্ন।

আর্কিটেকচারাল সিদ্ধান্ত: আমরা chunk যাচাই করি chunk ID দিয়ে নয়, বরং evidence phrase দিয়ে। কারণ chunk size-এর নিয়ম বদলালে কাটার সীমানা ও chunk ID বদলে যায়, কিন্তু "রেকর্ড ডেট 15 নভেম্বর 2026" বাক্যাংশটি সর্বদা অপরিবর্তিত থাকে।

পরিমাপের জন্য তিনটি কেন্দ্রীয় মেট্রিক:

  • recall@k: প্রশ্নের জন্য কাঙ্ক্ষিত তথ্যের কত শতাংশ শীর্ষ k-সংখ্যক ফলাফলে উদ্ধার হলো। যদি কোনো প্রশ্নের উত্তরের জন্য 2টি আলাদা chunk প্রয়োজন হয় এবং k=3 ফলাফলে তার মধ্যে 1টি পাওয়া যায়, তবে recall@3 হবে 0.5 (বা 50 শতাংশ)।
  • MRR (Mean Reciprocal Rank): সঠিক chunk-টি সার্চ রেজাল্টের কত নম্বরে উঠে এসেছে তার পারস্পরিক মান (1 ÷ rank)। সঠিক তথ্য 1 নম্বরে এলে স্কোর 1, 2 নম্বরে এলে 0.5, আর তালিকার বাইরে থাকলে 0। এই স্কোরের গড় হলো MRR। সঠিক উত্তর যত ওপরে থাকবে, MRR তত বেশি হবে।
  • context-এর আকার (Context Chars): শীর্ষ k-টি chunk মিলিয়ে মোট কত অক্ষর prompt-এ পাঠানো হচ্ছে। prompt যত দীর্ঘ হবে, token খরচ ও response latency তত বৃদ্ধি পাবে।

মেট্রিক্স সংরক্ষণের জন্য ডেটা স্ট্রাকচার:

public sealed record LabeledQuery(string Id, string Query, IReadOnlyList<string> Evidence, string Kind);
 
/// <param name="Recall">Share of this query's evidence phrases found in the top-k chunks (each phrase inside one chunk).</param>
/// <param name="ReciprocalRank">1 / rank of the first chunk containing any evidence phrase, 0 if none in the top k.</param>
/// <param name="ContextChars">Total characters of the top-k chunks: roughly what the prompt pays for.</param>
public sealed record QueryResult(
    LabeledQuery Query, double Recall, double ReciprocalRank, int ContextChars, IReadOnlyList<string> RetrievedIds);
 
/// <param name="MeanRecall">Mean recall@k over answerable queries.</param>
/// <param name="Mrr">Mean reciprocal rank over answerable queries.</param>
/// <param name="MeanContextChars">Mean prompt context size over answerable queries.</param>
public sealed record EvalReport(int K, IReadOnlyList<QueryResult> Results, double MeanRecall, double Mrr, double MeanContextChars);

প্রতিটি একক কোয়েরির স্কোর গণনার অ্যালগরিদম:

public static QueryResult Score(LabeledQuery query, IReadOnlyList<SearchHit> hits)
{
    var texts = hits.Select(h => BanglaText.Fold(h.Chunk.Text)).ToList();
    var evidence = query.Evidence.Select(BanglaText.Fold).ToList();
 
    var found = evidence.Count(e => texts.Any(t => t.Contains(e, StringComparison.Ordinal)));
    var firstRelevant = texts.FindIndex(t => evidence.Any(e => t.Contains(e, StringComparison.Ordinal)));
 
    return new QueryResult(
        query,
        evidence.Count == 0 ? 0 : (double)found / evidence.Count,
        firstRelevant < 0 ? 0 : 1.0 / (firstRelevant + 1),
        hits.Sum(h => h.Chunk.Text.Length),
        hits.Select(h => h.Chunk.Id).ToList());

এখানে text মিলিয়ে দেখার আগে উভয় text-কে BanglaText.Fold দিয়ে নরমালাইজ করা হয়, যাতে বাংলা বা ইংরেজি সংখ্যার পার্থক্য কোনো বিভ্রান্তি তৈরি না করে।

সার্চ ইঞ্জিন জগতে দুটি প্রধান ঘরানা রয়েছে, এবং তাদের শক্তির পাশাপাশি দুর্বলতাও রয়েছে:

  • Vector search (Dense retrieval): text-কে বহু-মাত্রিক সংখ্যায় রূপান্তর করে অর্থগত নৈকট্য খোঁজে। এটি ভাবার্থ বুঝতে পারদর্শী হলেও নির্দিষ্ট কোম্পানির নাম, কোড নম্বর বা ইউনিক আইডিতে প্রায়ই বিভ্রান্ত হয়।
  • Keyword search (Sparse retrieval): প্রশ্নে থাকা শব্দগুলো হুবহু কোথায় আছে তা উল্টো সূচি (inverted index) ব্যবহার করে দ্রুত খুঁজে বের করে। এটি নির্দিষ্ট নাম ও কোডের জন্য অসাধারণ, কিন্তু সমার্থক শব্দ বা ভাষার ভাবার্থ বুঝতে অক্ষম।

Hybrid search এই দুই পদ্ধতির মেলবন্ধন ঘটায়। vector search ও keyword search দুটি আলাদা তালিকা তৈরি করে, এবং একটি fusion অ্যালগরিদম সেই তালিকা দুটিকে একীভূত করে চূড়ান্ত র‍্যাঙ্কিং তৈরি করে।

আমরা ব্যবহার করেছি Reciprocal Rank Fusion (RRF) অ্যালগরিদম (Cormack et al., SIGIR 2009)। এই অ্যালগরিদমে কোনো স্কোরের পরম মান বিবেচনা না করে ফলাফলের র‍্যাঙ্ককে গুরুত্ব দেওয়া হয়:

$$\text{Score} = \sum_{m} \frac{1}{k + \text{rank}_m}$$

যেখানে $k=60$ একটি স্ট্যান্ডার্ড ধ্রুবক। কোনো আইটেম একটি তালিকায় 1 নম্বরে এবং অন্য তালিকায় 3 নম্বরে থাকলে তার স্কোর হবে $\frac{1}{60+1} + \frac{1}{60+3}$।

dense (cosine) keyword (BM25) fused: 1/(60 + rank)-এর যোগ 1 · record-date#0 2 · gama-dividend#0 3 · alfa-dividend#0 4 · beta-board#0 1 · alfa-dividend#0 2 · gama-dividend#0 3 · record-date#0 4 · record-date#1 1 · alfa-dividend#0 · 0.03227 2 · record-date#0 · 0.03227 3 · gama-dividend#0 · 0.03226 4 · beta-board#0 · 0.03101 যোগ alfa-dividend#0 (rank 3, 1) আর record-date#0 (rank 1, 3): দুটোরই score 1/61 + 1/63, তাই সমান। সমান হলে সেরা rank, তারপর ID-র ক্রম।
একটি প্রশ্নের জন্য vector search তালিকা (dense), keyword search তালিকা এবং RRF fusion তালিকা। উভয় তালিকায় উচ্চ অবস্থানে থাকা ফলাফলগুলো fusion তালিকায় শীর্ষে উঠে আসে।

RRF fusion logic-এর C# বাস্তবায়ন:

public static IReadOnlyList<SearchHit> Fuse(IReadOnlyList<IReadOnlyList<SearchHit>> rankings, int k = DefaultK)
{
    ArgumentOutOfRangeException.ThrowIfLessThan(k, 1);
 
    var scores = new Dictionary<string, (Chunk Chunk, double Score, int BestRank)>(StringComparer.Ordinal);
    foreach (var ranking in rankings)
    {
        var seen = new HashSet<string>(StringComparer.Ordinal);
        var rank = 0;
        foreach (var hit in ranking)
        {
            if (!seen.Add(hit.Chunk.Id)) continue;
            rank++;
            var add = 1.0 / (k + rank);
            scores[hit.Chunk.Id] = scores.TryGetValue(hit.Chunk.Id, out var s)
                ? (s.Chunk, s.Score + add, Math.Min(s.BestRank, rank))
                : (hit.Chunk, add, rank);
        }
    }
 
    return scores.Values
        .OrderByDescending(s => s.Score)
        .ThenBy(s => s.BestRank)
        .ThenBy(s => s.Chunk.Id, StringComparer.Ordinal)
        .Select(s => new SearchHit(s.Chunk, s.Score))
        .ToList();

hybrid retriever class-এর কাঠামো:

public sealed class HybridRetriever(IRetriever dense, IKeywordIndex keyword, HybridOptions? options = null) : IRetriever
{
    private readonly HybridOptions _options = options ?? new HybridOptions();
 
    public async Task<IReadOnlyList<SearchHit>> RetrieveAsync(string query, int k, CancellationToken cancellationToken = default)
    {
        var denseHits = await dense.RetrieveAsync(query, _options.Candidates, cancellationToken);
        var keywordHits = await keyword.SearchAsync(query, _options.Candidates, cancellationToken);
        return ReciprocalRankFusion.Fuse([denseHits, keywordHits], _options.RrfK).Take(k).ToList();
    }

keyword search: memory-তে BM25, Postgres-এ full-text

আমাদের সিস্টেমে keyword search-এর জন্য দুটি শক্তিশালী ইঞ্জিন তৈরি করা হয়েছে: লোকাল টেস্টিংয়ের জন্য ইন-মেমোরি InMemoryKeywordIndex (যা স্ট্যান্ডার্ড BM25 প্যারামিটার k1=1.2, b=0.75 ব্যবহার করে), এবং production-এর জন্য PostgreSQL-এর PgKeywordIndex (dictionary, parser, control)।

Postgres-এ full-text search-এর জন্য আমরা simple ডিকশনারি এবং জিআইএন (GIN) ইনডেক্স ব্যবহার করেছি। তবে একটি বড় ইঞ্জিনিয়ারিং চ্যালেঞ্জ হলো: Postgres-এর plainto_tsquery ফাংশন সমস্ত শব্দকে & (AND) দিয়ে জোড়ে, যার ফলে ন্যাচারাল ল্যাঙ্গুয়েজ প্রশ্নের একটিমাত্র অতিরিক্ত শব্দ থাকলেই সম্পূর্ণ সার্চ ব্যর্থ হয়। এই সীমাবদ্ধতা দূর করতে আমাদের কোড parsed query-তে &-কে | (OR) অপারেটরে প্রতিস্থাপন করে:

public async Task<IReadOnlyList<SearchHit>> SearchAsync(string query, int k, CancellationToken cancellationToken = default)
{
    ArgumentOutOfRangeException.ThrowIfLessThan(k, 1);
    var folded = BanglaText.Fold(query);
    if (folded.Length == 0) return [];
 
    // plainto_tsquery joins words with AND, which is too strict for a natural-language question
    // (one extra word in the question and nothing matches). Turning each ' & ' into ' | ' makes it "any word".
    // The query text is still a bound parameter; the replace() works on the parsed query, not on user text.
    await using var cmd = _db.CreateCommand($"""
        WITH q AS (SELECT replace(plainto_tsquery('simple', $1)::text, ' & ', ' | ')::tsquery AS query)
        SELECT id, doc_id, title, heading, ordinal, body, ts_rank(terms, q.query)::float8 AS score
        FROM {Table}, q
        WHERE terms @@ q.query
        ORDER BY score DESC, id
        LIMIT $2
        """);
    cmd.Parameters.Add(new NpgsqlParameter { Value = folded });
    cmd.Parameters.Add(new NpgsqlParameter { Value = k });
 
    var hits = new List<SearchHit>();
    await using var reader = await cmd.ExecuteReaderAsync(cancellationToken);
    while (await reader.ReadAsync(cancellationToken))
        hits.Add(PgVectorStore.ReadHit(reader));
    return hits;

বাংলার ঝামেলা

বাংলা ভাষায় টেক্সট সার্চিং ও ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিংয়ে সাতটি বড় বাস্তবসম্মত জটিলতা দেখা যায়:

সমস্যাউদাহরণকী ঘটেসমাধানtest
digit-এর দুই রূপ১৫ বনাম 15একই সংখ্যা, অথচ অক্ষর আলাদা, তাই শব্দ মেলে নাFoldBengali_and_ascii_digits_find_the_same_chunk
সংখ্যার কমা১২,৫০০Postgres parser ভেঙে দুই শব্দ বানায়Fold কমা সরায়The_parser_alone_splits_a_grouped_number…
অদৃশ্য অক্ষরZWJ, ZWNJ, ZWSP (সব zero-width অক্ষর)চোখে এক, অথচ শব্দ আলাদাFold সরায়Zero_width_characters_do_not_hide_a_word
Unicode-এর রূপভেদড় এক code point বনাম দুইচোখে এক, byte-এ আলাদাNFC (একটা standard রূপে আনা)Nfc_makes_the_nukta_letter_one_spelling
বিভক্তিডেট বনাম ডেটেরstemming নেই, তাই আলাদা শব্দdense search-এর টুকরো-মিল, বা ভাষা-সচেতন stemmerThere_is_no_stemming_so_a_suffix_changes_the_word
বানানভেদআলফা বনাম অ্যালফাFold এটা জানে নানামের alias listHybridScenarioTests-এর "বানানভেদ" সারি (প্রশ্ন q21)
ভাষা ভিন্ন"commission rate" বনাম "কমিশন"keyword-এ কোনো hit মেলে নাmultilingual embedding, আর মেপে দেখাWith_no_keyword_hit_hybrid_is_exactly_dense

বিশেষ করে শব্দের শেষে বিভক্তি যুক্ত হওয়া (যেমন: "ডেট" বনাম "ডেটের") বাংলা keyword search-এর সবচেয়ে সংবেদনশীল ফাঁদ। সঠিক stemmer না থাকলে কেবল vector search-ই এই রূপভেদকে অর্থগতভাবে শনাক্ত করতে পারে।

ধারণা 3: পাদটীকা, মানে উৎসসহ report

একটি গ্রহণযোগ্য বিনিয়োগ report মানেই হলো সুনির্দিষ্ট কিছু তথ্যপূর্ণ দাবির (claims) সমষ্টি। প্রতিটি দাবির বিপরীতে model-কে দুটি প্রামাণিক উপাদানের একটি সরবরাহ করতে হয়:

  • হিসাবের উৎস (fact:): কোর ব্যাংকিং বা পোর্টফোলিও ইঞ্জিনিয়ারিংয়ের গণনাকৃত মান (যেমন: শেয়ার সংখ্যা, গড় ক্রয়মূল্য, পোর্টফোলিও অনুপাত)।
  • নথির উৎস (doc:): কোনো নথির chunk ID এবং সেই chunk থেকে নেওয়া হুবহু উদ্ধৃতি (quote), যা কমপক্ষে 8 অক্ষরের হতে হবে।

প্রতিটি citation-এর data model:

public sealed record Citation(string Source, decimal? Number = null, string? Quote = null);
 
public sealed record Claim(string Text, IReadOnlyList<Citation> Citations);
 
public sealed record ReportDraft(string Title, IReadOnlyList<Claim> Claims);

model থেকে কাঙ্ক্ষিত JSON response-এর একটি scripted নমুনা:

{
  "title": "পোর্টফোলিও রিভিউ: আলফা টেক",
  "claims": [
    {
      "text": "আলফা টেকের হাতে ৩০০টি শেয়ার আছে।",
      "citations": [ { "source": "fact:holding.ALFA.quantity", "number": 300, "quote": null } ]
    },
    {
      "text": "আলফা টেক ১২ শতাংশ নগদ লভ্যাংশ সুপারিশ করেছে।",
      "citations": [ { "source": "doc:alfa-dividend#0", "number": null, "quote": "১২ শতাংশ নগদ লভ্যাংশ" } ]
    }
  ]
}
  • প্রথম দাবির উৎস fact:holding.ALFA.quantity, সঙ্গে number 300, যা Core-এর হিসাবের সঙ্গে মিলতে হবে।
  • দ্বিতীয় দাবির উৎস doc:alfa-dividend#0, সঙ্গে quote, যা ওই chunk-এ হুবহু থাকতে হবে।
দাবি উৎস আলফা টেকের হাতে300টা শেয়ার আছে। আলফা টেক 12 শতাংশ নগদলভ্যাংশ সুপারিশ করেছে। বৃহত্তম holding আলফা:portfolio-র 37.9 শতাংশ। আলফা টেকের ভবিষ্যৎউজ্জ্বল। fact:holding.ALFA.quantity= 300 টি (Core) doc:alfa-dividend#0“12 শতাংশ নগদ লভ্যাংশ” fact:concentration.top1_share= 37.91 শতাংশ (Core) number 300 quote number 37.9 উৎস নেই: যাচাইয়ে বাদ
প্রতিটি দাবির একটা করে তীর আছে এমন উৎসের দিকে, যেটা কোড আলাদাভাবে মিলিয়ে দেখতে পারে। তীর-ছাড়া দাবি (কমলা, dashed বাক্স) report-এর মূল অংশে পৌঁছায় না।

ছবিতে চারটা দাবি দেখানো হয়েছে। প্রথম তিনটির বৈধ উৎস আছে (তীর দিয়ে যুক্ত), কিন্তু চতুর্থ দাবি "আলফা টেকের ভবিষ্যৎ উজ্জ্বল"-এর কোনো উৎস নেই। ফলে কোডের ফিল্টারে এটি বাতিল হয়ে যায়।

verifier: দ্বিতীয় তালা

CitationVerifier কোনো large language model-এর ওপর নির্ভর করে না; এটি সম্পূর্ণ ডিটারমিনিস্টিক C# কোড। এটি প্রতিটি দাবিকে ছয়টি কঠোর ধাপে যাচাই করে:

  1. দাবির অন্তত একটি valid citation আছে কি না?
  2. উৎস ID fact: বা doc: দিয়ে শুরু হয়েছে কি না এবং সেই নির্দিষ্ট উৎসটি আদৌ সিস্টেমে বা prompt-এ বিদ্যমান কি না?
  3. হিসাবের উৎস হলে উল্লিখিত number কোর সিস্টেমের হিসাবের সাথে হুবহু মেলে কি না?
  4. নথির উৎস হলে প্রদত্ত উদ্ধৃতিটি কমপক্ষে 8 অক্ষরের কি না এবং নরমালাইজেশনের পর chunk-এর মূল text-এ হুবহু বিদ্যমান কি না?
  5. দাবির টেক্সটে উপস্থিত প্রতিটি সংখ্যা দাবির উল্লেখিত কোনো হিসাবে বা উদ্ধৃতিতে সমর্থিত কি না?
  6. দাবিতে কোনো কোম্পানির নাম থাকলে অন্তত একটি উৎসে সেই কোম্পানির রেফারেন্স আছে কি না?

1 থেকে 4 নম্বর ধাপে কোনো ত্রুটি ধরা পড়লে 5 ও 6 নম্বর ধাপ আর চালানো হয় না, যাতে মূল ভুলটি অতিরিক্ত বার্তার ভিড়ে হারিয়ে না যায়।

সংখ্যা মেলানোর লজিক:

public IReadOnlyList<Issue> Check(Claim claim)
{
    var issues = new List<Issue>();
    if (claim.Citations is null || claim.Citations.Count == 0)
    {
        issues.Add(new(IssueKind.Uncited, "দাবির কোনো উৎস নেই।"));
        return issues;
  • দাবির উৎসের list ফাঁকা হলে Check সঙ্গে সঙ্গে Uncited সমস্যা (message "দাবির কোনো উৎস নেই।") যোগ করে ফেরত দেয়। বাকি ধাপ তখন চলে না।

সংখ্যা মেলানোর নিয়মটি কোডে আলাদা একটি ক্লাসে সংজ্ঞায়িত:

public static class NumberRules
{
    /// <summary>
    /// True when <paramref name="written"/> is <paramref name="value"/> rounded (half away from zero) to the number of
    /// decimals the writer used. 45.2 matches 45.23; 45.3 does not. <paramref name="scale"/> defaults to the scale of <paramref name="written"/>.
    /// </summary>
    public static bool Matches(decimal value, decimal written, int? scale = null)
    {
        var s = Math.Clamp(scale ?? (int)((decimal.GetBits(written)[3] >> 16) & 0xFF), 0, 8);
        return Math.Round(value, s, MidpointRounding.AwayFromZero) == written;
    }
  • value হিসাবের মান, written দাবিতে লেখা সংখ্যা। scale লেখকের লেখা দশমিক ঘর; না দিলে written থেকে বের হয়, আর Math.Clamp সেটাকে 0 থেকে 8-এর মধ্যে রাখে।
  • Math.Round(value, s, MidpointRounding.AwayFromZero) == written মানকে ওই ঘর পর্যন্ত round করে মেলায়। উদাহরণস্বরূপ: 45.23-এর জন্য 45.2 মেলে, কিন্তু 45.3 মেলে না।
খসড়াদাবি + উৎস উৎস আছে?দেওয়া হয়েছিল? quoteহুবহু? সংখ্যাউৎসে আছে? কোম্পানিউৎস বলে? reportপাদটীকাসহ দাবি বাদ, কারণ লেখামানুষের নজরে যায় model, repairবড়জোর একবার জমা ঠিক ঠিক ঠিক পাস ফেল ফেরত নতুন খসড়া
ডান দিকের পথ শুধু সব ধাপ পাস করা দাবির জন্য। কোনো ধাপে ফেল করলে দাবি নিচের কমলা বাক্সে নামে এবং কারণসহ বাদ পড়ে। বাদ-পড়া দাবির list বড়জোর একবার model-কে ফেরত যায় (কোডে MaxRepairRounds)। তারপরও ভুল থাকলে দাবিটা report-এর বাইরেই থাকে।

পাদটীকা ক্রমিক সংখ্যায় তৈরি হয়; একই উৎস একাধিকবার এলে একই নম্বর বরাদ্দ পায়। পাঠক "[3]" দেখে নিচে নামলেই নিশ্চিত হতে পারেন তথ্যটি কোথা থেকে সংগৃহীত। বাদ-পড়া কোনো দাবি থাকলে (NeedsAttention) তা "মানুষের নজরে (প্রকাশযোগ্য নয়)" অংশে যোগ হয়, যাতে মানুষ নিজ চোখে পরীক্ষা করতে পারেন। সেই মানুষের সই, অর্থাৎ তৃতীয় তালা, বসবে পর্ব 7-এ।

generator: loop আর limit

ReportGenerator class-টি retrieval, prompt তৈরি, model-এর খসড়া তৈরি এবং verification-এর সমন্বয় ঘটায়। কোনো দাবি verification-এ বাতিল হলে সিস্টেম কারণসহ model-কে একবার repair করার সুযোগ দেয় (MaxRepairRounds = 1)।

prompt-এ পর্ব 5-এর নিয়ম আছে: <source> ও <facts>-এর ভেতরের লেখা শুধু তথ্য, নির্দেশ নয়। এটা শুধু অনুরোধ। আসল model তা মানে কি না, সেই test হবে পর্ব 8-এ (prompt injection, মানে নথির ভেতরে লুকোনো নির্দেশ নিয়ে)।

public async Task<GeneratedReport> GenerateAsync(
    IReadOnlyList<string> topics, CancellationToken cancellationToken = default)
{
    var sources = new List<Chunk>();
    foreach (var topic in topics)
        foreach (var hit in await retriever.RetrieveAsync(topic, _options.TopK, cancellationToken))
            if (sources.All(s => s.Id != hit.Chunk.Id)) sources.Add(hit.Chunk);
 
    var verifier = new CitationVerifier(facts, sources, Chunker.SplitAll(KnowledgeBase.Documents).Select(c => c.Id));
    var messages = new List<ChatMessage>
    {
        new(ChatRole.System, SystemPrompt),
        new(ChatRole.User, BuildUserMessage(topics, sources)),
    };
 
    var title = "পোর্টফোলিও রিভিউ";
    var accepted = new List<Claim>();
    IReadOnlyList<RejectedClaim> rejected = [];
    var malformed = false;
    var rounds = 0;
 
    while (true)
    {
        rounds++;
        var response = await chat.GetResponseAsync<ReportDraft>(messages, cancellationToken: cancellationToken);
        messages.Add(new ChatMessage(ChatRole.Assistant, response.Text));
 
        if (response.TryGetResult(out var draft) && draft is not null)
        {
            malformed = false;
            if (!string.IsNullOrWhiteSpace(draft.Title) && rounds == 1) title = draft.Title;
            var result = verifier.Verify(draft);
            accepted.AddRange(result.Accepted);
            rejected = result.Rejected;
        }
        else
        {
            malformed = true;
            rejected = [];
        }
 
        if ((!malformed && rejected.Count == 0) || rounds > _options.MaxRepairRounds)
            break;
 
        messages.Add(new ChatMessage(ChatRole.User, BuildRepairMessage(rejected, malformed)));
    }
 
    return new GeneratedReport(title, accepted, rejected, malformed, rounds, sources);

আউটপুটের বাস্তব নমুনা (যেখানে ভুল সংখ্যা থাকা দাবিটি মূল report থেকে বাদ পড়ে "মানুষের নজরে" সেকশনে স্থান পেয়েছে):

# পোর্টফোলিও রিভিউ: আলফা টেক
 
- আলফা টেকের হাতে ৩০০টি শেয়ার আছে। [১]
- আলফা টেক ১২ শতাংশ নগদ লভ্যাংশ সুপারিশ করেছে। [২]
- বৃহত্তম হোল্ডিং আলফা টেক, পোর্টফোলিওর ৩৭.৯ শতাংশ। [৩]
 
## পাদটীকা
 
[১] হিসাব (fact:holding.ALFA.quantity): আলফা টেক (ALFA): হাতে থাকা শেয়ারের সংখ্যা = ৩০০ টি
[২] আলফা টেক লিমিটেড: লভ্যাংশ ঘোষণা (কাল্পনিক), alfa-dividend#0: “১২ শতাংশ নগদ লভ্যাংশ”
[৩] হিসাব (fact:concentration.top1_share): বৃহত্তম হোল্ডিং আলফা টেক (ALFA)-এর অংশ = ৩৭.৯১ শতাংশ
 
## মানুষের নজরে (প্রকাশযোগ্য নয়)
 
- বাদ: আলফা টেকের হাতে ৩৫০টি শেয়ার আছে।
  - fact:holding.ALFA.quantity: হিসাবের মান 300, দাবিতে 350।

দৃশ্যপট

12টি বাস্তবমুখী test দৃশ্যপটের ফলাফল নিচে তুলে ধরা হলো:

দৃশ্যপটপরিস্থিতি (scripted model / প্রশ্ন)ব্যবস্থাফল
সব ঠিকহিসাব ও নথি, দুই উৎস; 300 ও "12 শতাংশ নগদ লভ্যাংশ" ঠিক quote করাসব ধাপaccepted
বদলে যাওয়া সংখ্যাআলফার শেয়ার 300, model লিখল number: 350ধাপ 3NumberMismatch: হিসাবের মান 300, দাবিতে 350
সংখ্যা বদল, quote ঠিক"20 শতাংশ", অথচ ঠিক quote-করা অংশে কোনো সংখ্যাই নেইধাপ 5UnsupportedNumber: 20
বানানো chunk IDmodel doc:ghost#9 বানালধাপ 2UnknownSource
আনা হয়নি এমন chunkgama-dividend#0 আছে, কিন্তু prompt-এ ছিল না (সত্যিকারের ID, ভুল context)ধাপ 2SourceNotProvided
ঠিক quote, ভুল কোম্পানি"বিটা ফার্মা 12 শতাংশ…", অথচ quote আলফারধাপ 6EntityMismatch
অদৃশ্য অক্ষরে ভরা quotequote-এ ZWNJ, চোখে ঠিকFoldaccepted
দুই উৎসে বিরোধফি 2026-এ 400, 2027 থেকে 500; দুটো দাবি, প্রতিটি নিজ উৎসের প্রতি বিশ্বস্তকোনো ধাপই আটকায় নাদুটোই accepted
keyword জেতে"রেকর্ড ডেট 15 নভেম্বর কোন কোম্পানির?" (সংখ্যা ও আস্ত শব্দ)BM25 + RRFdense-এ প্রথমে record-date#0, keyword ও hybrid-এ alfa-dividend#0
dense জেতে, fusion-এ হারে"কমিশনের হার" (টুকরো-মিল, বিভক্তি)RRFdense-এ প্রথমে rulebook#2; hybrid-এ top 3-এর বাইরে
RRF-এ সমতাওপরের ছবির প্রশ্ন; দুই chunk-এর score হুবহু সমানসেরা rank, তারপর IDalfa-dividend#0 আগে
এক ভুলে সব বাতিল নয়চার দাবির একটা ভুল, model repair-এও ঠিক করল নাgeneratorতিনটি accepted, একটি বাদ

বদলে যাওয়া সংখ্যা। আলফার শেয়ার আসলে 300টা, Core তা-ই হিসাব করে। model লিখল 350, উৎস দিল fact:holding.ALFA.quantity। verifier মান দুটো মিলিয়ে দেখে, মেলে না। বার্তা: NumberMismatch: fact:holding.ALFA.quantity: হিসাবের মান 300, দাবিতে 350। generator এই বার্তা model-কে ফেরত পাঠায়। model আবারও 350 লিখলে দাবিটা বাদ। শেষ কথা কোডের হিসাব। পর্ব 4-এর যাচাই দেখত, model-এর বাক্যের প্রতিটি সংখ্যা কোডের হিসাব করা কোনো ফলে আছে কি না, আর সেখানে ভুল সংখ্যাটার উৎসই ছিল না। এখানে উৎস আছে, কিন্তু মান বদলে গেছে।

মাপা

24টি প্রশ্নের সোনার খাতায় 5টি chunk size-এ (120, 200, 300, 500, 800 অক্ষরের স্লাইস) vector, keyword এবং hybrid search-এর মান পরিমাপের ফলাফল:

recall@3 (axis 0 থেকে 1); নকল embedding, 24টা প্রশ্ন dense keyword hybrid 0.90 0.85 0.85 0.92 0.92 0.92 0.92 0.96 0.96 0.96 0.96 0.96 1.00 0.92 0.96 100 অক্ষর92টা chunk · context 223 200 অক্ষর49টা chunk · context 432 300 (default)36টা chunk · context 615 600 অক্ষর28টা chunk · context 881 গোটা নথি18টা chunk · context 1453 chunk size (সীমা) · context = hybrid-এ top 3 chunk-এর গড় মোট অক্ষর
পাঁচটি ভিন্ন chunk size-এ dense, keyword ও hybrid search-এর recall@3 এবং MRR-এর বাস্তব তুলনামূলক চিত্র। hybrid search প্রতিটি size-এই একক পদ্ধতির চেয়ে উন্নত ও স্থিতিশীল ফলাফল প্রদর্শন করে।

পরিমাপের মূল পর্যবেক্ষণ:

  • chunk size 120 অক্ষরে keyword search-এ অনেক গুরুত্বপূর্ণ তথ্য বাদ পড়ে (recall@3 মাত্র 0.65), কিন্তু hybrid search dense-এর শক্তিতে তা 0.88-এ ধরে রাখে।
  • chunk size 300 অক্ষরে hybrid search-এর recall@3 স্কোর 0.96 এবং MRR 0.92 স্পর্শ করে, যা একক vector search-এর চেয়ে প্রায় 10-12 শতাংশ উন্নত।
  • chunk size 800 অক্ষরে context-এর দৈর্ঘ্য অনেক বেড়ে যায়, ফলে prompt-এর token খরচ দ্বিগুণ হলেও স্কোরে তেমন কোনো উন্নতি দেখা যায় না। তাই ইঞ্জিনিয়ারিং বিচারে 300 অক্ষরের স্লাইস সাইজটিই সর্বোত্তম ভারসাম্য তৈরি করে।

production-এ কী ভাঙে

বাস্তব production-এ deploy করার আগে এই সংবেদনশীল বিষয়গুলো সতর্কতার সাথে মাথায় রাখতে হবে:

  1. Postgres full-text search-এর ভাষা সমর্থন: Postgres-এর ডিফল্ট simple ডিকশনারি স্পেস দিয়ে শব্দ কাটে এবং কোনো বাংলা stemming করে না। বিভক্তিজনিত কারণে keyword মিস হওয়া ঠেকাতে hybrid search অপরিহার্য।
  2. repair-এর খরচ ও loop limit: model যদি অনবরত ভুল format-এর খসড়া পাঠাতে থাকে, তবে repair loop অসীম খরচের কারণ হতে পারে। প্রতিটা repair আসলে আরেকটি বাড়তি model call, তাই মিটারে token খরচ দ্রুত বাড়ে। MaxRepairRounds = 1 সীমা রাখা বাধ্যতামূলক, আর production-এ repair কতবার trigger হচ্ছে তার নিবিড় পর্যবেক্ষণ রাখুন (পর্ব 10-এ বিস্তারিত ড্যাশবোর্ড ও ট্রেসিং রয়েছে)।
  3. উদ্ধৃতির দৈর্ঘ্য সীমা: MinQuoteChars = 8 অক্ষরের কম হলে model "হ্যাঁ", "না" বা সাধারণ এক-দুই অক্ষরের শব্দ উদ্ধৃত করে verifier-কে ধোঁকা দিতে পারে।
  4. নথির সংস্করণ বনাম বর্তমান ডেটা: নথির তথ্য পুরোনো হতে পারে এবং লাইভ database-এর সাথে সংঘর্ষ তৈরি করতে পারে। এ কারণে হিসাবের মান সর্বদা Core সিস্টেম থেকে আসা বাধ্যতামূলক।

অনুশীলন

  1. InMemoryKeywordIndex-এ BM25-এর প্যারামিটার k1 ও b পরিবর্তন করে আমাদের 24টি প্রশ্নের ইভ্যালুয়েশন স্কোরে কী ধরনের পরিবর্তন আসে তা পর্যবেক্ষণ করুন।
  2. CitationVerifier.MinQuoteChars কমিয়ে 2 অক্ষর করলে কোন ধরনের ভুয়া উদ্ধৃতি পাস করে যায়, তার একটি test case লিখুন।
  3. hybrid search-এর fusion অ্যালগরিদমে RRF-এর পাশাপাশি লিনিয়ার কম্বিনেশন (Normalized Score Weighting) বাস্তবায়ন করে পারফরম্যান্স তুলনা করুন।

মনে রাখুন: উৎস ছাড়া কোনো দাবি report-এ যাবে না। আর উৎস থাকলেই বিশ্বাস নয়: নাম, quote আর সংখ্যা, তিনটাই কোড দিয়ে মিলিয়ে নিন।

যাচাইয়ের অবস্থা

retrieval মাপার কোড, hybrid আর verifier সব compile আর test করা হয়েছে। report generator-এর test চলেছে FakeChatClient-এ, scripted উত্তরে। তাই আসল model কতবার ভুল সংখ্যা বা বানানো ID দেবে, তা এই পর্ব বলে না। সেই হার আপনার model-এ মেপে নিন, পর্ব 3-এর evaluation দিয়ে। retrieval-এর সব সংখ্যা নকল embedding-এ। আসল embedding-এর জন্য মাপার command দেওয়া আছে, কিন্তু সেটা চালানো হয়নি।

সূত্র

পরের পর্ব

আমাদের report এখন নিজের প্রমাণ নিজে দিতে পারে এবং প্রতিটি দাবির পেছনে অকাট্য সূত্র প্রদর্শন করে। কিন্তু প্রশ্ন হলো: এই report-এ চূড়ান্ত অনুমোদনের সই করবে কে? খসড়া তৈরির পর যদি ব্যাকগ্রাউন্ডে কোনো নতুন আর্থিক লেনদেন ঘটে যায়, তবে সেই report কি পুরোনো তথ্যের ওপর অনুমোদন পাবে?

পর্ব 7 "সই"-তে আমাদের report একটি সুশৃঙ্খল state machine workflow-র ভেতরে প্রবেশ করবে, যেখানে AI খসড়া প্রস্তাব করবে, আমাদের বিশ্বস্ত কোড তা যাচাই করবে, এবং একজন দায়িত্বশীল মানুষ তা রিভিউ করে অনুমোদন বা বাতিল করবেন।


সিরিজের পথ: ← পর্ব 5: মানচিত্র · সিরিজের মানচিত্র · পর্ব 7: সই →

Related reading