.NET developer-দের জন্য AI engineering (পর্ব 4): tool calling, model ভাবে, কোড গোনে

model-কে অঙ্ক কষতে না দিয়ে C# tool ডাকতে শেখানো: tool calling, schema, error, loop-এর সীমা, আর উত্তরের প্রতিটি সংখ্যা যাচাইয়ের 12টা test করা scenario।

15 min readUpdated
মডেল একটি যোগফলের টুল ডাকছে, কোড হিসাব করে ফল ফেরত দিচ্ছে

আগের পর্বগুলোতে আমরা দেখেছি model কীভাবে ব্রোকারের চুক্তিপত্র পড়ে লেনদেনের তথ্য উদ্ধার করে: ধরা যাক প্রথমে আলফা টেকের 200 শেয়ার কেনা হলো, পরে আরও 100 শেয়ার। এবার পোর্টফোলিও দেখতে দেখতে ব্যবহারকারী হঠাৎ জানতে চাইলেন, "ALFA-র গড় ক্রয়মূল্য কত?" অর্থাৎ প্রতি শেয়ারে গড়ে কত টাকা খরচ পড়েছে?

নোট থেকে তথ্য উদ্ধার করা আর সেই তথ্যের ওপর ভিত্তি করে গাণিতিক হিসাব কষা সম্পূর্ণ আলাদা দুটো জগৎ। পর্ব 3-এর শেষে আমরা এই মৌলিক প্রশ্নটাই রেখেছিলাম—আসল হিসাবটা করবে কে? উত্তর খুব সোজাসাপ্টা: হিসাব করবে আমাদের কোড, কোনো অবস্থাতেই model নয়। এই পর্বের মূল দর্শন হলো কোড গোনে (model decides, code computes)। সহজ কথায়, কোন হিসাবটি প্রয়োজন তা বুদ্ধি খাটিয়ে ঠিক করবে model, আর গাণিতিক ফর্মুলা মেনে নিখুঁতভাবে সংখ্যাটি বের করে আনবে C# কোড।

এই পুরো সমন্বয়টা ঘটে tool calling-এর মাধ্যমে। এখানে tool বলতে বোঝায় আমাদের লেখা একটি C# method; model যখন কোনো গাণিতিক তথ্য জানতে চায়, তখন আমাদের system সেই method চালিয়ে তাকে ফলাফল এনে দেয়। FolioLens-এ এমন পাঁচটি tool তৈরি করা হয়েছে, যেগুলোর সবই কঠোরভাবে read-only—অর্থাৎ এগুলো কেবল হিসাব দেখে ও জানায়, পোর্টফোলিওর ভেতরে কোনো কিছু যোগ বা পরিবর্তন করে না: holdings, average cost, realized PnL, XIRR আর concentration।

তবে শুধু tool ডাকলেই engineering-এর দায়িত্ব শেষ হয়ে যায় না; উত্তরের বিশ্বাসযোগ্যতা নিশ্চিত করতে যোগ করা হয়েছে একটি 'দ্বিতীয় তালা'—যাতে ভুল বা মনগড়া সংখ্যা ব্যবহারকারীর স্ক্রিন পর্যন্ত পৌঁছাতে না পারে। নিয়ম একটাই: model-এর চূড়ান্ত উত্তরে থাকা প্রতিটি সংখ্যা কোনো না কোনো tool-এর ফিরিয়ে দেওয়া result-এ হুবহু উপস্থিত থাকতে হবে। যদি কোনো সংখ্যা অমিল থাকে, সেই উত্তর ব্যবহারকারীর কাছে যাবে না।

সুতো বাঁধা: পর্ব 2-এ model fee 120.00-এর জায়গায় 12.00 পড়েছিল। ওটা দেখতে ঠিক, অথচ ভুল উত্তর, আর validation সেটা ধরে ফেলেছিল। এখানে আসে একই ধরনের আরেকটা ভুল: উত্তরে এমন সংখ্যা, যা কোনো tool দেয়নি। সংখ্যা-verifier সেটা ধরে। পর্ব 10-এ extraction-এর বেলায় এই ধরনের ভুল gate-এ গোনা হবে false_accepts নামে, আর তার সীমা শূন্য।

কোড: এই পর্বের শেষে কোডের অবস্থা github.com/alaminmain/foliolens-এর part-04 tag-এ। নিজের কাছে এনে চালাতে: git checkout part-04 তারপর dotnet test। আগের পর্বের সঙ্গে তফাত দেখতে: git diff part-03 part-04।

কেন: model প্রশ্ন বোঝে, কিন্তু অঙ্ক কষায় ভরসা নেই

ব্যবহারকারী চ্যাটে লিখলেন, "ALFA-র গড় ক্রয়মূল্য কত?" model-এর context-এ সাতটি লেনদেনের তালিকা তুলে দিয়ে যদি বলা হয় "হিসাব করো", সে প্রশ্নের ভাষা বা উদ্দেশ্য চমৎকার বুঝতে পারবে। কিন্তু উত্তরের গাণিতিক অঙ্কে ভরসা রাখা বোকামি।

কারণ এই গড় বের করার হিসাবটা কিন্তু এক ধাপের নয়। প্রথমে ব্রোকারেজ fee-সহ প্রতিটি ক্রয়ের মোট খরচ যোগ করতে হয়, সেই মোট খরচকে মোট শেয়ার সংখ্যা দিয়ে ভাগ করতে হয়, এবং সবশেষে দুই দশমিক স্থানে round করতে হয়। ALFA-র ক্ষেত্রে হিসাবটা দাঁড়ায় 37,285.50 ÷ 300 = 124.285, যাকে round করলে হয় 124.29।

model কিন্তু কোনো অ্যালগরিদম চালিয়ে এই গাণিতিক ধাপগুলো সম্পন্ন করে না। বরং সে ভাগফলের প্রতিটি সংখ্যাকে আগের শব্দের ওপর ভিত্তি করে একটি সম্ভাব্য token হিসেবে অনুমান করে বেছে নেয়। ফলে fee যোগ করা, ভগ্নাংশের ভাগ এবং rounding—প্রতিটি ধাপে তার পিছলে যাওয়ার বাস্তব ঝুঁকি থাকে। সবচেয়ে বিপজ্জনক বিষয় হলো, ছোট ছোট হিসেবে model প্রায়ই সঠিক উত্তর দেয়; আর সেই আপাত নির্ভুলতা developer-দের মনে এক ধরনের মিথ্যা আত্মবিশ্বাস তৈরি করে দেয়। অথচ পর্ব 1-এ আমরা দেখেছি, Temperature কমিয়ে শূন্যের কাছাকাছি নিলেও একই প্রশ্নে বারবার একই গাণিতিক উত্তর আসার কোনো গ্যারান্টি থাকে না।

এটা কোনো নির্দিষ্ট ব্র্যান্ডের model-এর একক দুর্বলতা নয়, বরং language model-এর মৌলিক গঠনগত স্বভাব। কোন model কতটুকু ভুল করে, তা পর্ব 3-এ দেখানো সোনার খাতা দিয়ে নিয়মিত পরিমাপ করতে হয়। সোনার খাতা হলো পর্ব 3-এর নোটের তালিকা, প্রতিটির পাশে হাতে লেখা সঠিক উত্তর। তবে টাকার হিসাবে "প্রায়ই ঠিক" যথেষ্ট নয়, তাই অঙ্কটা কোডের হাতে যাক।

বাস্তব জীবনের একটা সাধারণ রূপক দিয়ে ভাবলে বিষয়টি পানির মতো পরিষ্কার হয়ে যায়—একটি সুপারশপের ক্যাশিয়ারের কথা চিন্তা করুন। ক্যাশিয়ার ক্রেতার মুখে বলা কথা শোনেন ও বোঝেন, কিন্তু মোট বিল যোগ করার সময় তিনি নিজের স্মৃতিশক্তি বা অনুমানের ওপর নির্ভর না করে ক্যালকুলেটরে বোতাম চাপেন। এখানে model হলো সেই ক্যাশিয়ার, আর ক্যালকুলেটরের ভূমিকা পালন করছে আমাদের হিসাবের project FolioLens.Core।

ধারণা: tool calling-এর loop

Tool calling মানে model-কে আগে থেকে বলে রাখা, "তোমার হাতে এই কাজগুলো আছে, দরকার হলে চেয়ে নাও।" এখানে "কাজ" মানে আমাদের লেখা একটা C# method।

model নিজে কিছু চালায় না। সে শুধু লেখে কোন tool চাই আর কোন argument দিয়ে, যেমন "get_average_cost, symbol ALFA"। আমাদের কোড সেটা চালিয়ে result ফেরত দেয়, আর result পেয়ে model চূড়ান্ত উত্তর লেখে। OpenRouter-এর (যে সেবা দিয়ে আমরা model ডাকি) docs-ও একই বর্ণনা দেয় (OpenRouter: Tool Calling)।

hostআপনার কোড modelOpenRouter-এর ওপারে toolC# method 1· প্রশ্ন + tool-এর schema 2· call চাই: get_average_cost 3· host-ই চালায় 4· result (JSON) 5· প্রশ্ন + call + result 6· চূড়ান্ত লেখা
model কখনো tool চালায় না। দ্বিতীয় ধাপে সে শুধু লিখে জানায় কোন tool চাই; তৃতীয় ধাপে (কমলা) চালায় host। ধাপ 1 আর 5-এ model-কে ডাকা হয়, আর প্রতিবার মিটার ঘোরে, মানে token-এর দাম লাগে।

ALFA-র প্রশ্নে ধাপ 1-এ আমাদের কোড (ছবিতে host) প্রশ্নের সঙ্গে tool-গুলোর বিবরণ (schema) পাঠায়। ধাপ 2-এ model চায়: get_average_cost, symbol ALFA। ধাপ 3-এ host সেই C# method চালায়, হিসাব হয় এখানেই। ধাপ 4-এ method ফেরত দেয় 300 শেয়ার আর গড় 124.29। ছয় ধাপের মধ্যে 3 আর 4 নম্বর কোডের এলাকা, বাকিগুলো model-এর সঙ্গে আদান-প্রদান।

এই loop আমাদের নিজে লিখতে হয় না। Microsoft.Extensions.AI package-এর FunctionInvokingChatClient এটা চালায়। model-এর response-এ FunctionCallContent (মানে "এই tool চাই") এলে সে মেলানো AIFunction (আমাদের method-এর মোড়ক) চালায়, আর result-কে FunctionResultContent বানিয়ে আবার model-কে পাঠায়। call না থাকলে বা থামার অন্য শর্ত মিললে loop শেষ (API docs)।

এটা IChatClient-এর ওপর বসা একটা middleware, মানে ভেতরের client-কে মুড়ে থাকা layer। IChatClient পর্ব 1-এর সেই interface, যা দিয়ে আমরা model ডাকি। loop চালু করতে লাগে এক লাইন: .UseFunctionInvocation() (quickstart)।

model ভাবে প্রশ্নের মানে বোঝে কোন tool ডাকবে, বাছে argument ঠিক করে result সাজিয়ে বাংলায় লেখে কোড গোনে গড় ক্রয়মূল্য, realized PnL XIRR, concentration দশমিক ও rounding, unit error message tool-এর নাম + argument সংখ্যা বা error দ্বিতীয় তালা: চূড়ান্ত লেখার প্রতিটি সংখ্যা কোনো tool-এর result-এ থাকতে হবে
কাজের ভাগ: ভাষা model-এর, সংখ্যা কোডের। কমলা অংশ কোডের গোনা সংখ্যা। নিচের ফালিটা (দ্বিতীয় তালা) দেখে model সেই সংখ্যা ঠিকঠাক কপি করেছে কি না।

কোড: পাঁচটা read-only tool

এই পর্বে দুটো project যোগ হয়েছে: FolioLens.Tools আর তার test project FolioLens.Tools.Tests। FolioLens.Tools project হিসাবের কোড FolioLens.Core-কে tool-এর চেহারা দেয়, Core-এর কোনো ফাইল বদলায় না। package একটাই: Microsoft.Extensions.AI 10.11.0।

tool-গুলো database সরাসরি ছোঁয় না। তারা data নেয় IPortfolioRepository নামের একটা interface থেকে। এতে test-এ sample data বসানো যায়, পরে আসল store-ও বসানো যায়:

public interface IPortfolioRepository
{
    DateOnly AsOf { get; }
    IReadOnlyList<Trade> GetTrades();
    IReadOnlyDictionary<string, decimal> GetPrices();
    IReadOnlySet<string> KnownSymbols { get; }
}

KnownSymbols হলো portfolio যে symbol-গুলো চেনে তার set। বাকিগুলো নামেই বোঝা যায়: GetTrades() সব লেনদেন দেয়, GetPrices() দাম, আর AsOf হলো "আজ"-এর তারিখ।

এবার পাঁচটার একটা tool, GetAverageCost, দেখা যাক। method-এর ওপরের [Description] model পড়ে। ভেতরের logic আমাদের নিজেদের:

[Description("Returns the average purchase cost per share of ONE held symbol (weighted average, fees included), in taka (BDT), with the quantity held and the total cost. Use for questions like 'what is my average cost of ALFA'. If the symbol is not held, the result is an error object listing the symbols that are held.")]
public object GetAverageCost(
    [Description("Exchange ticker, for example ALFA. Case-insensitive.")] string symbol)
{
    var data = Fetch();
    return Guard(() =>
    {
        var (holdings, _) = Compute(data);
        var wanted = (symbol ?? "").Trim();
        var position = holdings.Positions
            .FirstOrDefault(p => string.Equals(p.Symbol, wanted, StringComparison.OrdinalIgnoreCase));
 
        if (position is null)
        {
            var held = holdings.Positions.Select(p => p.Symbol).ToList();
            return repository.KnownSymbols.Contains(wanted)
                ? new ToolError("not_held", $"{wanted.ToUpperInvariant()} is a known symbol but is not held now.", held)
                : new ToolError("unknown_symbol", $"'{wanted}' is not a symbol this portfolio knows.", held);
        }
 
        return (object)new AverageCostResult(
            position.Symbol, Money.Currency, position.Quantity,
            Money.Round(position.AverageCost), Money.Round(position.TotalCost),
            "weighted-average cost, fees included");
    });
}

কোডটা যেভাবে কাজ করে:

  • Fetch() data আনে, Compute(data) portfolio-র বর্তমান position হিসাব করে, আর FirstOrDefault(...) case-insensitive ভাবে (OrdinalIgnoreCase) চাওয়া symbol-টা খুঁজে বের করে।
  • symbol না পাওয়া গেলে ToolError ফেরত যায়: not_held (symbol-টা চেনা, কিন্তু এখন portfolio-তে কোনো শেয়ার নেই) অথবা unknown_symbol (symbol-টা এই system চেনেই না)। দুই ক্ষেত্রেই এখন যেসব শেয়ার আছে তার তালিকা (held) সঙ্গে পাঠানো হয়, যাতে model নিজেকে শুধরে নিতে পারে।
  • symbol পাওয়া গেলে AverageCostResult ফেরত আসে, যেখানে গড় ক্রয়মূল্য আর মোট বিনিয়োগ Money.Round দিয়ে round করা থাকে।

আমাদের architecture-এর সিদ্ধান্তগুলো:

  • টাকার অঙ্ক সবসময় decimal, আর currency-র একক স্পষ্ট: প্রতিটি response-এ currency: "BDT" লেখা থাকে। শতকরা হারও 37.91 format-এ পাঠানো হয়, কখনো অস্পষ্ট 0.3791 নয়।
  • rounding কেবল একবারই হয়, tool-এর ভেতরে: দুই দশমিক স্থানে, শূন্য থেকে দূরের দিকে (MidpointRounding.AwayFromZero)। ALFA-র ক্ষেত্রে সঠিক গড় 124.285 হওয়ায় tool 124.29 ফেরত দেয়, ফলে পরে model-কে নিজের মতো round করতে হয় না।
  • tool কখনো exception ছুড়ে মারে না, বরং structured error ফেরত দেয়: symbol না থাকা কোনো system crash নয়, এটি একটি স্বাভাবিক ব্যবসায়িক ঘটনা। তাই ToolError object-এর মাধ্যমে model-কে স্পষ্টভাবে জানানো হয় কী ভুল হয়েছে এবং এখন কোন কোন symbol valid।
  • data আনা আর হিসাব করা আলাদা layer-এ ভাগ করা: database connection fail করলে সেটা system infrastructure-এর ত্রুটি, model-এর সঙ্গে তার কোনো সম্পর্ক নেই। Guard block কেবল domain logic-এর ভুলগুলো handle করে।
  • কোনো write tool রাখা হয়নি: পাঁচটি tool-এর সবগুলোই কঠোরভাবে read-only। portfolio-তে নতুন data লেখার একটাই দরজা—মানুষের অনুমোদনের table (পর্ব 7)।

description-ই prompt

model আমাদের C# কোড দেখে না। সে দেখে শুধু একটা JSON বিবরণ, যাকে schema বলে। AIFunctionFactory.Create আমাদের method দেখে একটা AIFunction বানায়, আর schema তৈরি হয় তিনটা জিনিস থেকে:

  • method-এর [Description] হয় tool-এর description।
  • parameter-এর [Description] হয় parameter-এর description, আর parameter-এর type থেকে আসে JSON schema।
  • tool-এর নাম আমরা নিজেরা বসাই, snake_case-এ।

নিচের PortfolioToolset পাঁচটা tool জোড়ে:

public static class PortfolioToolset
{
    // AIJsonUtilities.DefaultOptions pretty-prints; tool results travel as text and indentation is billed as tokens.
    private static readonly JsonSerializerOptions Compact = new(AIJsonUtilities.DefaultOptions) { WriteIndented = false };
 
    public static IList<AITool> Create(PortfolioTools tools)
    {
        ArgumentNullException.ThrowIfNull(tools);
 
        return
        [
            Wrap("get_holdings", tools.GetHoldings),
            Wrap("get_average_cost", tools.GetAverageCost),
            Wrap("get_realized_pnl", tools.GetRealizedPnl),
            Wrap("get_xirr", tools.GetXirr),
            Wrap("get_concentration", tools.GetConcentration),
        ];
    }
 
    private static AIFunction Wrap(string name, Delegate method) =>
        AIFunctionFactory.Create(method, new AIFunctionFactoryOptions { Name = name, SerializerOptions = Compact });
}

Wrap("get_average_cost", tools.GetAverageCost) মানে "এই method-টাকে এই নামে tool বানাও"। Compact option-এ WriteIndented = false, কারণ বাড়তি ফাঁকা জায়গাও token হিসেবে দাম নেয়।

model আসলে ঠিক কী দেখে, তা বোঝার জন্য অনুমান করার কোনো দরকার নেই। আমাদের test-এ OpenAI-compatible adapter ব্যবহার করে দেখা গেছে, model-এর কাছে পাঠানো প্রথম request-এ get_average_cost tool-এর schema হুবহু নিচের মতো পৌঁছায়:

{
  "type": "function",
  "function": {
    "description": "Returns the average purchase cost per share of ONE held symbol (weighted average, fees included), in taka (BDT), with the quantity held and the total cost. Use for questions like 'what is my average cost of ALFA'. If the symbol is not held, the result is an error object listing the symbols that are held.",
    "name": "get_average_cost",
    "parameters": {
      "type": "object",
      "required": [
        "symbol"
      ],
      "properties": {
        "symbol": {
          "description": "Exchange ticker, for example ALFA. Case-insensitive.",
          "type": "string"
        }
      },
      "additionalProperties": false
    }
  }
}

"description" field-টা model-কে পরিষ্কার জানায় tool কী কাজ করে, কখন একে ডাকতে হবে, এবং symbol না থাকলে কী ঘটবে। আর "parameters" অংশটা বলে দেয় parameter-এর নাম symbol, type string, এবং এটা দেওয়া বাধ্যতামূলক (required)।

আপনি লেখেন (C#) model পড়ে (JSON schema) Wrap("get_average_cost", …)নামের option [Description("Returns the average …")]method-এর ওপরে string symbol + [Description]parameter "name": "get_average_cost"কোন tool "description": "Returns …"কখন ডাকবে, কী পাবে "parameters": { "symbol": … }কী পাঠাবে, কোনটা required
model আপনার C# কোড দেখে না, শুধু ডান পাশের JSON পড়ে। কমলা description-টাই model-এর কাছে prompt: কখন ডাকবে, কী ফিরবে, ভুল হলে কী হবে, সব সেখানে লেখা।

তাই tool-এর [Description] লেখার সময় prompt engineering-এর মতোই সতর্ক থাকতে হয়। একটা ভালো বর্ণনায় চারটা জিনিস থাকা দরকার: এটা কী ফেরত দেয়, সংখ্যার একক কী, কোন ধরনের প্রশ্নে একে ডাকতে হবে, এবং data না পেলে কী ঘটবে। বর্ণনা অস্পষ্ট হলে model দ্বিধায় পড়ে ভুল tool ডেকে ফেলতে পারে।

খোলা সুতো: model description-কে prompt-এর অংশ হিসেবেই পড়ে। তাই tool যখন অন্য অ্যাপের হাতে যাবে (পর্ব 9), description-ও সঙ্গে যাবে। আর কেউ description-এ লুকিয়ে কোনো হুকুম লিখে দিলে সেটাও একটা হামলার পথ (পর্ব 8)।

schema-তে symbol একটা সাধারণ string হিসেবে লেখা। model যদি সেখানে ভুল করে "আলফা টেক লিমিটেড" লিখে দেয়, schema তাতে বাধা দেয় না। ভুল input ধরার দায়িত্ব আমাদের tool-এর ভেতরের C# কোডের, আর সেটা unknown_symbol error দিয়ে model-কে জানায়।

loop চালু করা আর সীমা বাঁধা

PortfolioAssistant class পুরো lifecycle এক সুতোয় বাঁধে। এর constructor-এ tool calling loop চালু করার পাশাপাশি কয়েকটা কঠোর সুরক্ষার সীমা বাঁধা হয়:

_client = new ChatClientBuilder(inner)
    .UseFunctionInvocation(null, c =>
    {
        c.MaximumIterationsPerRequest = 5;   // a design decision: five tool rounds is plenty for a portfolio question
        c.IncludeDetailedErrors = false;     // exception text never goes to the model
        c.FunctionInvoker = CompactResultAsync;
        configure?.Invoke(c);
    })
    .Build();

configuration parameter-গুলোর মানে:

  • MaximumIterationsPerRequest = 5: একটা প্রশ্নের জন্য model সর্বোচ্চ 5 বার tool চাইতে পারবে। এর ফলে কোনো model অনাকাঙ্ক্ষিত infinite loop-এ আটকে token পোড়াতে পারবে না।
  • IncludeDetailedErrors = false: কোনো কারণে কোডে exception ঘটলে stack trace বা database-এর ভেতরের error message কোনো অবস্থাতেই model-এর কাছে পৌঁছাবে না।
  • FunctionInvoker = CompactResultAsync: tool-এর পাঠানো JSON response থেকে বাড়তি whitespace ছেঁটে token-এর অপচয় রোধ করার জন্য একটা compact invoker।

FunctionInvokingChatClient-এর default setting:

propertydefaultকী করে
MaximumIterationsPerRequest40একটা request-এ সর্বোচ্চ কত ঘুরপাক
MaximumConsecutiveErrorsPerRequest3টানা কতবার error সহ্য হবে
AllowConcurrentInvocationfalseএকই turn-এর একাধিক call একসঙ্গে চলবে কি না
IncludeDetailedErrorsfalseexception-এর লেখা model-কে পাঠানো হবে কি না
TerminateOnUnknownCallsfalseঅচেনা tool-এর নামে loop থামবে কি না

প্রতিটি ঘুরপাকে model-এর সঙ্গে একটা পুরো network round trip হয়, আর তার সঙ্গে আসে cloud-এর token cost ও latency। portfolio-র একটা প্রশ্নের জন্য 40 বার loop ঘোরা চরম অপচয়; তাই আমরা বাস্তবসম্মত সীমা হিসেবে 5 ঠিক করেছি।

error-এর তিন রকম পথ

tool চালানোর সময় তিন ধরনের ত্রুটি ঘটতে পারে, আর প্রতিটি পথের জন্য আমাদের system-এ আলাদা handling আছে:

ঘটনাmodel কী পায়কেন
tool নিজেই error ফেরত দেয় (ToolError){"error":"unknown_symbol", … ,"heldSymbols":[…]}model নিজে শুধরে নিতে পারে
tool exception ছোঁড়ে বা argument ভুলError: Function failed.ভেতরের লেখা বাইরে যায় না
model অচেনা tool-এর নাম লেখেError: Requested function "sell_shares" not found.loop চলতে থাকে

দ্বিতীয় সারিতে IncludeDetailedErrors = false থাকায় model ভেতরের কোনো error message দেখতে পায় না। এটা true করা থাকলে database-এর connection string কিংবা sensitive SQL error cloud model-এর prompt-এ leak হয়ে মারাত্মক নিরাপত্তা ঝুঁকি তৈরি করত।

দ্বিতীয় তালা: সংখ্যা গুনে দেখা

tool calling থাকলেও চূড়ান্ত উত্তরে model সংখ্যা কপি করার সময় অনিচ্ছাকৃত ভুল করতে পারে—যেমন tool হয়তো ফেরত দিয়েছে 124.29, আর model ভুল করে লিখল 124.28। কিংবা সে নিজের স্মৃতি থেকে বানিয়ে কোনো কাল্পনিক সংখ্যা জুড়ে দিতে পারে। এই ধরনের সব অলীক সংখ্যা আটকাতেই তৈরি হয়েছে আমাদের দ্বিতীয় তালা: NumericGroundingVerifier।

নিয়মটা খুব স্পষ্ট: model-এর চূড়ান্ত লেখার প্রতিটি সংখ্যা কোনো না কোনো tool-এর ফিরিয়ে দেওয়া result-এ (কিংবা ব্যবহারকারীর নিজের প্রশ্নে) থাকতে হবে। যে সংখ্যার পেছনে এমন উৎস আছে তাকে আমরা বলি grounded; আর যার কোনো উৎস নেই সেটা ungrounded:

// Three shapes, tried in this order: 112,760.50 (thousands), 1,12,760.50 (South Asian lakh grouping), 112760.5.
[GeneratedRegex(@"\d{1,3}(?:,\d{3})+(?:\.\d+)?|\d{1,2}(?:,\d{2})+,\d{3}(?:\.\d+)?|\d+(?:\.\d+)?")]
private static partial Regex NumberPattern();
 
public static GroundingReport Verify(
    string answer, IEnumerable<string> sources, IEnumerable<string>? alsoAllowed = null)
{
    ArgumentNullException.ThrowIfNull(answer);
    ArgumentNullException.ThrowIfNull(sources);
 
    var allowed = new HashSet<string>(StringComparer.Ordinal);
    foreach (var text in sources.Concat(alsoAllowed ?? []))
        allowed.UnionWith(Extract(text));
 
    var found = Extract(answer).ToList();
    var ungrounded = found.Where(n => !allowed.Contains(n)).ToList();
    return new GroundingReport(ungrounded.Count == 0, found, ungrounded);
}

NumberPattern() RegEx-টা আন্তর্জাতিক হাজার-কমা (112,760.50), দক্ষিণ এশীয় লাখ-কমা (1,12,760.50), আর সাধারণ দশমিক সংখ্যা নিখুঁতভাবে চিনে বের করে। এরপর Verify method model-এর উত্তরের প্রতিটি সংখ্যা আমাদের অনুমোদিত উৎসের set-এর সঙ্গে মিলিয়ে দেখে; কোনো সংখ্যা না মিললে পুরো response আটকে দেওয়া হয়।

model-এর উত্তর"… 124.28 টাকা" সংখ্যা তোলা১২৪.২৮ → 124.28 মিলিয়ে দেখাtool-এর result-এ আছে? tool-এর result-এর সংখ্যা124.29, 37285.5, 300 … সব মিললউত্তর দেখানো হবে 124.28 নেইউত্তর আটকানো মিলল মেলেনি
যাচাই: model-এর কাছে সংখ্যাটা ঠিক মনে হলেও কোড মিলিয়ে ধরে ফেলে। fail করা উত্তর ব্যবহারকারীর কাছে পৌঁছায় না।

যাচাইয়ের নিয়মগুলো:

  • গাণিতিক মান মিলতে হবে, বাইরের formatting নয়: ১২৪.২৯, 124.29 এবং 0124.290 গাণিতিকভাবে একই সংখ্যা। একইভাবে বাংলাদেশি লাখ-কমার ১,১২,৭৬০ এবং সাধারণ 112,760 একই মান বোঝায়।
  • চিহ্ন ধরা হয় না: ক্ষতি বা লোকসানের ক্ষেত্রে উত্তরে "740 টাকা ক্ষতি" লেখা হলে তা tool-এর negative -740 মানের সঙ্গে মিলে যায়।
  • ব্যবহারকারীর প্রশ্নের সংখ্যা বৈধ: ব্যবহারকারী যদি নিজেই প্রশ্নে "200 শেয়ার" লেখেন, তবে উত্তরে 200 সংখ্যাটা অনুমোদিত ধরা হবে।
  • এক digit-এর অমিলও চলে না: 124.28 এবং 124.29 দুটো ভিন্ন সংখ্যা; এখানে সামান্য ছাড় দেওয়ার সুযোগ নেই।

এই verifier-এর কিছু সীমাবদ্ধতাও আছে: এটা কেবল দেখে সংখ্যাটার পেছনে কোনো উৎস আছে কি না; কিন্তু সংখ্যাটা বাক্যের সঠিক জায়গায় বসেছে কি না তা যাচাই করতে পারে না। এই সীমাবদ্ধতা মেটাতেই পর্ব 6-এ grounded report-এর পাদটীকা architecture আনা হয়েছে।

scenario: বারোটা ঘটনা, প্রতিটি test-এ চলে

ScenarioTests class-এ 12টা বাস্তবের মতো scenario simulate করা হয়েছে, যার প্রতিটি আমাদের test harness-এ পাস করেছে:

scenarioপরিস্থিতিscripted modelকোন ব্যবস্থাresult
normal_average_cost"ALFA-র গড় ক্রয়মূল্য?"get_average_cost("ALFA"), তারপর 124.29 লেখেtool + যাচাইVerified, model call 2টা
lowercase_symbol"alfa এর গড় দাম?""alfa" পাঠায়tool-এর case-insensitive মেলানোVerified
bengali_name_then_retry"আলফা টেক লিমিটেডের গড়?"বাংলা নামটাই symbol হিসেবে পাঠায়, error পড়ে ALFA দিয়ে আবার ডাকেunknown_symbol + heldSymbolsVerified, tool call 2টা
sold_out_symbolBETA পুরোটা বিক্রি হয়ে গেছেBETA চায়, error পড়ে "নেই" বলেnot_heldVerified, সংখ্যা নেই
two_tools_one_turnreturn আর profit একসঙ্গেএক turn-এ দুটো call, উত্তরে ৯.৩৪ ও ১,৪৮২দুটো call, একটা model round tripVerified
tool_fails_then_model_guessesdatabase সাড়া দেয়নিtool ব্যর্থ, তবু "প্রায় 125 টাকা" লেখেError: Function failed. + যাচাইUngroundedNumbers (125)
model_never_stops_callingmodel শুধু get_holdings ডেকেই যায়limit 2MaximumIterationsPerRequestLoopExhausted, লেখা খালি
invented_numberঠিক tool, ভুল শেষ অঙ্ক১২৪.২৮ লেখেযাচাইUngroundedNumbers (124.28)
rounded_differentlymodel নিজে round করে১২৪.৩ লেখেযাচাইUngroundedNumbers (124.3)
lakh_groupingমোট মূল্য জানতে চাওয়া১,১২,৭৬০ লেখেযাচাইয়ের লাখ-কমা formatVerified
what_if_arithmetic"200 শেয়ার বেচলে কত পাব?"ঠিক গুণ করে ২৮,৫০০ লেখেযাচাই (গুণ কোডের কাজ)UngroundedNumbers (28500)
right_number_wrong_symbolBETA-র গড় চাওয়াALFA-র tool ডেকে ১২৪.২৯ বসায় BETA-র পাশেযাচাই ধরে নাVerified, কিন্তু উত্তর ভুল

test suite-এর data model:

private sealed record Scenario(
    string Question,
    Action<FakeChatClient> Script,
    AnswerStatus Status,
    string[] ToolsCalled,
    string[] Ungrounded,
    Func<IPortfolioRepository>? Repo = null,
    Action<FunctionInvokingChatClient>? Configure = null);

চারটা গুরুত্বপূর্ণ scenario একটু খুঁটিয়ে দেখা যাক:

scenario 1: বাংলা নাম, তারপর শুধরে নেওয়া (bengali_name_then_retry)

ব্যবহারকারী যখন কোম্পানির পুরো নাম বাংলায় লেখেন, model প্রথমবার সেই নাম দিয়েই tool call করে:

["bengali_name_then_retry"] = new(
    "আলফা টেক লিমিটেডের গড় ক্রয়মূল্য কত?",
    f => f.EnqueueToolCall("c1", "get_average_cost", Args("আলফা টেক লিমিটেড"))
          .EnqueueToolCall("c2", "get_average_cost", Args("ALFA"))
          .EnqueueText("আলফা টেকের (ALFA) গড় ক্রয়মূল্য ১২৪.২৯ টাকা।"),
    AnswerStatus.Verified, ["get_average_cost", "get_average_cost"], []),

runtime output:

c1: {"error":"unknown_symbol","message":"'আলফা টেক লিমিটেড' is not a symbol this portfolio knows.","heldSymbols":["ALFA","BETA","DLTA","GAMA"]}
c2: {"symbol":"ALFA","currency":"BDT","quantity":300,"averageCostPerShare":124.29,"totalCost":37285.50,"method":"weighted-average cost, fees included"}

প্রথম call-এ unknown_symbol error-এর সঙ্গে বৈধ symbol-এর তালিকা (heldSymbols) ফেরত আসায় model দ্বিতীয় call-এ ALFA বেছে নিয়ে ঠিকঠাক উত্তর দিতে পারে।

scenario 2: tool ভাঙল, model আন্দাজ বসাল (tool_fails_then_model_guesses)

database সাড়া না দেওয়ায় tool ব্যর্থ হয়েছে, কিন্তু model নিজের আন্দাজে উত্তর বসাতে চাইল:

status=UngroundedNumbers tools=[get_average_cost] ungrounded=[125]

দ্বিতীয় তালা সঙ্গে সঙ্গে এই অলীক 125 সংখ্যাটা ধরে ফেলে response আটকে দেয়।

scenario 3: ঠিক অঙ্ক, তবু reject (what_if_arithmetic)

model নিজে গুণ করে সঠিক 28,500 সংখ্যাটা লিখলেও system তা reject করে:

status=UngroundedNumbers tools=[get_holdings] ungrounded=[28500]

কারণ গুণ করা কোডের কাজ; tool-এর বাইরের কোনো মনগড়া সংখ্যাকে system অনুমতি দেয় না।

scenario 4: সংখ্যা সত্যি, বাক্য ভুল (right_number_wrong_symbol)

model ভুল symbol-এর tool call করে অন্য কোম্পানির গড় দর বসিয়ে দিলেও সংখ্যাটা tool-এর result-এ থাকায় verifier পাস করে:

status=Verified tools=[get_average_cost] ungrounded=[]

এই সীমাবদ্ধতা প্রমাণ করে যে শুধু সংখ্যা যাচাই করাই যথেষ্ট নয়, বাক্যের সঙ্গে তথ্যের উৎসের reference জুড়ে দেওয়া দরকার—যা আমরা পর্ব 6-এ করব।

বাকি scenario-র একটা করে লাইন

  • rounded_differently: model নিজে 124.3 round করায় reject হয়, কারণ tool-এর output ছিল 124.29।
  • lakh_grouping: দক্ষিণ এশীয় লাখ-কমা format নিখুঁতভাবে চিনতে পারায় verifier সফল হয়।
  • model_never_stops_calling: limit 2 থাকায় model বাড়তি ঘুরপাক খেতে না পেরে LoopExhausted দিয়ে থামে।

মাপা: কী কী test করা হয়েছে

মোট 60টা test পাস করেছে, সবই সবুজ:

test-এর দলসংখ্যাকী দেখে
tool-এর result ও schema13SampleData থেকে 124.29, 1482.00, 9.34, 37.91 ইত্যাদি; পাঁচটা tool, সব description ষাট অক্ষরের বেশি, একমাত্র parameter symbol
loop ও error11argument binding, এক turn-এ দুই call, exception, ভুল argument, অচেনা tool, limit, AllowConcurrentInvocation
যাচাই21অঙ্কের বানান, লাখ-কমা, চিহ্ন, তারিখ, প্রশ্নের সংখ্যা, তিনটা জানা সীমা, assistant-এর শেষ সিদ্ধান্ত
scenario14ওপরের table-এর বারোটা আর দুটো অতিরিক্ত
আসল adapter-এর wire format1schema, message-এর ক্রম, compact JSON
সব মিলিয়ে60সবুজ, warning 0

model বাছাই: সব model tool পারে না

সব language model tool calling সমর্থন করে না। OpenRouter-এ model বাছার সময় supported_parameters=tools filter ব্যবহার করে উপযুক্ত model বেছে নিতে হয় (OpenRouter: Tool Calling, provider selection)।

production-এ কী ভাঙে

  • tool ব্যবহারে অক্ষম model: model tool সাপোর্ট না করলে পুরো request ব্যর্থ হয়।
  • অস্পষ্ট description: tool-এর description অস্পষ্ট হলে model প্রায়ই ভুল tool ডেকে বসে।
  • infinite loop ও খরচের বিস্ফোরণ: MaximumIterationsPerRequest কঠোরভাবে না বাঁধলে token-এর অপচয় ঘটে।
  • error message-এ security leak: IncludeDetailedErrors চালু থাকলে backend-এর database exception model-এর মাধ্যমে বাইরে leak হয়ে যেতে পারে।
  • বিশাল data load: বিশাল portfolio একবারে model-এর কাছে পাঠালে context window ভরে যায়; তাই pagination ও compact serialization জরুরি।

অনুশীলন

  1. Money.Round method-এর rounding logic বদলে test চালিয়ে ফলাফল দেখুন।
  2. simulate_sale(symbol, shares) নামে একটা নতুন read-only tool বানিয়ে what_if_arithmetic scenario-টা Verified করুন।
  3. MaximumIterationsPerRequest কমিয়ে loop শেষ হওয়ার আচরণ পরীক্ষা করুন।
  4. আংশিক শেয়ার বিক্রির পর গড় ক্রয়মূল্য কীভাবে বদলায়, তা দেখতে নতুন একটা test scenario যোগ করুন।
  5. verifier-কে ফাঁকি দিতে পারে এমন একটা বানোয়াট বাক্য বানিয়ে system-এর সীমাবদ্ধতা বিশ্লেষণ করুন।

মনে রাখুন: model ভাবে, কোড গোনে। model-কে tool দিন, অঙ্ক কষতে বলবেন না। আর উত্তর মেনে নেওয়ার আগে মিলিয়ে নিন, প্রতিটি সংখ্যা কোনো tool-এর result-এ আছে কি না।

যাচাইয়ের অবস্থা

এই পর্বের সমস্ত কোড FakeChatClient এবং OpenAI wire format test-এর মাধ্যমে 60টা সফল test case-এ যাচাই করা হয়েছে।

সূত্র

পরের পর্ব

এই পর্বের tool-গুলো কেবল সংখ্যা গোনে। কিন্তু ব্যবহারকারী যখন কোনো আইনি শর্ত বা লভ্যাংশ ঘোষণার নোটিশ নিয়ে লেখাভিত্তিক প্রশ্ন করবেন, তখন তথ্যের উৎস কোথায় মিলবে?

পর্ব 5-এ আমরা দেখব কীভাবে নথিপত্রকে vector embedding-এ বদলে PostgreSQL-এর pgvector দিয়ে "আগে খুঁজে আনো, তারপর বলো" নীতিতে নিখুঁত প্রশ্ন-উত্তরের engine তৈরি করা যায়।

সিরিজের পথ: ← পর্ব 3: সোনার খাতা · সিরিজের মানচিত্র · পর্ব 5: মানচিত্র →

Related reading