1. برای کسب اطلاعات بیشتر در ساعات 9 الی 13 و 16 الی 18 با شماره 08138270182 یا 08138268809 تماس حاصل فرمایید.
    آدرس ایمیل: info@wsnlab.ir
    آدرس کانال تلگرام http://telegram.me/gloriot
  2. بدین وسیله به اطلاع پژوهشگران محترم می رسانیم که سامانه پیامکی لابراتوار شبکه حسگر بی سیم راه اندازی شد. از این پس می توانید با ثبت شماره تلفن همراه خود از اطلاعیه ها و اخبار پژوهشی لابراتوار آگاه شوید.
    ضمناً آگاهی از کلیه اطلاعات نحوه ارایه خدمات به شما دوستان نیز از طریق همین سامانه امکان پذیر است.
    شماره سامانه: 30001818270182

آتوماتای یادگیر واکنشی چیست؟

شروع موضوع توسط Homaei 10/4/14 در انجمن هوش مصنوعی، الگوریتم های هوشمند

تلفن سفارش: 08138311237 تلفن سفارش: 08138311237
  1. Homaei مدیر کل سایت

    تاریخ عضویت:
    25/2/12
    تعداد ارسال ها:
    2,038
    تشکر شده:
    11,617
    امتیاز دستاورد:
    12,265
    وب سایت:
    3. اتوماتاي يادگير واكنشي

    با وجود اينكه اتوماتاي يادگير استاندارد توضيح داده شده در بخش قبل قادر است در محيطهاي ايستا كه اطلاعات مربوط به مساله از ابتداي حل آن مشخص مي باشند و در طول حل مساله تغييري در داده هاي مساله بوجود نمي آيد، به جواب بهينه‌اي برسد اما در محيطهاي پويا كه اطلاعات مساله در حين اجراي آن در حال تغيير است مناسب نمي باشند زيرا احتمال انتخاب تعدادي از اقدامها بر اثر انتخاب نشدن آنها بدليل واقع نشدن در مسير بهينه، و در نتیجه جریمه شدن آنها رفته رفته كاهش يافته و به صفر ميل خواهد كرد و در نتيجه چنين اقدامهايي شانس انتخاب مجدد خود را از دست میدهند. در اين نكته كه چنین اقدامهایي در شرايط جاري، براي رسيدن به جواب بهينه مناسب نمي باشند ترديدي نيست اما ممكن است بر اثر تغييري در محيط به اقدامهاي موثري تبديل شده و قسمتی از جواب بهينه بشوند. پس در محيطهاي پويا بايستي از الگوريتم يادگيري استفاده كرد كه قادر به تشخيص تغييرات محيط بوده و عكس العمل مناسبي در قبال این تغییرات از خود نشان دهد. براي اين منظور از نوعي اتوماتاي يادگير به نام اتوماتاي يادگير واكنشي استفاده مي كنيم. در این اتوماتای یادگیر قانون بروز رساني بردار احتمال اقدام ها بگونه ای است که از کمتر شدن احتمال اقدامها از يك مقدار معين جلوگيري كرده و در نتيجه هر اقدامي به تعداد نامتناهي شانس انتخاب شدن خواهد داشت و الگوریتم قادر به عكس العمل مناسب در برابر تغييرات خواهد بود.اين ويژگي با عملگر جهش در الگوريتمهاي يادگيري تكاملي كه براي گريز از كمينه محلي بكار مي رود، قابل مقايسه است (در حقيقت بسياري از مدلهاي يادگيري تكاملي تقريبا واكنشي مي باشند). مي دانيم اگر در محيط ايستا نرخ يادگيري الگوريتم به [IMG] مقداردهي شود، در اينصورت الگوريتم پس از تعدادي تكرار به جواب بهينه همگرا خواهد شد. ولي در محيطهاي پويا نياز به استراتژيي داريم تا احتمال انتخاب هيچ اقدامي از يك مقدار معين كمتر نشود براي اين منظور ترتيبي اتخاذ مي كنيم كه احتمال انتخاب هيچ اقدامي از[IMG] كمتر نشود در اينصورت هر اقدامي بمقدار نامتناهي شانس انتخاب شدن خواهد داشت. با در نظر گرفتن نكات ذكر شده قانون بروزرساني اتوماتاي يادگير واكنشي به شرح زير تعريف مي شود:
    [IMG]
    [IMG]
    [IMG]
    ( 1)


    و
    [IMG]

    ( 2)


    در اين رابطه[IMG] بوده و هرگاه[IMG] براي همه‌ي اقدامهاي اتوماتا برقرار باشد در اينصورت قانون بروز رساني RLA همانند اتوماتاي يادگير استاندارد خواهد شد.
    هرگاه[IMG] برقرار و براي همه‌ي اقدامهاي اتوماتا رابطه [IMG] حفظ شود، گوئيم بردار احتماي اقدام [IMG] معتبر مي باشد. با اندكي بذل توجه ميتوان ديد قانون بروز رساني الگوريتم يادگير واكنشي، بردارهاي احتمال اقدام معتبر را معتبر نگه مي دارد.
    3.1. اتوماتاي يادگير واكنشي توزيع شده[1]

    اتوماتاي يادگير واكنشي توزيع شده (DLA) ، شبكه‌اي از اتوماتاي يادگير واكنشي است كه براي حل مساله خاصي با يكديگر همكاري مي نمايند. تعداد اقدامهاي يك اتوماتا در DLA برابر تعداد اتوماتاهاي متصل به اتوماتا يادگير فوق مي باشد. انتخاب يك اقدام توسط يك اتوماتا در شبكه، اتوماتا متناظر با اين اقدام را فعال مي سازد. بعنوان مثال در شكل 2 هر اتوماتا داراي دو اقدام مي باشد. انتخاب اقدام [IMG] توسط [IMG]، اتوماتا يادگير [IMG] را فعال خواهد كرد. اتوماتا يادگير فعال شده [IMG] بنوبه‌ي خود يكي از اقدامهاي خود را انتخاب مي كند كه در نتيجه آن يكي از اتوماتاهاي متصل به آن اتوماتا كه متناظر با اقدام انتخاب شده مي باشد، فعال مي شود. در هر زمان فقط يك اتوماتا در شبكه فعال خواهد بود. بطور رسمي DLA را ميتوان توسط گراف [IMG] كه [IMG] مجموعه اتوماتاي يادگير و n تعداد اتوماتا در DLA و [IMG] مجموعه لبه‌هاي گراف مي باشد، تعريف كرد. لبه [IMG] اقدام j اتوماتا [IMG] را نشان مي دهد. بعبارت ديگر [IMG] زماني فعال خواهد شد كه اقدام j اتاماتون [IMG] انتخاب شود. تعداد اقدامهاي اتوماتا [IMG] ([IMG] ) برابر درجه‌ي خروجي آن گره مي باشد[5].
    [IMG]
    شكل 3.1: اتوماتاي يادگير توزيع شده (DLA) با 3 اتوماتا يادگير


    [1] Distributed Learning Automata
    Ghobadi likes this.
    لطفاً انجمن را به دوستان خود معرفی نمایید تا محیطی پویا تر داشته باشیم.
  2. مشاوره، آموزش و پیاده سازی پروژه های شبکه های موردی، شبکه حسگر بی سیم و انواع شبکه های کامپیوتری . برای کسب اطلاعات بیشتر با شماره 08138270182 تماس بگیرید. .

به اشتراک بگذارید