Very excited to present MinervaЁЯжЙ: a language model capable of solving mathematical questions using step-by-step natural language reasoning.
Combining scale, data and others dramatically improves performance on the STEM benchmarks MATH and MMLU-STEM. https://t.co/bQJOyMSCD4

Starting from PaLMЁЯМ┤, Minerva was trained on a large dataset made of webpages with mathematical content and scientific papers. At inference time, we used chain-of-thought/scratchpad and majority voting to boost performance without the assistance of external tools.
Models' mistakes are easily interpretable. Despite impressive arithmetic skills it still makes calculation mistakes. We estimate the false positive rate due to achieving the right answer from incorrect reasoning and find it relatively low. More samples: https://t.co/YFvsFd6kZ1!
Evaluating our model in 2022 PolandтАЩs National Math Exam it performed above the national average, it solved more than 80% GCSE Higher Mathematics problems and evaluated a variety of STEM undergraduate problems from MIT, it solved nearly a third of them.
Paper: https://t.co/W8t2m02UO8
Great collaboration with Anders, @dmdohan, @ethansdyer, @hmichalewski, @vinayramasesh, @AmbroseSlone, @cem__anil, Imanol, Theo, @Yuhu_ai_, @bneyshabur, @guygr and @vedantmisra !
#minerva
This was a collaboration between multiple teams at Google Research including Blueshift, Brain, and others. See https://t.co/ttf5HvXSG8 for more info about our team.

More from All

You May Also Like

ЁЯМ║рд╢реНрд░реА рдЧрд░реБрдбрд╝ рдкреБрд░рд╛рдг - рд╕рдВрдХреНрд╖рд┐рдкреНрдд рд╡рд░реНрдгрдиЁЯМ║

рд╣рд┐рдиреНрджреБ рдзрд░реНрдо рдХреЗ 18 рдкреБрд░рд╛рдгреЛрдВ рдореЗрдВ рд╕реЗ рдПрдХ рдЧрд░реБрдбрд╝ рдкреБрд░рд╛рдг рдХрд╛ рд╣рд┐рдиреНрджреБ рдзрд░реНрдо рдореЗрдВ рдмрдбрд╝рд╛ рдорд╣рддреНрд╡ рд╣реИред рдЧрд░реБрдбрд╝ рдкреБрд░рд╛рдг рдореЗрдВ рдореГрддреНрдпреБ рдХреЗ рдмрд╛рдж рд╕рджреНрдЧрддреА рдХреА рд╡реНрдпрд╛рдЦреНрдпрд╛ рдорд┐рд▓рддреА рд╣реИред рдЗрд╕ рдкреБрд░рд╛рдг рдХреЗ рдЕрдзрд┐рд╖реНрдард╛рддреГ рджреЗрд╡ рднрдЧрд╡рд╛рди рд╡рд┐рд╖реНрдгреБ рд╣реИрдВ, рдЗрд╕рд▓рд┐рдП рдпреЗ рд╡реИрд╖реНрдгрд╡ рдкреБрд░рд╛рдг рд╣реИред


рдЧрд░реБрдбрд╝ рдкреБрд░рд╛рдг рдХреЗ рдЕрдиреБрд╕рд╛рд░ рд╣рдорд╛рд░реЗ рдХрд░реНрдореЛрдВ рдХрд╛ рдлрд▓ рд╣рдореЗрдВ рд╣рдорд╛рд░реЗ рдЬреАрд╡рди-рдХрд╛рд▓ рдореЗрдВ рддреЛ рдорд┐рд▓рддрд╛ рд╣реА рд╣реИ рдкрд░рдВрддреБ рдореГрддреНрдпреБ рдХреЗ рдмрд╛рдж рднреА рдЕрдЪреНрдЫреЗ рдмреБрд░реЗ рдХрд╛рд░реНрдпреЛрдВ рдХрд╛ рдЙрдирдХреЗ рдЕрдиреБрд╕рд╛рд░ рдлрд▓ рдорд┐рд▓рддрд╛ рд╣реИред рдЗрд╕ рдХрд╛рд░рдг рдЗрд╕ рдкреБрд░рд╛рдг рдореЗрдВ рдирд┐рд╣рд┐рдд рдЬреНрдЮрд╛рди рдХреЛ рдкреНрд░рд╛рдкреНрдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдШрд░ рдХреЗ рдХрд┐рд╕реА рд╕рджрд╕реНрдп рдХреА рдореГрддреНрдпреБ рдХреЗ рдмрд╛рдж рдХрд╛ рд╕рдордп рдирд┐рд░реНрдзрд╛рд░рд┐рдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ...

..рддрд╛рдХрд┐ рдЙрд╕ рд╕рдордп рд╣рдо рдЬреАрд╡рди-рдорд░рдг рд╕реЗ рдЬреБрдбрд╝реЗ рд╕рднреА рд╕рддреНрдп рдЬрд╛рди рд╕рдХреЗрдВ рдФрд░ рдореГрддреНрдпреБ рдХреЗ рдХрд╛рд░рдг рдмрд┐рдЫрдбрдиреЗ рд╡рд╛рд▓реЗ рд╕рджрд╕реНрдп рдХрд╛ рджреБрдЦ рдХрдо рд╣реЛ рд╕рдХреЗред
рдЧрд░реБрдбрд╝ рдкреБрд░рд╛рдг рдореЗрдВ рд╡рд┐рд╖реНрдгреБ рдХреА рднрдХреНрддрд┐ рд╡ рдЕрд╡рддрд╛рд░реЛрдВ рдХрд╛ рд╡рд┐рд╕реНрддрд╛рд░ рд╕реЗ рдЙрд╕реА рдкреНрд░рдХрд╛рд░ рд╡рд░реНрдгрди рдорд┐рд▓рддрд╛ рд╣реИ рдЬрд┐рд╕ рдкреНрд░рдХрд╛рд░ рднрдЧрд╡рдд рдкреБрд░рд╛рдг рдореЗрдВредрдЖрд░рдореНрдн рдореЗрдВ рдордиреБ рд╕реЗ рд╕реГрд╖реНрдЯрд┐ рдХреА рдЙрддреНрдкрддреНрддрд┐,рдзреНрд░реБрд╡ рдЪрд░рд┐рддреНрд░ рдХреА рдХрдерд╛ рдорд┐рд▓рддреА рд╣реИред


рддрджреБрдкрд░рд╛рдВрдд рд╕реБрд░реНрдп рд╡ рдЪрдВрджреНрд░ рдЧреНрд░рд╣реЛрдВ рдХреЗ рдордВрддреНрд░, рд╢рд┐рд╡-рдкрд╛рд░реНрд╡рддреА рдордВрддреНрд░,рдЗрдиреНрджреНрд░ рд╕рдореНрдмрдВрдзрд┐рдд рдордВрддреНрд░,рд╕рд░рд╕реНрд╡рддреА рдордВрддреНрд░ рдФрд░ рдиреМ рд╢рдХреНрддрд┐рдпреЛрдВ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рд╡рд┐рд╕реНрддрд╛рд░ рд╕реЗ рдмрддрд╛рдпрд╛ рдЧрдпрд╛ рд╣реИред
рдЗрд╕ рдкреБрд░рд╛рдг рдореЗрдВ рдЙрдиреНрдиреАрд╕ рд╣рдЬрд╝рд╛рд░ рд╢реНрд▓реЛрдХ рдмрддрд╛рдП рдЬрд╛рддреЗ рд╣реИрдВ рдФрд░ рдЗрд╕реЗ рджреЛ рднрд╛рдЧреЛрдВ рдореЗрдВ рдХрд╣рд╛ рдЬрд╛рддрд╛ рд╣реИред
рдкреНрд░рдердо рднрд╛рдЧ рдореЗрдВ рд╡рд┐рд╖реНрдгреБрднрдХреНрддрд┐ рдФрд░ рдкреВрдЬрд╛ рд╡рд┐рдзрд┐рдпреЛрдВ рдХрд╛ рдЙрд▓реНрд▓реЗрдЦ рд╣реИред

рдореГрддреНрдпреБ рдХреЗ рдЙрдкрд░рд╛рдВрдд рдЧрд░реБрдбрд╝ рдкреБрд░рд╛рдг рдХреЗ рд╢реНрд░рд╡рдг рдХрд╛ рдкреНрд░рд╛рд╡рдзрд╛рди рд╣реИ ред
рдкреБрд░рд╛рдг рдХреЗ рджреНрд╡рд┐рддреАрдп рднрд╛рдЧ рдореЗрдВ 'рдкреНрд░реЗрддрдХрд▓реНрдк' рдХрд╛ рд╡рд┐рд╕реНрддрд╛рд░ рд╕реЗ рд╡рд░реНрдгрди рдФрд░ рдирд░рдХреЛрдВ рдореЗрдВ рдЬреАрд╡ рдХреЗ рдкрдбрд╝рдиреЗ рдХрд╛ рд╡реГрддреНрддрд╛рдВрдд рдорд┐рд▓рддрд╛ рд╣реИред рдорд░рдиреЗ рдХреЗ рдмрд╛рдж рдордиреБрд╖реНрдп рдХреА рдХреНрдпрд╛ рдЧрддрд┐ рд╣реЛрддреА рд╣реИ, рдЙрд╕рдХрд╛ рдХрд┐рд╕ рдкреНрд░рдХрд╛рд░ рдХреА рдпреЛрдирд┐рдпреЛрдВ рдореЗрдВ рдЬрдиреНрдо рд╣реЛрддрд╛ рд╣реИ, рдкреНрд░реЗрдд рдпреЛрдирд┐ рд╕реЗ рдореБрдХреНрддрд┐ рдХреЗ рдЙрдкрд╛рдп...