Матриксы немного не дописали прогу, забыли приинклудить файл.
Делаем это в ручную.
Зайти в настройки проекта View -> Project Options
и поставить галочку -> Use supplementary code
активизируется кнопка -> Supplementary code, жмем
В верхнее окно добавить -> #include <rand.h>

Все, жмем ок.

И еще, если используете чип pic18, зайдите в меню Chip -> CompilerOptions... и везде где встречается в строке
Paremeters раздела Linker / Assembler помените значения - pic16 на pic18
должно быть так:
-ld "Ваш_Путь_К_Программе\Flowcode V4\BoostC\lib" libc.pic18.lib flowcode.pic18.lib rand.pic18.lib float.pic18.lib "%f.obj" -t PIC%p -d "%d" -p "%f"